Bản tin được dịch và tóm tắt bởi nền tảng tạo trợ lý AI – KamiMind.
Nguồn: Kif Leswing, “Nvidia unveils H200, its newest high-end chip for training AI models“, CNBC, 13/11/2023.
Nvidia đã giới thiệu chip đồ họa H200, được thiết kế cho huấn luyện và triển khai mô hình trí tuệ nhân tạo. Đây là nâng cấp từ H100, chip được OpenAI sử dụng để huấn luyện mô hình ngôn ngữ GPT-4. Giá của H100 dao động từ 25.000 đến 40.000 đô la, và cần hàng nghìn chip này để tạo ra những mô hình lớn nhất. GPU trí tuệ nhân tạo của Nvidia đã tăng giá cổ phiếu của công ty lên hơn 230% trong năm 2023. H200 có bộ nhớ HBM3 dung lượng 141GB, tạo ra gần gấp đôi đầu ra so với H100. Dự kiến H200 sẽ cạnh tranh với GPU MI300X của AMD và tương thích với H100. Nvidia cũng dự định phát hành chip B100 vào năm 2024.
Bản tóm tắt tiếng Anh
Nvidia has introduced the H200, a GPU designed for training and deploying AI models. It is an upgrade from the H100, which was used by OpenAI for training GPT-4. The H100 chips cost between $25,000 and $40,000, and thousands of them are needed for creating large models. Nvidia’s AI GPUs have driven up the company’s stock by over 230% in 2023. The H200 includes 141GB of next-generation memory and performs inference twice as fast as the H100. It will compete with AMD’s MI300X GPU and is compatible with the H100. Nvidia plans to release the B100 chip based on the Blackwell architecture in 2024.
Bản dịch Anh – Việt
Nvidia đã giới thiệu mẫu chip đồ họa H200, được thiết kế để huấn luyện và triển khai các mô hình trí tuệ nhân tạo đang thúc đẩy sự phát triển vượt bậc của trí tuệ nhân tạo sáng tạo.
GPU mới này là một nâng cấp từ H100, chip mà OpenAI đã sử dụng để huấn luyện mô hình ngôn ngữ lớn tiên tiến nhất của mình, GPT-4. Các công ty lớn, các startup và các cơ quan chính phủ đang cạnh tranh để có được số lượng chip hạn chế.
Theo ước tính từ Raymond James, giá của chip H100 dao động từ 25.000 đến 40.000 đô la, và cần hàng nghìn chip này làm việc cùng nhau để tạo ra những mô hình lớn nhất trong quá trình “huấn luyện.”
Sự phấn khích với GPU trí tuệ nhân tạo của Nvidia đã làm tăng giá cổ phiếu của công ty này lên hơn 230% trong năm 2023. Nvidia dự kiến có khoảng 16 tỷ đô la doanh thu cho quý ba của năm tài chính, tăng 170% so với cùng kỳ năm trước.
Cải tiến chính của H200 là nó bao gồm bộ nhớ “HBM3” thế hệ tiếp theo với dung lượng 141GB sẽ giúp chip thực hiện “suy luận,” tức là sử dụng một mô hình lớn sau khi nó được đào tạo để tạo ra văn bản, hình ảnh hoặc dự đoán.
Nvidia cho biết H200 sẽ tạo ra đầu ra gần gấp đôi so với H100. Điều đó dựa trên một bài kiểm tra sử dụng Llama 2 LLM của Meta.
Dự kiến H200 sẽ được gửi vào quý hai năm 2024 và sẽ cạnh tranh với GPU MI300X của AMD. Chip của AMD, tương tự như H200, có bộ nhớ bổ sung so với các phiên bản trước, giúp đưa mô hình lớn vào phần cứng để chạy suy luận.
Nvidia cho biết H200 sẽ tương thích với H100, có nghĩa là các công ty trí tuệ nhân tạo đang đào tạo với phiên bản trước không cần thay đổi hệ thống máy chủ hoặc phần mềm để sử dụng phiên bản mới.
Nvidia cho biết nó sẽ có sẵn trong cấu hình máy chủ bốn GPU hoặc tám GPU trên các hệ thống hoàn chỉnh HGX của công ty, cũng như trong một chip mang tên GH200, kết hợp GPU H200 với bộ xử lý dựa trên Arm.
Tuy nhiên, H200 có thể không giữ được vị trí chip trí tuệ nhân tạo Nvidia nhanh nhất trong thời gian dài.
Trong khi các công ty như Nvidia cung cấp nhiều cấu hình khác nhau của chip của họ, các bộ vi xử lý mới thường tiến bộ đáng kể vào khoảng hai năm, khi các nhà sản xuất chuyển sang kiến trúc khác nhau mở khóa những cải tiến hiệu năng đáng kể hơn so với việc thêm bộ nhớ hoặc tối ưu nhỏ hơn khác. Cả H100 và H200 đều dựa trên kiến trúc Hopper của Nvidia.
Vào tháng 10, Nvidia đã thông báo với các nhà đầu tư rằng họ sẽ chuyển từ chu kỳ kiến trúc hai năm sang một mô hình phát hành một năm do nhu cầu cao về GPU của công ty. Công ty đã trình diễn một slide cho thấy họ sẽ công bố và phát hành chip B100 của mình, dựa trên kiến trúc Blackwell sắp tới, vào năm 2024.