Bản tin được dịch và tóm tắt bởi nền tảng tạo trợ lý AI – KamiMind.
Nguồn: Rick Merritt, “Silicon Volley: Designers Tap Generative AI for a Chip Assist“, NVIDIA, 30/10/2023.
Một nghiên cứu được công bố nhằm khám phá cách AI tạo sinh có thể hỗ trợ trong một trong những nỗ lực kỹ thuật phức tạp nhất: thiết kế bán dẫn. Nghiên cứu cho thấy cách các công ty trong các lĩnh vực chuyên môn cao có thể huấn luyện các mô hình ngôn ngữ lớn (LLMs) trên dữ liệu nội bộ của họ để xây dựng các trợ lý nhằm giúp tăng năng suất.
Thiết kế bán dẫn là một nhiệm vụ thách thức, đòi hỏi nhiều nhóm kỹ sư phối hợp trong suốt hai năm để xây dựng một chip hiện đại. Mỗi công việc đều yêu cầu các phương pháp, chương trình phần mềm và ngôn ngữ máy tính chuyên biệt.
Mark Ren, một giám đốc nghiên cứu của NVIDIA, tin rằng theo thời gian, các mô hình ngôn ngữ lớn sẽ hỗ trợ rất nhiều cho tất cả các quá trình liên quan đến việc thiết kế bán dẫn. Bài báo chi tiết cách các kỹ sư NVIDIA tạo ra một LLM tùy chỉnh, được gọi là ChipNeMo, để sử dụng nội bộ. Mô hình này được huấn luyện trên dữ liệu nội bộ của công ty để tạo ra và tối ưu hóa phần mềm và hỗ trợ các nhà thiết kế con người.
Nhóm nghiên cứu đã khảo sát các kỹ sư NVIDIA về các trường hợp sử dụng có thể và chọn ba cái để bắt đầu: một chatbot, một trình tạo mã và một công cụ phân tích. Công cụ phân tích, tự động hóa nhiệm vụ duy trì mô tả của các lỗi đã biết, đã được đón nhận nhiều nhất cho đến nay.
Bài báo cũng thảo luận về cách tùy chỉnh mô hình AI với NVIDIA NeMo, một framework để xây dựng, tùy chỉnh và triển khai các mô hình AI tạo sinh. Nhóm đã sử dụng framework này để tùy chỉnh một mô hình với 43 tỷ tham số, được huấn luyện bằng hơn một nghìn tỷ tokens.
Nghiên cứu nhấn mạnh tầm quan trọng của việc tùy chỉnh một LLM cho các nhiệm vụ thiết kế chip. Các mô hình tùy chỉnh có thể đạt hoặc vượt quá hiệu suất của các LLM đa dụng lớn hơn trong một số trường hợp. Nó cũng nêu rõ nhu cầu thu thập và làm sạch dữ liệu để huấn luyện cẩn thận, và cập nhật với những công cụ mới nhất có thể tăng tốc và đơn giản hóa công việc.
Bản tóm tắt tiếng Anh
This article discusses how a research paper released today explores how generative AI can assist in one of the most complex engineering efforts: the design of semiconductors. The research demonstrates how companies in highly specialized fields can train large language models (LLMs) on their internal data to build assistants that increase productivity.
Semiconductor design is a challenging task that involves multiple engineering teams coordinating for as long as two years to construct a state-of-the-art chip. Each job requires specialized methods, software programs and computer languages.
Mark Ren, an NVIDIA Research director, believes that over time, large language models will greatly assist all processes involved in the design of semiconductors. The paper details how NVIDIA engineers created a custom LLM, known as ChipNeMo, for their internal use. This model is trained on the company’s internal data to generate and optimize software and assist human designers.
The research team surveyed NVIDIA engineers for possible use cases and chose three to start with: a chatbot, a code generator, and an analysis tool. The analysis tool, which automates the task of maintaining descriptions of known bugs, has been the most well-received so far.
The paper also discusses how to customize AI models with NVIDIA NeMo, a framework for building, customizing, and deploying generative AI models. The team used this framework to customize a model with 43 billion parameters, trained using more than a trillion tokens.
The research emphasizes the importance of customizing an LLM for chip-design tasks. Custom models can match or exceed the performance of larger general-purpose LLMs in some cases. It also highlights the need to carefully collect and clean data for training and stay up to date with the latest tools that can speed up and simplify the work.
Bản dịch Anh – Việt
Các kỹ sư bán dẫn đã chỉ ra cách một ngành công nghiệp chuyên môn có thể tùy chỉnh các mô hình ngôn ngữ lớn để gia tăng hiệu suất bằng cách sử dụng NVIDIA NeMo.
Một bài nghiên cứu được công bố (hôm nay) mô tả những cách AI tạo sinh có thể hỗ trợ một trong những nỗ lực kỹ thuật phức tạp nhất: thiết kế bán dẫn.
Công trình này minh họa cách các công ty trong các lĩnh vực chuyên môn cao có thể huấn luyện các mô hình ngôn ngữ lớn (LLMs) trên dữ liệu nội bộ của họ để xây dựng trợ lý tăng năng suất.
Ít lĩnh vực nào thách thức như thiết kế bán dẫn. Dưới kính hiển vi, một chip tiên tiến như NVIDIA H100 Tensor Core GPU trông giống như một thành phố được quy hoạch tốt, được xây dựng với hàng chục tỷ transistor, được kết nối trên những con đường mỏng hơn tóc người 10.000 lần.
Nhiều nhóm kỹ sư phối hợp trong vòng hai năm để xây dựng một trong những thành phố kỹ thuật số lớn như thế này.
Một số nhóm định rõ kiến trúc tổng thể của chip, một số nhóm tạo và đặt một loạt mạch siêu nhỏ, và những nhóm khác kiểm tra công việc của họ. Mỗi công việc đều yêu cầu các phương pháp chuyên môn, các chương trình phần mềm và ngôn ngữ máy tính.
Tầm nhìn rộng lớn cho LLMs
“Tôi tin rằng theo thời gian, các mô hình ngôn ngữ lớn sẽ giúp cho mọi quy trình cho nhiều nhóm thiết kế,” Mark Ren, giám đốc nghiên cứu NVIDIA và tác giả chính của bài viết, nói.
Bill Dally, giám đốc khoa học của NVIDIA, trong một bài phát biểu chính tại Hội nghị Quốc tế về Thiết kế hỗ trợ bởi Máy tính, một cuộc tụ họp hàng năm của hàng trăm kỹ sư làm việc trong lĩnh vực được gọi là tự động hóa thiết kế điện tử, hoặc EDA.
“Đây là bước đầu tiên quan trọng trong việc áp dụng LLMs vào công việc phức tạp của việc thiết kế bán dẫn,” Dally nói tại sự kiện tại San Francisco. “Nó cho thấy cách ngay cả các lĩnh vực chuyên môn cao có thể sử dụng dữ liệu nội bộ của họ để huấn luyện các mô hình AI tạo sinh hữu ích.”
ChipNeMo xuất hiện
Bài nghiên cứu chi tiết cách các kỹ sư NVIDIA tạo ra cho việc sử dụng nội bộ một LLM tùy chỉnh, được gọi là ChipNeMo, được huấn luyện trên dữ liệu nội bộ của công ty để tạo ra và tối ưu hóa phần mềm và hỗ trợ các nhà thiết kế con người.
Dài hạn, các kỹ sư hy vọng sẽ áp dụng AI tạo sinh cho từng giai đoạn của thiết kế chip, có thể thu được những lợi ích đáng kể về năng suất tổng thể, Ren nói, người đã có sự nghiệp kéo dài hơn 20 năm trong EDA.
Sau khi khảo sát các kỹ sư NVIDIA về các tình huống ứng dụng có thể, nhóm nghiên cứu đã chọn ba trường hợp để bắt đầu: một chatbot, một trình tạo mã và một công cụ phân tích.
Các tình huống ứng dụng ban đầu
Một công cụ tự động hóa các nhiệm vụ tốn thời gian của việc duy trì các mô tả cập nhật về các lỗi đã biết, đã được đón nhận nhiệt tình nhất cho đến nay.
Một chatbot prototype trả lời các câu hỏi về kiến trúc và thiết kế GPU đã giúp nhiều kỹ sư nhanh chóng tìm thấy các tài liệu kỹ thuật trong các bài kiểm tra đầu tiên.
Một trình tạo mã đang được phát triển đã tạo ra các đoạn mã khoảng 10-20 dòng phần mềm trong hai ngôn ngữ chuyên môn mà các nhà thiết kế chip sử dụng. Nó sẽ được tích hợp với các công cụ hiện có, vì vậy các kỹ sư có một trợ lý hữu ích cho các thiết kế đang tiến hành.
Tùy chỉnh các mô hình AI với NVIDIA NeMo
Bài viết chủ yếu tập trung vào công việc của nhóm thu thập dữ liệu thiết kế của mình và sử dụng nó để tạo ra một mô hình AI tạo sinh chuyên môn, một quá trình có thể chuyển đổi sang bất kỳ ngành công nghiệp nào.
Làm điểm khởi đầu, nhóm chọn một mô hình cơ sở và tùy chỉnh nó với NVIDIA NeMo, một khung cho việc xây dựng, tùy chỉnh và triển khai các mô hình AI tạo sinh, được bao gồm trong nền tảng phần mềm NVIDIA AI Enterprise. Mô hình NeMo được chọn có 43 tỷ tham số, một độ đo của khả năng hiểu các mô hình của nó. Nó được huấn luyện bằng cách sử dụng hơn một nghìn tỷ token, những từ vựng và ký hiệu trong văn bản và phần mềm.
Sau đó, nhóm đã cải thiện mô hình trong hai vòng huấn luyện, vòng đầu tiên sử dụng khoảng 24 tỷ token dữ liệu thiết kế nội bộ của nó và vòng thứ hai trên một sự kết hợp của khoảng 130.000 cuộc trò chuyện và thiết kế mẫu.
Công việc này là một trong số nhiều ví dụ về nghiên cứu và minh chứng cho khái niệm về AI tạo sinh trong ngành công nghiệp bán dẫn, mới chỉ bắt đầu xuất hiện từ phòng thí nghiệm.
Chia sẻ Bài học
Một trong những bài học quan trọng nhất mà nhóm của Ren đã học được là giá trị của việc tùy chỉnh một LLM.
Trên các nhiệm vụ thiết kế chip, các mô hình ChipNeMo tùy chỉnh với ít nhất 13 tỷ tham số phù hợp hoặc vượt trội hơn hiệu suất của cả các LLMs đa dụng với 70 tỷ tham số như LLaMA2. Trong một số tình huống ứng dụng, các mô hình ChipNeMo đã tốt hơn rất nhiều.
Về lâu dài, người dùng cần thận trọng trong việc thu thập dữ liệu nào và làm cách nào để làm sạch nó để sử dụng trong huấn luyện, ông thêm vào.
Cuối cùng, Ren khuyên người dùng nên cập nhật với những công cụ mới nhất có thể tăng tốc và đơn giản hóa công việc.
NVIDIA Research có hàng trăm nhà khoa học và kỹ sư trên toàn thế giới tập trung vào các chủ đề như AI, đồ họa máy tính, thị giác máy tính, xe tự lái và robot. Các dự án gần đây khác trong lĩnh vực bán dẫn bao gồm việc sử dụng AI để thiết kế mạch nhỏ hơn, nhanh hơn và tối ưu hóa việc đặt các khối lớn.