Bản tin được dịch và tóm tắt bởi nền tảng tạo trợ lý AI – KamiMind.
Nguồn: Kyle Wiggers, “Hugging Face has a two-person team developing ChatGPT-like AI models“, TechCrunch, 09/11/2023.
Công ty Hugging Face, một công ty khởi nghiệp trí tuệ nhân tạo, đã phát triển một loạt công cụ để hỗ trợ phát triển và lưu trữ dữ liệu khoa học. Công ty này cung cấp một cổng thông tin giống GitHub để lưu trữ mã AI, mô hình và bộ dữ liệu, cùng với một bảng điều khiển web để trình diễn các ứng dụng trí tuệ nhân tạo. Một trong những công cụ ấn tượng nhất của Hugging Face là H4, một đội ngũ hai người chuyên phát triển các công cụ và “công thức” để xây dựng các chatbot dựa trên trí tuệ nhân tạo. Đội ngũ này đã tạo ra các mô hình ngôn ngữ mã nguồn mở như Zephyr-7B-α và Falcon-40B, và sử dụng một cụm máy chủ đặc biệt để huấn luyện mô hình. H4 không trực tiếp thương mại hóa công cụ của mình, nhưng đóng góp vào Chương trình Tăng tốc Chuyên gia của Hugging Face để xây dựng các giải pháp trí tuệ nhân tạo tùy chỉnh. Đội ngũ cũng hợp tác với cộng đồng mã nguồn mở bằng cách phát hành mã huấn luyện và bộ dữ liệu liên quan đến mô hình chat.
Bản tóm tắt tiếng Anh
AI startup Hugging Face offers a range of tools for data science hosting and development, including a GitHub-like platform for AI code and web dashboards for AI demos. One of their impressive tools is H4, a two-person team formed to develop tools and “recipes” for building AI-powered chatbots similar to ChatGPT. H4 has focused on alignment research, teaching language models how to behave based on feedback. They have released open source models like Zephyr-7B-α and modified Falcon-40B for better natural language responses. H4 relies on a dedicated cluster of Nvidia GPUs for model training. Although H4 doesn’t directly monetize its tools, they contribute to Hugging Face’s Expert Acceleration Program. H4 aims to empower the open AI community by releasing training code and datasets. They collaborate with external groups and value contributions from the community.
Bản dịch Anh – Việt
Công ty khởi nghiệp trí tuệ nhân tạo Hugging Face cung cấp một loạt các công cụ phát triển và lưu trữ khoa học dữ liệu, bao gồm một cổng thông tin giống GitHub để lưu trữ mã AI, mô hình và bộ dữ liệu, cũng như bảng điều khiển web để trình diễn các ứng dụng dựa trên trí tuệ nhân tạo.
Nhưng một số công cụ ấn tượng và có khả năng cao nhất của Hugging Face hiện nay đến từ một đội ngũ hai người được thành lập vào tháng 1.
H4, còn được gọi là “H4” viết tắt của “hữu ích, chân thành, vô hại và âu yếm”, nhằm phát triển các công cụ và “công thức” để cho phép cộng đồng trí tuệ nhân tạo xây dựng các chatbot dựa trên trí tuệ nhân tạo theo hướng ChatGPT. Việc ra mắt ChatGPT đã là nguyên nhân dẫn đến việc thành lập H4, theo Lewis Tunstall, một kỹ sư học máy tại Hugging Face và một trong hai thành viên của H4.
“Khi ChatGPT được OpenAI ra mắt vào cuối năm 2022, chúng tôi đã bắt đầu thảo luận về những gì có thể cần để sao chép khả năng của nó bằng các thư viện mã nguồn mở và các mô hình,” Tunstall cho biết trong cuộc phỏng vấn qua email với TechCrunch. “Nghiên cứu chính của H4 tập trung vào việc đồng bộ, mà bao gồm dạy cho LLMs cách cư xử theo phản hồi từ con người (hoặc thậm chí là các trí tuệ nhân tạo khác).”
H4 đứng sau một số lượng ngày càng tăng các mô hình ngôn ngữ lớn mã nguồn mở, bao gồm Zephyr-7B-α, một phiên bản tinh chỉnh, tập trung vào chat, của mô hình Mistral 7B do công ty khởi nghiệp trí tuệ nhân tạo Pháp Mistral mới đây ra mắt. H4 cũng đã đánh nhánh Falcon-40B, một mô hình từ Viện Đổi mới Công nghệ tại Abu Dhabi – sửa đổi mô hình để đáp ứng một cách hữu ích hơn các yêu cầu bằng ngôn ngữ tự nhiên.
Để huấn luyện các mô hình của mình, H4 – giống như các nhóm nghiên cứu khác của Hugging Face – dựa vào một cụm máy chủ đặc biệt với hơn 1.000 GPU Nvidia A100. Tunstall và đồng nghiệp H4 khác, Ed Beeching, đặt tại chỗ ở châu Âu, nhưng nhận được sự hỗ trợ từ một số nhóm Hugging Face nội bộ, bao gồm nhóm kiểm tra và đánh giá mô hình.
“Kích thước nhỏ của H4 là một lựa chọn cố ý, vì nó cho phép chúng tôi linh hoạt hơn và thích ứng với một cảnh nghiên cứu thay đổi liên tục,” Beeching cho biết trong cuộc phỏng vấn qua email với TechCrunch. “Chúng tôi cũng có một số hợp tác bên ngoài với các nhóm như LMSYS và LlamaIndex, chúng tôi hợp tác để phát hành chung.”
Gần đây, H4 đã nghiên cứu các kỹ thuật đồng bộ khác nhau và xây dựng các công cụ để kiểm tra hiệu quả của các kỹ thuật được đề xuất bởi cộng đồng và ngành công nghiệp. Đội ngũ này đã phát hành một cuốn sổ tay chứa toàn bộ mã nguồn và bộ dữ liệu mà họ sử dụng để xây dựng Zephyr, và H4 dự định cập nhật sổ tay với mã từ các mô hình trí tuệ nhân tạo tương lai của họ khi chúng được phát hành.
Tôi hỏi liệu H4 có áp lực từ các nhân viên cấp cao của Hugging Face để thương mại hóa công việc của họ. Sau tất cả, công ty đã thu về hàng trăm triệu đô la từ một nhóm nhà đầu tư có tiếng bao gồm Salesforce, IBM, AMD, Google, Amazon Intel và Nvidia. Vòng huy động vốn cuối cùng của Hugging Face đã định giá công ty này ở mức 4,5 tỷ đô la, gấp đôi so với doanh thu hàng năm của công ty.
Tunstall cho biết H4 không trực tiếp thương mại hóa công cụ của mình. Nhưng ông thừa nhận rằng các công cụ này đóng góp vào Chương trình Tăng tốc Chuyên gia của Hugging Face, một dịch vụ tập trung vào doanh nghiệp, cung cấp hướng dẫn từ các nhóm Hugging Face để xây dựng các giải pháp trí tuệ nhân tạo tùy chỉnh.
Khi được hỏi xem H4 có xem mình là đối thủ của các sáng kiến trí tuệ nhân tạo mã nguồn mở khác, như EleutherAI và LAION, Beeching cho biết đó không phải là mục tiêu của H4. Thay vào đó, ông nói, ý định là “tạo điều kiện cho” cộng đồng trí tuệ nhân tạo mã nguồn mở bằng cách phát hành mã huấn luyện và bộ dữ liệu liên quan đến các mô hình chat của H4.
“Công việc của chúng tôi không thể thiếu những đóng góp của cộng đồng,” Beeching nói.