Bản tin được dịch và tóm tắt bởi nền tảng tạo trợ lý AI – KamiMind.
Nguồn: Mckenzie Prillaman & Nature Magazine, “‘ChatGPT Detector’ Catches AI-Generated Papers with Unprecedented Accuracy“, Scientific American, 07/11/2023.

Một công cụ mới đã được phát triển sử dụng học máy để phân biệt giữa việc viết của con người và trí tuệ nhân tạo dựa trên các đặc điểm về phong cách. Công cụ này đã được thử nghiệm trên các bài viết về hóa học và cho thấy khả năng nhận diện cao hơn so với các công cụ hiện có. Công cụ này có thể giúp các nhà xuất bản học thuật phát hiện các bài viết được tạo ra bởi trí tuệ nhân tạo. Nghiên cứu cũng đã chỉ ra rằng việc điều chỉnh phần mềm cho các loại văn bản cụ thể có thể tăng cường khả năng phát hiện trí tuệ nhân tạo. Tuy nhiên, cần lưu ý rằng việc sử dụng công cụ này chỉ tập trung vào một lĩnh vực cụ thể và không giải quyết được các vấn đề rộng hơn liên quan đến việc viết bài trong giới học thuật.
Bản tóm tắt tiếng Anh
A new machine learning tool has been developed to differentiate between human and AI authors based on writing style. The tool was tested on chemistry papers written by the AI chatbot ChatGPT, and outperformed two existing AI detectors. This specialized classifier could assist academic publishers in identifying papers created by AI text generators. The study suggests that tailoring software to specific types of writing can enhance AI detection efforts. The tool analyzes 20 features of writing style, such as sentence length variation and word frequency, to determine authorship. When tested on chemistry journal introductions, the tool accurately identified sections written by ChatGPT with 100% accuracy based on titles and 98% accuracy based on abstracts. In contrast, existing AI detectors performed significantly worse. While the tool is specialized for scientific journal articles, it struggled to recognize articles from university newspapers as human-written. The use of writing style features for authorship detection is a novel approach and complements existing methods that rely on predictive text patterns. However, it is important to recognize that AI detection tools alone cannot address broader issues in academia, such as the pressure to produce papers quickly.
Bản dịch Anh – Việt
Một công cụ mới dựa trên học máy sử dụng các đặc điểm về phong cách viết để phân biệt giữa các tác giả con người và trí tuệ nhân tạo.
Theo một nghiên cứu được công bố vào ngày 6 tháng 11 trên tạp chí Cell Reports Physical Science, một công cụ học máy có thể dễ dàng nhận ra khi các bài viết về hóa học được viết bằng chatbot ChatGPT. Bộ phân loại chuyên biệt này đã vượt trội hơn hai bộ phát hiện trí tuệ nhân tạo hiện có và có thể giúp các nhà xuất bản học thuật xác định được các bài viết được tạo ra bởi các trình tạo văn bản trí tuệ nhân tạo.
“Heather Desaire, một nhà hóa học tại Đại học Kansas ở Lawrence, người đồng tác giả cho biết: “Hầu hết các lĩnh vực phân tích văn bản muốn có một bộ phát hiện tổng quát thực sự có thể hoạt động trên mọi thứ”. Nhưng bằng cách tạo ra một công cụ tập trung vào một loại bài viết cụ thể, “chúng tôi thực sự đang nhắm tới sự chính xác”.
Những kết quả này cho thấy việc phát triển bộ phát hiện trí tuệ nhân tạo có thể được tăng cường bằng cách điều chỉnh phần mềm cho các loại văn bản cụ thể, Desaire nói. “Nếu bạn có thể xây dựng một cái gì đó nhanh chóng và dễ dàng, thì không khó để xây dựng một cái gì đó cho các lĩnh vực khác”.
CÁC YẾU TỐ VỀ PHONG CÁCH
Desaire và đồng nghiệp của cô đã mô tả công cụ phát hiện ChatGPT của họ vào tháng 6, khi họ áp dụng nó cho các bài viết quan điểm từ tạp chí Science. Sử dụng học máy, công cụ phát hiện xem xét 20 đặc điểm về phong cách viết, bao gồm sự biến đổi trong độ dài câu, và tần suất của một số từ và dấu chấm câu cụ thể, để xác định xem một nhà khoa học học thuật hay ChatGPT đã viết một đoạn văn. Những kết quả cho thấy “bạn có thể sử dụng một tập hợp nhỏ các đặc điểm để đạt được mức độ chính xác cao”, Desaire nói.
Trong nghiên cứu mới nhất, công cụ đã được huấn luyện trên các phần giới thiệu của các bài viết từ mười tạp chí hóa học do Hiệp hội Hóa học Mỹ (ACS) xuất bản. Nhóm nghiên cứu đã chọn phần giới thiệu vì phần này của một bài viết khá dễ cho ChatGPT viết nếu nó có truy cập vào tài liệu nền, Desaire nói. Các nhà nghiên cứu đã huấn luyện công cụ của họ trên 100 phần giới thiệu được xuất bản để phục vụ làm văn bản do con người viết, sau đó yêu cầu ChatGPT-3.5 viết 200 phần giới thiệu theo kiểu tạp chí ACS. Đối với 100 phần này, công cụ được cung cấp với tiêu đề của bài báo, và đối với 100 phần còn lại, nó được cung cấp với tóm tắt của chúng.
Khi được thử nghiệm trên các phần giới thiệu được viết bởi con người và những phần được tạo ra bởi trí tuệ nhân tạo từ các tạp chí cùng loại, công cụ đã nhận dạng các phần được viết bởi ChatGPT-3.5 dựa trên tiêu đề với độ chính xác 100%. Đối với các phần giới thiệu được tạo ra bởi ChatGPT dựa trên tóm tắt, độ chính xác hơi thấp hơn, ở mức 98%. Công cụ hoạt động tốt với văn bản được viết bởi ChatGPT-4, phiên bản mới nhất của chatbot. Trái lại, bộ phát hiện trí tuệ nhân tạo ZeroGPT chỉ nhận dạng các phần giới thiệu được viết bởi trí tuệ nhân tạo với độ chính xác chỉ khoảng 35-65%, phụ thuộc vào phiên bản của ChatGPT được sử dụng và xem liệu phần giới thiệu được tạo ra từ tiêu đề hay tóm tắt của bài báo. Một công cụ phân loại văn bản được sản xuất bởi OpenAI, nhà sản xuất ChatGPT, cũng hoạt động kém – nó có thể nhận ra các phần giới thiệu được viết bởi trí tuệ nhân tạo với độ chính xác khoảng 10-55%.
Công cụ ChatGPT mới ngay cả hoạt động tốt với các phần giới thiệu từ các tạp chí nó không được huấn luyện, và nó nhận dạng văn bản trí tuệ nhân tạo được tạo ra từ nhiều đề mục khác nhau, bao gồm cả một đề mục nhằm làm rối các bộ phát hiện trí tuệ nhân tạo. Tuy nhiên, hệ thống này chuyên biệt cao cho bài viết khoa học trong các tạp chí. Khi được trình bày với các bài viết thực tế từ báo đại học, nó không nhận ra chúng là do con người viết.
CÁC VẤN ĐỀ RỘNG HƠN
Debora Weber-Wulff, một nhà khoa học máy tính nghiên cứu về việc sao chép học thuật tại Đại học Công nghệ Berlin HTW, cho biết những gì tác giả đang làm là “một điều thú vị”. Theo cô, nhiều công cụ hiện có cố gắng xác định tác giả bằng cách tìm kiếm các mẫu văn bản có tính dự đoán của việc viết trí tuệ nhân tạo thay vì xem xét các đặc điểm về phong cách viết. “Tôi chưa bao giờ nghĩ đến việc sử dụng stylometrics trên ChatGPT”.
Tuy nhiên, Weber-Wulff chỉ ra rằng có các vấn đề khác đang thúc đẩy việc sử dụng ChatGPT trong giới học thuật. Cô lưu ý rằng nhiều nhà nghiên cứu đang phải đối mặt với áp lực để nhanh chóng đưa ra các bài viết, hoặc họ có thể không coi việc viết bài là một phần quan trọng của khoa học. Các công cụ phát hiện trí tuệ nhân tạo sẽ không giải quyết được những vấn đề này, và không nên được coi là “một giải pháp phần mềm kỳ diệu cho một vấn đề xã hội”.