Trong nghiên cứu được công bố vào ngày 6 tháng 11 trên tạp chí Cell Reports Physical Science, Giáo sư Heather Desaire, đồng tác giả nghiên cứu nhấn mạnh mặc dù hiện có một số máy AI phát hiện nội dung chung chung nhưng chưa có loại nào hiệu quả khi dùng cho các bài báo khoa học, đặc biệt là các bài báo về chủ đề hóa học.

Máy phát hiện văn bản do nhóm nghiên cứu tại Đại học Kansas tạo ra, đã được đào tạo dựa vào các tạp chí do Hiệp hội Hóa học Hoa Kỳ xuất bản. Các nhà khoa học đã thu thập 100 đoạn giới thiệu do các chuyên gia viết và sau đó lập trình cho ChatGPT viết phần giới thiệu riêng dựa vào nội dung tóm tắt của bài báo hoặc đơn giản là tiêu đề của bài báo.

Khi quét ba sản phẩm nêu trên, máy phát hiện dựa vào ChatGPT đã xác định chính xác 100% các đoạn văn do con người viết, cũng như các văn bản được tạo ra dựa vào gợi ý ngắn gọn như tiêu đề bài báo. Tỷ lệ nhận dạng chính xác các văn bản do AI tạo ra dựa vào nội dung tóm tắt lên đến 98%.

Tuy nhiên, một công cụ phân loại cạnh tranh như ZeroGPT đạt độ chính xác 98% trong việc phát hiện các bài luận do AI viết, nhưng lại kém hiệu quả khi sử dụng cho các bài báo về chủ đề hóa học. Công cụ này chỉ đạt tỷ lệ chính xác trung bình 37% đối với các bài viết do AI tạo ra dựa vào tiêu đề và chỉ tốt hơn một vài điểm phần trăm về khả năng phát hiện các bài viết dựa vào nội dung tóm tắt. Ngoài ra, một công cụ nữa là OpenAI thậm chí còn kém hơn khi tỷ lệ thất bại trong việc xác định chính xác quyền tác giả của các bài viết lên mức trung bình 80%.

GS. Desaire cho rằng: “Các nhà xuất bản học thuật đang gặp khó khăn trong việc áp dụng nhanh chóng và phổ biến các công cụ tạo văn bản bằng AI. Công cụ AI mới sẽ cho phép cộng đồng khoa học đánh giá sự xâm nhập của ChatGPT vào các tạp chí hóa học, xác định hậu quả của việc sử dụng nó và nhanh chóng đưa ra các chiến lược giảm thiểu khi có vấn đề nảy sinh".

Các tạp chí khoa học đang điều chỉnh những quy định liên quan đến việc gửi bài báo, trong đó hầu hết đều không tiếp nhận các bài báo do AI tạo ra và yêu cầu tiết lộ tất cả các quy trình AI được sử dụng để viết bài.

GS. Desaire liệt kê một số lo ngại về nội dung do AI tạo ra xâm nhập vào các tạp chí khoa học: "Việc lạm dụng AI có thể dẫn đến cho ra đời các bản thảo ít giá trị. Chúng có thể khiến các bài báo được trích dẫn nhiều trở thành các công trình không được biết đến. Điều đáng lo ngại nhất là xu hướng của những công cụ này thêu dệt những điều không có thật".

Để minh họa, GS. Desaire đã đưa vào một giai thoại cá nhân về kết quả phác thảo tiểu sử do ChatGPT viết về chính giáo sư. ChatGPT viết: cô "tốt nghiệp Đại học Minnesota và là thành viên của Hiệp hội Hóa học Hoàng gia và giành được Huy chương Biemann". Tuy nhiên, tất cả những thông tin này đều sai.

Một số người cho rằng chống lại sự xuất hiện của nội dung do AI tạo ra là điều không thể tránh khỏi và cho rằng “việc phát triển các công cụ này đang tham gia vào cuộc chạy đua chống lại AI mà con người sẽ không thể giành chiến thắng”.

Theo GS. Desaire, các biên tập viên phải đi đầu trong việc phát hiện tình trạng “ô nhiễm AI”. Các tạp chí nên áp dụng các bước hợp lý để đảm bảo việc tuân thủ các chính sách quy định đối với những bài viết do AI tạo ra và việc lường trước vấn đề phát hiện ra AI là hoàn toàn khả thi.