TÓM TẮT DO CHATGPT VIẾT QUA MẶT CÁC NHÀ KHOA HỌC
3.2.23
http://www.phantichkinhte123.com/2023/02/blog-post.html#more
Các nhà nghiên cứu không phải
lúc nào cũng phân biệt nổi đâu là bản tóm tắt do AI tạo ra và đâu là bản gốc.
Các nhà khoa học và chuyên viên xuất bản lo ngại rằng năng lực xử lý tác
vụ phức tạp ngày càng mạnh của chatbot có thể làm xói mòn sự liêm chính và
chính xác của nghiên cứu. Ảnh: Ted Hsu/Alamy
Theo
một bản thảo được đăng trên kho lưu trữ bioRxiv vào cuối tháng 12[1], một
chatbot trí
tuệ nhân tạo (AI) có thể viết những bản tóm tắt bài báo nghiên cứu giả
tạo nhưng thuyết phục đến mức các nhà khoa học thường không thể nhận
ra. Có sự chia rẽ trong quan điểm của các nhà nghiên cứu về hệ quả của việc
này đối với khoa học.
“Tôi
rất lo lắng,” Sandra Wachter, nhà nghiên cứu công nghệ và các quy định tại Đại
học Oxford, Vương quốc Anh, và không tham gia vào nghiên cứu này (bài đăng trên
bioRxiv - ND), cho biết. Cô ấy nói thêm: “Nếu tình huống hiện tại là các
chuyên gia không thể xác định điều gì là đúng hay không, thì ta sẽ mất đi người
trung gian rất cần thiết để hướng dẫn chúng ta thông thấu các chủ đề phức tạp.”
Con
chatbot này, ChatGPT, tạo ra văn bản nghe có vẻ thực
tế và thông minh để phản hồi các lệnh do người dùng nhập
vào. Đó là một 'mô hình ngôn ngữ lớn'
[large language model], một hệ thống dựa trên các mạng thần kinh [neural
networks] học cách thực hiện một tác vụ bằng cách tiêu hóa lượng lớn văn bản sẵn
có do con người tạo ra. Công ty phần mềm OpenAI, có trụ sở tại San
Francisco, California, đã phát hành công cụ này vào ngày 30 tháng 11 và miễn
phí sử dụng nó.
Kể từ
khi ChatGPT ra mắt, các nhà nghiên cứu đã vật lộn với các vấn đề
đạo đức xung quanh việc sử dụng công cụ này, vì khó có thể phân biệt
phần lớn đầu ra của nó với văn bản do con người viết. Các nhà khoa học đã
xuất bản một bản thảo[2] và một bản
biên tập[3] do
ChatGPT viết. Giờ đây, một nhóm do Catherine Gao dẫn đầu tại Đại học Tây Bắc
ở Chicago, Illinois, đã tạo các bản tóm tắt nghiên cứu nhân tạo bằng ChatGPT để
kiểm tra xem liệu các nhà khoa học có thể nhận diện chúng hay không.
Các
nhà nghiên cứu yêu cầu chatbot viết 50 bản tóm tắt nghiên cứu y tế dựa trên một
loạt bài đã xuất bản trên JAMA, Tạp chí Y học New England, BMJ, The
Lancet và Nature Medicine. Sau đó, họ so sánh chúng với
các bản tóm tắt nguyên thủy bằng cách cho một máy dò đạo văn và máy dò đầu ra
AI quét qua chúng, đồng thời họ yêu cầu một nhóm các nhà nghiên cứu y khoa chỉ
ra các bản tóm tắt bịa đặt.
.
Khó phát
hiện
Các
bản tóm tắt do ChatGPT tạo ra đã vượt qua trình kiểm tra đạo văn: điểm nguyên bản
trung vị là 100%, ngụ ý không có hành vi đạo văn nào được phát hiện. Máy
dò đầu ra AI đã phát hiện 66% các bản tóm tắt bịa. Nhưng những người đánh
giá không khá hơn mấy: họ chỉ xác định chính xác 68% số tóm tắt của AI và 86% số
tóm tắt thật. Họ đã xác định nhầm 32% bản tóm tắt bịa là thật và nhầm 14%
bản tóm tắt thật là do AI tạo ra.
“ChatGPT
viết những tóm tắt khoa học đáng tin,” Gao và các đồng nghiệp nhận định trong bản
thảo. “Ranh giới của việc sử dụng có đạo đức và chấp nhận các mô hình ngôn
ngữ lớn để hỗ trợ viết bài khoa học vẫn đang chờ được xác định.”
Wachter
nói rằng, nếu các nhà khoa học không thể xác định xem một nghiên cứu đúng hay
không thì có thể sẽ có “những hậu quả thảm khốc”. Ngoài việc gây rắc rối
cho các nhà nghiên cứu, những người có thể bị đẩy vào những hướng điều tra sai
lầm, vì nghiên cứu mà họ đang đọc là bịa đặt, và cả “những tác động đối với xã
hội nói chung bởi nghiên cứu khoa học đóng một vai trò rất lớn trong xã hội của
chúng ta”. Ví dụ, việc các quyết định chính sách dựa trên thông tin nghiên
cứu là không chính xác, cô nói thêm.
Nhưng
Arvind Narayanan, một nhà khoa học máy tính tại Đại học Princeton ở New Jersey,
nói: “Chưa chắc có bất kỳ nhà khoa học nghiêm túc nào sẽ sử dụng ChatGPT để tạo
ra các bản tóm tắt.” Anh nói thêm rằng chuyện các bản tóm tắt được AI tạo
ra có thể được phát hiện hay không là điều “không liên quan”. “Câu hỏi đặt
ra là liệu công cụ này có thể tạo ra một bản tóm tắt chính xác và hấp dẫn hay
không. Không thể, và do đó, mặt tốt của việc sử dụng ChatGPT là rất nhỏ và
mặt trái lại rất lớn,” ông ấy nói.
Irene
Solaiman, nhà nghiên cứu về tác động xã hội của AI tại Hugging Face, một công ty AI có trụ sở chính ở New York và
Paris, lo ngại về bất kỳ sự phụ thuộc nào vào các mô hình ngôn ngữ lớn của tư
duy khoa học. Cô nói thêm: “Những mô hình này được đào luyện dựa trên
thông tin trong quá khứ còn tiến bộ khoa học và xã hội thường có thể đến từ việc
suy nghĩ, hoặc cởi mở để nghĩ, khác với quá khứ.”
Các
tác giả gợi ý rằng các cộng đồng đánh giá thông tin khoa học, chẳng hạn như những
bài nghiên cứu và biên bản hội nghị, nên đưa ra chính sách để ngăn chặn việc sử
dụng văn bản do AI tạo ra. Nếu các tổ chức chọn cho phép sử dụng công nghệ
trong một số trường hợp nhất định, họ nên thiết lập các quy tắc rõ ràng xung
quanh việc công khai thông tin. Đầu tháng 1 này, Hội nghị Quốc tế lần thứ
40 về Học máy [International Conference on Machine Learning], một hội nghị lớn
về AI sắp được tổ chức vào tháng 7 tới đây tại Honolulu, Hawaii, đã thông báo rằng
họ đã cấm các bài viết được viết bởi ChatGPT và các công cụ ngôn ngữ AI khác.
Solaiman
nói thêm rằng trong các lĩnh vực mà thông tin giả tạo có thể gây nguy hiểm cho
sự an toàn của mọi người, chẳng hạn như y học, các tạp chí có thể phải thực hiện
một cách tiếp cận nghiêm ngặt hơn để xác minh thông tin là chính xác.
Narayanan
cho rằng các giải pháp cho những vấn đề này không nên tập trung vào chính
chatbot, “mà nên tập trung vào những động lực sai trái dẫn đến hành vi này, chẳng
hạn như các trường đại học tiến hành tuyển dụng và đánh giá thăng chức bằng
cách đếm số lượng bài báo mà không quan tâm đến chất lượng hoặc tác động của
chúng.”
Nature 613, 423 (2023)
doi: https://doi.org/10.1038/d41586-023-00056-7
Huỳnh Thị Thanh Trúc dịch
Nguồn: Abstracts written by ChatGPT fool scientists, Nature, Jan 12, 2023.
Tài liệu tham khảo
[1] Gao, C. A. et al. Preprint
at bioRxiv https://doi.org/10.1101/2022.12.23.521610 (2022).
[2] Blanco-Gonzalez, A. et
al. Preprint at arXiv https://doi.org/10.48550/arXiv.2212.08104 (2022).
[3] O’Connor, S. &
ChatGPT Nurse Educ. Pract. 66, 103537 (2023). Article Google
Scholar
No comments:
Post a Comment