Credit: Pixabay/CC0 Công cộng
Nghiên cứu của ChatGPT cho thấy công cụ trí tuệ nhân tạo trả lời chưa đến một nửa số câu hỏi kiểm tra đúng từ nguồn tài liệu thường được các bác sĩ sử dụng khi chuẩn bị cho chứng chỉ chuyên khoa mắt học.
Nghiên cứu được đăng trên JAMA Ophthalmology và được dẫn dắt bởi bệnh viện St. Michael's, một cơ sở của Unity Health Toronto, đã phát hiện ra rằng ChatGPT trả lời đúng 46% câu hỏi trong khi bài kiểm tra được tiến hành vào tháng 1 năm 2023. Khi các nhà nghiên cứu tiến hành cùng một bài kiểm tra một tháng sau, ChatGPT đạt điểm cao hơn hơn 10%.
Công năng của trí tuệ nhân tạo trong y học và chuẩn bị kỳ thi đã thu hút được sự chú ý kể từ khi ChatGPT được công bố công khai vào tháng 11 năm 2022. Nó cũng đang gây ra mối quan tâm về tiềm năng của thông tin sai lệch và gian lận trong giới học thuật. ChatGPT miễn phí, có sẵn cho bất kỳ ai có kết nối mạng internet và hoạt động theo cách trò chuyện.
"ChatGPT có thể đóng vai trò ngày càng tăng trong giáo dục y khoa và thực hành lâm sàng trong tương lai, tuy nhiên việc sử dụng trách nhiệm các hệ thống trí tuệ nhân tạo như vậy là rất quan trọng," tiến sĩ Rajeev H. Muni, nhà nghiên cứu chính của nghiên cứu và một nhà nghiên cứu tại Viện Kiến thức Li Ka Shing của St. Michael's. "ChatGPT được sử dụng trong điều tra này không trả lời đúng đủ câu hỏi trắc nghiệm để cung cấp sự hỗ trợ đáng kể trong việc chuẩn bị cho chứng chỉ chuyên khoa lúc này."
Các nhà nghiên cứu đã sử dụng tập dữ liệu câu hỏi trắc nghiệm thực hành từ phiên dùng thử miễn phí của OphthoQuestions, một nguồn tài liệu phổ biến cho việc chuẩn bị cho kỳ thi chứng chỉ chuyên khoa. Để đảm bảo các phản hồi của ChatGPT không bị ảnh hưởng bởi các cuộc trò chuyện đồng thời, các mục và cuộc trò chuyện với ChatGPT được xóa trước khi nhập mỗi câu hỏi và đã sử dụng một tài khoản ChatGPT mới. Các câu hỏi sử dụng các hình ảnh và video không được bao gồm vì ChatGPT chỉ chấp nhận đầu vào văn bản.
Trong số 125 câu hỏi trắc nghiệm dựa trên văn bản, ChatGPT trả lời đúng 58 (46%) câu hỏi khi được thực hiện lần đầu tiên vào tháng 1 năm 2023. Các nhà nghiên cứu lặp lại phân tích trên ChatGPT vào tháng 2 năm 2023, và kết quả đã được nâng cao lên 58%.
"ChatGPT là một hệ thống trí tuệ nhân tạo có tiềm năng lớn trong giáo dục y khoa. Mặc dù nó cung cấp các câu trả lời không đúng với các câu hỏi chứng chỉ đúng khoa mắt học khoảng một nửa thời gian, chúng tôi dự đoán rằng các thông tin của ChatGPT sẽ tiến triển nhanh chóng," tiến sĩ Marko Popovic, cộng tác viên của nghiên cứu và bác sĩ tại bộ môn Mắt học và Khoa học Thị giác của Đại học Toronto.
ChatGPT gần giống với cách các học viên trả lời câu hỏi và lựa chọn cùng một phản hồi trắc nghiệm như là câu trả lời phổ biến nhất được cung cấp bởi các học viên mắt khoa 44% thời gian. ChatGPT đã chọn phản hồi trắc nghiệm ít phổ biến nhất trong số các học viên mắt khoa 11% thời gian, phản hồi trắc nghiệm ít phổ biến thứ hai 18% thời gian và phản hồi trắc nghiệm phổ biến thứ hai 22% thời gian.
"ChatGPT thực hiện đúng nhất trên các câu hỏi y học chung, trả lời đúng 79% trong số chúng. Mặt khác, độ chính xác của nó trên các câu hỏi chuyên môn mắt học là thấp hơn đáng kể. Ví dụ, chatbot trả lời đúng 20% các câu hỏi về phẫu thuật thẩm mỹ và không trả lời đúng bất kỳ câu hỏi nào trong chuyên môn thị giác. Độ chính xác của ChatGPT có thể sẽ được cải thiện nhất trong các chuyên ngành chuyên biệt trong tương lai," Tiến sĩ Andrew Mihalache, tác giả chính của nghiên cứu và sinh viên đại học tại Đại học Tây phương.
Thêm thông tin: Performance of an Artificial Intelligence Chatbot for Ophthalmic Knowledge Assessment, JAMA Ophthalmology (2023). DOI: 10.1001/jamaopthalmol.2023.1144
Thông tin tạp chí: JAMA Ophthalmology.
