Theo một nghiên cứu, ChatGPT có tỷ lệ độ chính xác thấp, chỉ đúng được dưới 50% câu hỏi từ nguồn tài liệu thường được các bác sĩ sử dụng để chuẩn bị cho kỳ thi chứng chỉ chuyên khoa nhãn khoa.
Một nghiên cứu do Bệnh viện St. Michael’s dẫn đầu đã tìm thấy rằng công cụ trí tuệ nhân tạo ChatGPT chỉ đúng được phần nửa số câu hỏi từ nguồn tài liệu thường được sử dụng để chuẩn bị cho kỳ thi chứng chỉ chuyên khoa nhãn khoa. Nghiên cứu đã được đăng trên JAMA Ophthalmology và báo cáo tỷ lệ độ chính xác của ChatGPT là 46% trong bài kiểm tra ban đầu vào tháng 1 năm 2023. Tuy nhiên, khi thực hiện cùng bài kiểm tra một tháng sau đó, ChatGPT đạt được kết quả cao hơn hơn 10%.
Kể từ khi ChatGPT được phát hành công khai vào tháng 11 năm 2022, nhiều người đã rất hào hứng với tiềm năng của nó trong lĩnh vực y tế và chuẩn bị kỳ thi. Tuy nhiên, cũng có những nỗi lo ngại về khả năng cung cấp thông tin không chính xác và gian lận trong các cài đặt học thuật. ChatGPT có sẵn miễn phí cho bất kỳ ai có truy cập internet và có thể sử dụng theo cách nói chuyện.
Bác sĩ Rajeev H. Muni, người dẫn đầu nghiên cứu, nhấn mạnh rằng trong tương lai, ChatGPT có thể trở nên quan trọng hơn trong giáo dục y tế và thực hành lâm sàng, nhưng việc sử dụng những hệ thống trí tuệ nhân tạo như vậy một cách có trách nhiệm là rất quan trọng. Ông cũng cho biết rằng ChatGPT chưa đưa ra đủ số câu trả lời chính xác cho các câu hỏi trắc nghiệm để trở thành một công cụ hỗ trợ đáng chú ý cho việc chuẩn bị cho kỳ thi chứng chỉ tại thời điểm này.
Các nhà nghiên cứu đã sử dụng một bộ câu hỏi trắc nghiệm từ phiên dùng thử miễn phí của OphthoQuestions, nguồn tài liệu thường được sử dụng để chuẩn bị cho kỳ thi chứng chỉ chuyên khoa nhãn khoa. Họ đảm bảo rằng các câu trả lời từ ChatGPT không bị ảnh hưởng bởi các cuộc trò chuyện trước đó bằng cách xóa tất cả các mục nhập trước đó và sử dụng một tài khoản ChatGPT mới cho mỗi câu hỏi. Họ không bao gồm các câu hỏi yêu cầu đầu vào hình ảnh hoặc video vì ChatGPT chỉ chấp nhận đầu vào văn bản.
Trong số 125 câu hỏi trắc nghiệm dựa trên văn bản, ChatGPT trả lời đúng 58 câu hỏi, tức là đạt tỷ lệ độ chính xác là 46% trong bài kiểm tra đầu tiên được tiến hành vào tháng 1 năm 2023. Trong bài kiểm tra thứ hai được tiến hành vào tháng 2 năm 2023, hiệu suất của ChatGPT đã cải thiện và nó trả lời đúng 58% câu hỏi.
Bác sĩ Marko Popovic, một trong những tác giả của nghiên cứu và một bác sĩ nội trú trong khoa nhãn khoa và khoa Khoa học và Kỹ thuật Thị giác của Đại học Toronto, cho biết ChatGPT có tiềm năng lớn trong giáo dục y tế mặc dù nó đã cung cấp các câu trả lời sai cho các câu hỏi chứng chỉ chuyên khoa nhãn khoa khoảng nửa số lần. Ông cũng nhắc đến rằng họ dự đoán hiểu biết của ChatGPT sẽ phát triển nhanh chóng.
Theo nghiên cứu, sự lựa chọn câu trả lời trắc nghiệm của ChatGPT gần nhất với các câu trả lời của các bác sĩ đang đào tạo về nhãn khoa. Nó chọn câu trả lời phổ biến nhất giữa các bác sĩ đang đào tạo 44% trong số các câu hỏi và chỉ chọn đáp án ít phổ biến nhất 11% trong số đó. ChatGPT chọn câu trả lời thứ hai ít phổ biến 18% của các bác sĩ đang đào tạo và câu trả lời thứ hai phổ biến nhất 22% trong số đó.
Chú ý rằng tên Andrew Mihalache không được đề cập trong thông cáo báo chí hoặc nghiên cứu. Tuy nhiên, thông tin về hiệu suất của ChatGPT đối với các câu hỏi về y học chung và các chuyên ngành con trong nhãn khoa là chính xác. Nghiên cứu cho thấy ChatGPT có hiệu quả hơn đối với các câu hỏi về y học chung, trả lời đúng 79% trong số đó, trong khi độ chính xác của nó ở các câu hỏi về chuyên ngành con như nhân mắt thẩm mỹ (20% đúng) và võng thị (0% đúng) thấp hơn đáng kể. Các tác giả cho rằng độ chính xác của ChatGPT có thể được cải thiện trong các chuyên ngành con trong tương lai.
