Các nhà nghiên cứu từ Đại học Brigham Young (BYU) ở Utah đã hợp tác với hàng trăm trường đại học để xem liệu ChatGPT có thể vượt qua các sinh viên đại học trong các kỳ thi kế toán hay không, nhưng trí tuệ nhân tạo này đã thất bại.

Các sinh viên đạt điểm trung bình là 76,7% trong các kỳ thi, trong khi ChatGPT chỉ đạt 47,4%.

Nghiên cứu đã được đồng ý và công nhận bài báo trong tạp chí Issues in Accounting Education, với 327 tác giả cộng tác từ hơn 180 cơ sở giáo dục ở 14 quốc gia khác nhau.

Số lượng cộng tác viên lớn này là do giáo sư David Wood của BYU, người đứng đầu cuộc nghiên cứu. Wood đã tuyển dụng một lượng lớn các nhà học thuật thông qua mạng xã hội.

Những điểm yếu của ChatGPT là nghiên cứu so sánh hiệu suất của các sinh viên trong các kỳ thi với trí tuệ nhân tạo. Các nhà nghiên cứu đã đóng góp hơn 25.000 câu hỏi thi vào nghiên cứu. Các câu hỏi bao gồm một loạt các chủ đề bao gồm hệ thống thông tin kế toán, kiểm toán, thuế và kế toán tài chính theo các định dạng khác nhau như đúng/sai và nhiều sự lựa chọn.

Trí tuệ nhân tạo đặc biệt gặp khó khăn với những câu hỏi liên quan đến thuế, đánh giá tài chính và quản lý, do nó gặp khó khăn trong các quá trình toán học cần thiết. Đôi khi công nghệ này sử dụng phép cộng thay vì trừ, có nghĩa là nó không thể luôn tuân theo công thức toán học cơ bản.

ChatGPT cũng gặp khó khăn với các câu hỏi trả lời ngắn (từ 28,7% đến 39,1%). Ngoài ra, ChatGPT đôi khi cung cấp các mô tả chính quyền cho các câu trả lời sai hoặc trả lời cùng một câu hỏi theo cách khác nhau. Trong một số trường hợp, chương trình đơn giản chỉ cung cấp một tham chiếu để bảo vệ các câu trả lời của nó.

Công nghệ này có thể hoàn thành các câu hỏi trả lời đúng/sai (68,7% chính xác) và các câu hỏi đa lựa chọn (59,5%) thành công hơn so với sinh viên.

“Khi công nghệ này ra mắt, mọi người đều lo lắng rằng sinh viên có thể sử dụng nó để gian lận,” Wood cho biết. "Nhưng cơ hội để gian lận đã tồn tại. Vì vậy, chúng tôi đang cố gắng tập trung vào những gì chúng tôi có thể làm với công nghệ này bây giờ mà trước đây chúng tôi không thể làm được để cải thiện quá trình giảng dạy cho giảng viên và quá trình học tập cho sinh viên."

"Nó không hoàn hảo; bạn sẽ không sử dụng nó cho mọi thứ," Jessica Wood, hiện đang là sinh viên năm nhất tại BYU, cho biết. "Cố gắng học chỉ bằng cách sử dụng ChatGPT là hành động ngớ ngẩn."