Một vài năm qua, những nhà lãnh đạo công nghệ đã đưa ra những khả năng mới của Trí tuệ Nhân tạo (AI): khả năng vượt qua một ngưỡng phức tạp, mô hình ngôn ngữ lớn (LLM) đang thực hiện những điều không thể đoán trước. Nếu chúng ta có thể tận dụng khả năng đó, AI có thể giải quyết một số vấn đề lớn nhất của nhân loại. Nhưng được biết, tính không thể đoán trước cũng là điều đáng sợ: việc làm cho một mô hình lớn hơn có thể giải phóng một con người có thể gây hại hoàn toàn không thể đoán trước vào thế giới này?

Nỗi lo này được nhiều người trong ngành công nghệ chia sẻ. Thực tế, một bức thư mở gần đây được ký kết bởi hơn 1.000 nhà lãnh đạo công nghệ yêu cầu tạm ngừng sáu tháng thực nghiệm công nghệ AI khổng lồ như một cách để rút lui khỏi "cuộc đua nguy hiểm tới những mô hình hộp đen ngày càng lớn với những tính năng mới nổi."

Nhưng theo một bài báo mới, chúng ta có thể giải quyết nỗi lo đặc biệt đó về AI, do tác giả chính Rylan Schaeffer, một sinh viên nghiên cứu năm thứ hai ngành khoa học máy tính tại Đại học Stanford, cho biết. "Với những mô hình lớn hơn, bạn sẽ có hiệu suất tốt hơn", anh ta nói, "nhưng chúng ta không có bằng chứng để cho rằng tổng lớn hơn các phần còn lại".

Thực tế, như anh và các đồng nghiệp của mình gồm Brando Miranda, một sinh viên nghiên cứu tiến sĩ Stanford, và Sanmi Koyejo, giáo sư trợ giảng khoa học máy tính, cho thấy, cảm nhận về khả năng mới của AI dựa trên các chỉ số đã được sử dụng. "Ảo ảnh khả năng mới chỉ tồn tại vì sự lựa chọn số liệu của các lập trình viên", Schaeffer nói. "Khi bạn điều tra bằng cách thay đổi số liệu, ảo ảnh sẽ biến mất".

Schaeffer bắt đầu tự hỏi liệu khả năng mới của AI có thực sự tồn tại khi tham dự một bài thuyết trình mô tả chúng. "Tôi nhận ra trong bài thuyết trình rằng nhiều người cho rằng khả năng mới đã xuất hiện khi các nghiên cứu sử dụng những cách đánh giá mô hình rất cụ thể", anh nói.

Cụ thể, các số liệu này đánh giá khắc nghiệt hơn hiệu suất của các mô hình nhỏ hơn, làm cho nó trông như khả năng mới và không thể đoán trước đang nổi lên khi các mô hình lớn hơn. Thật vậy, đồ thị của các số liệu này hiển thị một sự thay đổi đột ngột về hiệu suất tại một kích thước mô hình cụ thể – đó là lý do tại sao tính năng mới được gọi là "quay đầu trái sắc nhọn".

Tuy nhiên, khi Schaeffer và các đồng nghiệp của anh ta sử dụng các số liệu khác đo đạc khả năng của các mô hình nhỏ và lớn hơn một cách công bằng hơn, sự bước nhảy được cho là tính năng mới đã biến mất. Trong bài báo được xuất bản vào ngày 28 tháng 4 trên dịch vụ trước đây, Schaeffer và các đồng nghiệp của anh ta đã xem xét 29 chỉ số khác nhau để đánh giá hiệu suất mô hình. 25 trong số đó không có tính năng mới. Thay vào đó, chúng tiết lộ một sự phát triển tuyến tính liên tục trong khả năng mô hình khi kích thước mô hình tăng lên.

Và có những giải thích đơn giản cho tại sao bốn chỉ số còn lại gợi ý sai về sự tồn tại của tính năng mới. "Chúng đều là số liệu không liên tục, khó đoán định và biến dạng", Schaeffer nói. "Chúng là những thẩm phán khắc nghiệt". Thật vậy, khi sử dụng số liệu được biết đến là "khớp chuỗi chính xác", ngay cả một bài toán đơn giản cũng sẽ xuất hiện tính năng mới khi quy mô lớn hơn, Schaeffer nói. Ví dụ, hãy tưởng tượng một bài toán cộng và mắc phải một sai lầm mà sai một chữ số. Chỉ số khớp chuỗi chính xác sẽ xem xét sai lầm đó như một sai lầm tương tự với một sai lầm mà sai một tỷ chữ số. Kết quả là coi thường những cách mà các mô hình nhỏ dần cải thiện khi quy mô lớn lên và xuất hiện tính năng mới.

Schaeffer và các đồng nghiệp của anh ta cũng để ý rằng chưa có ai đã khẳng định rằng các mô hình tầm nhìn lớn có tính năng mới. Như thực tế cho thấy, các nhà nghiên cứu tầm nhìn không sử dụng số liệu khắc nghiệt được sử dụng bởi các nhà nghiên cứu ngôn ngữ tự nhiên. Khi Schaeffer áp dụng số liệu khắc nghiệt cho một mô hình tầm nhìn, voilà, ảo ảnh phát sinh.

Đây là lần đầu tiên một phân tích chuyên sâu đã chỉ ra rằng tầm quan trọng của khả năng mới của LLM phụ thuộc vào việc sử dụng số liệu khắc nghiệt. Nhưng đó không phải lần đầu tiên ai đó đã ra vẻ rằng điều đó có thể xảy ra. Bài báo mới đây của Google"Vượt qua trò chơi bắt chước" đã gợi ý rằng chỉ số có thể là vấn đề. Và sau khi bài báo của Schaeffer được phát hành, một nhà nghiên cứu khoa học dữ liệu LLM tại OpenAI đã tweet rằng công ty đã quan sát thấy những điều tương tự.

Điều đó có nghĩa là cho tương lai là thế này: chúng ta không cần phải lo lắng về việc vô tình vấp phải Trí tuệ Nhân tạo tổng quát (AGI). Đúng, AGI vẫn có thể có những hậu quả to lớn đối với xã hội nhân loại, Schaeffer nói, "nhưng nếu nó xuất hiện, chúng ta nên có thể nhận ra được". Nhiệm vụ của nhà HAI Stanford là thúc đẩy nghiên cứu, giáo dục, chính sách và thực tiễn về AI để cải thiện điều kiện sống của con người. Hãy tìm hiểu thêm.