Phóng to / Hình ảnh robot đọc sách được tạo bởi trí tuệ nhân tạo. Vào ngày thứ năm, công ty trí tuệ nhân tạo Anthropic thông báo rằng họ đã trang bị cho mô hình ngôn ngữ trí tuệ nhân tạo AI giống như ChatGPT của Claude khả năng phân tích một cuốn sách trong vài phút. Khả năng mới này đến từ việc mở rộng cửa sổ ngữ cảnh của Claude lên đến 100.000 token, tương đương với khoảng 75.000 từ.
Như GPT-4 của OpenAI, Claude là một mô hình ngôn ngữ lớn (LLM) hoạt động bằng cách dự đoán token tiếp theo trong chuỗi khi được cung cấp đầu vào nhất định. Token là các đoạn của từ được sử dụng để đơn giản hóa xử lý dữ liệu trí tuệ nhân tạo. Và cửa sổ ngữ cảnh tương tự như bộ nhớ ngắn hạn - tức là lượng dữ liệu đầu vào được cung cấp bởi con người mà một LLM có thể xử lý cùng một lúc.
Một cửa sổ ngữ cảnh lớn hơn có nghĩa là một LLM có thể xem xét các tác phẩm lớn như sách hoặc tham gia vào các cuộc trò chuyện tương tác rất dài kéo dài "một vài giờ hoặc thậm chí là nhiều ngày," theo Anthropic:
Một người bình thường có thể đọc 100.000 token văn bản trong khoảng 5 giờ, sau đó có thể cần nhiều thời gian hơn để tiêu hóa, nhớ và phân tích thông tin đó. Claude hiện có thể làm việc này trong thời gian không đầy một phút. Ví dụ, chúng tôi đã tải toàn bộ văn bản của The Great Gatsby vào Claude-Instant (72K token) và sửa đổi một dòng để nói rằng ông Carraway là "một kỹ sư phần mềm làm việc trên công cụ học máy tại Anthropic". Khi chúng tôi hỏi mô hình phân biệt điều gì khác biệt, nó đã trả lời đúng trong 22 giây.
Mặc dù có vẻ không ấn tượng khi chọn ra sự thay đổi trong một văn bản (Microsoft Word có thể làm điều đó, nhưng chỉ nếu có hai tài liệu để so sánh), nhưng hãy xem xét rằng sau khi cung cấp cho Claude văn bản của The Great Gatsby, mô hình trí tuệ nhân tạo này sau đó có thể tương tác để trả lời câu hỏi hoặc phân tích ý nghĩa của nó. 100.000 token là một cải tiến lớn đối với LLMs. So với đó, GPT-4 LLM của OpenAI có độ dài cửa sổ ngữ cảnh là 4.096 token (khoảng 3.000 từ) khi được sử dụng làm phần của ChatGPT và 8.192 hoặc 32.768 token thông qua GPT-4 API (hiện chỉ có sẵn thông qua danh sách chờ).
Để hiểu cách cửa sổ ngôn ngữ lớn hơn dẫn đến một cuộc trò chuyện dài hơn với một trò chuyện chatbot như ChatGPT hoặc Claude, chúng tôi đã tạo một biểu đồ cho một bài viết trước đó cho thấy kích thước của lời nhắc (được lưu trong cửa sổ ngữ cảnh) mở rộng để chứa toàn bộ văn bản của cuộc trò chuyện. Điều đó có nghĩa là cuộc trò chuyện có thể kéo dài lâu hơn trước khi chatbot mất "bộ nhớ" của cuộc trò chuyện.
Theo Anthropic, khả năng nâng cao của Claude vượt xa việc xử lý sách. Khung ngữ cảnh lớn có thể giúp các doanh nghiệp trích xuất thông tin quan trọng từ nhiều tài liệu thông qua sự tương tác trò chuyện. Công ty cho rằng phương pháp này có thể vượt trội hơn so với các phương pháp tìm kiếm vector khi giải quyết các truy vấn phức tạp.
Mặc dù không phải là một cái tên lớn trong lĩnh vực trí tuệ nhân tạo như Microsoft và Google, Anthropic đã trở thành một đối thủ đáng chú ý của OpenAI về các ứng dụng cạnh tranh trong LLMs và truy cập API. Phó Giám đốc nghiên cứu cũ của OpenAI Dario Amodei và em gái của ông Daniela đã thành lập Anthropic vào năm 2021 sau khi xảy ra một sự bất đồng về hướng đi thương mại của OpenAI. Đáng chú ý, Anthropic đã nhận được khoản đầu tư 300 triệu đô la từ Google vào cuối năm 2022, với Google mua lại 10% cổ phần của công ty.
Anthropic cho biết khung cảnh 100K hiện đã có sẵn cho người dùng của API Claude, hiện đang bị giới hạn bởi danh sách chờ.
