Các Mô Hình Ngôn Ngữ Lớn để lại dấu ấn sâu đậm trong cộng đồng Trí Tuệ Nhân Tạo. Các mô hình như GPT, T5, PaLM,... đang ngày càng phổ biến. Chúng học tập cách con người đọc, tóm tắt và tạo dữ liệu văn bản. Tác động gần đây của chúng đối với AI giúp đóng góp vào rất nhiều ngành công nghiệp như chăm sóc sức khỏe, tài chính, giáo dục, giải trí,…
Việc Điều Chỉnh Các Mô Hình Ngôn Ngữ Lớn đến giá trị và ý đồ con người là thử thách liên tục trong lĩnh vực Vi Tính Mô phỏng, đặc biệt là về mặt bao hàm, tôn trọng và tuân thủ. Với sự phổ biến rộng rãi của ChatGPT dựa trên GPT, vấn đề này đã trở nên phổ biến. Các hệ thống AI hiện tại phụ thuộc rất nhiều vào việc điều chỉnh tinh chỉnh với các hướng dẫn và chú thích của con người và học tăng cường từ phản hồi của con người (RLHF) để đối chiếu mô hình với sở thích của con người. Tuy nhiên, phương pháp này đòi hỏi phải có sự giám sát của con người rất nhiều, điều này vừa tốn kém vừa tiềm ẩn các vấn đề. Điều này dẫn đến các vấn đề về chất lượng, đáng tin cậy, đa dạng và các sai lệch không mong muốn có mặt trong các chú thích được cung cấp bởi con người.
Để giải quyết các vấn đề này và giảm sự phụ thuộc của LLM vào các chú thích của con người, một nhóm nghiên cứu đưa ra phương pháp gọi là TỰ CĂN CHỈNH. TỰ CĂN CHỈNH đã được giới thiệu để xử lý việc điều chỉnh các đại lý AI dựa trên LLM với giá trị con người, và đó là ảo và không cần chú thích. Nó sử dụng một tập hợp nhỏ các nguyên tắc hoặc quy tắc được định nghĩa bởi con người để hướng dẫn hành vi của các đại lý AI khi tạo ra phản hồi cho các truy vấn người dùng.
Các nhà nghiên cứu đã áp dụng phương pháp TỰ CĂN CHỈNH vào mô hình ngôn ngữ cơ sở LLaMA-65b. Một trợ lí tự động của AI có tên là Dromedary đã được phát triển, đạt được cải thiện hiệu suất đáng kể so với các hệ thống AI hiện tại, bao gồm Text-Davinci-003 và Alpaca, sử dụng ít hơn 300 dòng chú thích của con người. Mã, trọng số của Dromedary, và dữ liệu huấn luyện tổng hợp đã được phát hành mã nguồn mở để khuyến khích nghiên cứu tiếp tục trong việc điều chỉnh các đại lý AI dựa trên LLM với hiệu quả giám sát nâng cao, giảm sai lệch và khả năng kiểm soát cải thiện.
Phương pháp bao gồm 4 giai đoạn:
1. Tự Hướng Dẫn: Giai đoạn này sử dụng cơ chế tự hướng dẫn bằng cách tạo ra các hướng dẫn tổng hợp bằng 175 lời nhắn hạt giống và 20 lời nhắn cụ thể về chủ đề khác. Mục đích của các hướng dẫn này là cung cấp một loạt các ngữ cảnh và kịch bản toàn diện để hệ thống AI học từ.
2. Sự Căn Chỉnh Tự Động dựa trên Các Nguyên Tắc: Ở giai đoạn này, một tập hợp nhỏ 16 nguyên tắc được viết bởi con người được cung cấp bằng tiếng Anh, trình bày các chất lượng mong muốn của các phản hồi được tạo ra bởi hệ thống. Những nguyên tắc này làm nhiệm vụ hướng dẫn tạo ra các phản hồi hữu ích, đạo đức và đáng tin cậy. Phương pháp này sử dụng học tăng cường liên quan đến ngữ cảnh (ICL) với một vài bản thể hiện để minh họa hệ thống AI tuân thủ các quy tắc khi sáng tạo phản hồi trong các trường hợp khác nhau.
3. Khắc Carving Nguyên Tắc: Ở giai đoạn này, LLM ban đầu được điều chỉnh tinh chỉnh bằng cách sử dụng các phản hồi tự căn chỉnh được tạo ra bởi LLM thông qua những động lực. Trong quá trình tinh chỉnh tinh chỉnh này, các nguyên tắc và bản chứng minh được cắt bớt. LLM được điều chỉnh tinh chỉnh này có thể tạo ra trực tiếp các phản hồi điều chỉnh tốt với các nguyên tắc.
4. Sao Chép Nhiều Lời Nói: Giai đoạn cuối cùng liên quan đến sử dụng quá trình cô đọng ngữ cảnh để nâng cao khả năng của hệ thống sản xuất các phản hồi bao quát và tường minh hơn. Kỹ thuật này cho phép hệ thống tạo ra các phản hồi chi tiết và toàn diện hơn.
Kết luận, Dromedary, LLM khởi động, có vẻ hứa hẹn sẽ có thể căn chỉnh chính nó với giám sát con người tối thiểu.
Kiểm tra các tài liệu và liên kết trên Github của chúng tôi. Đừng quên tham gia SubReddit ML 21k của chúng tôi, Discord Channel, và Email Newsletter, nơi chúng tôi chia sẻ tin tức nghiên cứu AI mới nhất, các dự án AI thú vị và nhiều hơn nữa. Nếu bạn có bất kỳ câu hỏi nào liên quan đến bài viết trên hoặc nếu chúng tôi bị bỏ sót bất cứ điều gì, xin vui lòng gửi email cho chúng tôi tại [email protected].
Xem Câu lạc bộ các công cụ AIđể kiểm tra các công cụ AI của chúng tôi.
➡️ Nổi bật: Các máy chủ Proxy tốt nhất năm 2023
Điều gì làm cho các máy chủ Proxy trở nên quan trọng?
Máy chủ Proxy được sử dụng để bảo vệ sự riêng tư và giấu địa chỉ IP của người dùng. Điều này có ý nghĩa đặc biệt khi người dùng truy cập Internet từ một thành phố hoặc quốc gia khác. Khi sử dụng máy chủ Proxy, người dùng sẽ được ẩn danh và truy cập các trang web ẩn danh hơn. Máy chủ Proxy cũng được sử dụng để tránh các hạn chế mạng được đặt ra bởi các công ty hoặc chính phủ.
Các lợi ích của việc sử dụng các máy chủ Proxy tốt nhất
Sử dụng các máy chủ Proxy tốt nhất có thể cung cấp nhiều lợi ích cho người dùng, bao gồm:
- Bảo mật: Sử dụng các máy chủ Proxy tốt nhất có thể giúp giữ an toàn cho thông tin cá nhân của người dùng và tránh những tấn công từ hacker.
- Tăng tốc độ Internet: Các máy chủ Proxy tốt nhất có thể giúp tăng tốc độ Internet của người dùng bằng cách chuyển tiếp lưu lượng truy cập.
- Truy cập vào các trang web bị cấm: Sử dụng các máy chủ Proxy có thể giúp người dùng truy cập vào các trang web bị chặn bởi chính phủ hoặc công ty.
Các máy chủ Proxy tốt nhất cho năm 2023
- Dưới đây là một số máy chủ Proxy tốt nhất mà người dùng có thể sử dụng trong năm 2023:
Sử dụng các máy chủ Proxy tốt nhất không chỉ đảm bảo an toàn cho thông tin cá nhân của bạn mà còn cung cấp cho bạn khả năng truy cập vào các trang web một cách dễ dàng và nhanh chóng.
