Phóng to / Một hình ảnh do AI tạo ra về một con lạc đà cơ học. Vào ngày thứ ba, Meta công bố Llama 2, một gia đình mới của các mô hình ngôn ngữ AI mã nguồn mở đáng chú ý với giấy phép thương mại, điều đó có nghĩa là các mô hình này có thể tích hợp vào các sản phẩm thương mại, khác với phiên bản trước đó. Chúng có kích thước từ 7 đến 70 tỷ tham số và được cho là "vượt trội hơn các mô hình trò chuyện nguồn mở trên hầu hết các thước đo chúng tôi đã kiểm tra", theo Meta.
"Điều này sẽ thay đổi cảnh quan thị trường LLM," Tổng giám đốc Khoa học AI Yann LeCun "tweeted. "Llama-v2 có sẵn trên Microsoft Azure và sẽ có sẵn trên AWS, Hugging Face và các nhà cung cấp khác."
Theo Meta, các mô hình "pretrained" của Llama 2 (bao gồm các mô hình cơ bản) được đào tạo trên 2 nghìn tỷ tokens và có một cửa sổ ngữ cảnh gồm 4.096 tokens (đoạn văn từ). Cửa sổ ngữ cảnh xác định độ dài của nội dung mà mô hình có thể xử lý cùng một lúc. Meta cũng nói rằng các mô hình chỉnh sửa tinh luyện Llama 2, được phát triển cho các ứng dụng trò chuyện tương tự ChatGPT, đã được đào tạo trên "trên 1 triệu chú thích của con người."
Mặc dù không thể sánh ngang với GPT-4 của OpenAI về hiệu suất, Llama 2 có vẻ là một mô hình mã nguồn mở khá tốt. Theo Jim Fan, nhà khoa học trưởng AI tại Nvidia, "70 tỷ gần với GPT-3.5 trên các nhiệm vụ suy luận, nhưng có một khoảng cách đáng kể trên các thước đo lập trình. Nó ngang hoặc tốt hơn PaLM-540 tỷ trên hầu hết các thước đo, nhưng vẫn kém xa GPT-4 và PaLM-2-L." Chi tiết hơn về hiệu suất, các thước đo và cấu trúc của Llama 2 có thể được tìm thấy trong một bài báo nghiên cứu được Meta công bố vào ngày thứ ba.
Phóng to / Thông tin về Llama 2 từ Meta. Vào tháng hai, Meta phát hành phiên bản tiền thân của Llama 2, LLaMA, như mã nguồn mở với giấy phép phi thương mại. Chỉ có sẵn chính thức đối với các nhà học thuật có chứng chỉ cụ thể, không lâu sau đó một người đã rò rỉ những trọng số của LLA (các tệp chứa các giá trị tham số của các mạng lưới thần kinh được đào tạo) lên các trang torrent và chúng đã lan rộng trong cộng đồng AI. Sớm sau đó, những phiên bản được điều chỉnh tinh vi của LLaMA, như Alpaca, đã xuất hiện, tạo nên nền tảng cho một cảnh AI ngầm phát triển nhanh chóng.
Llama 2 đưa hoạt động này ra một cách rõ ràng hơn với việc cho phép sử dụng thương mại, mặc dù những bên có khả năng được cấp giấy phép với "hơn 700 triệu người dùng hàng tháng trong tháng trước" phải yêu cầu sự cho phép đặc biệt từ Meta để sử dụng, có thể ngăn cản việc sử dụng miễn phí bởi các công ty khổng lồ như Amazon hay Google.
Quảng cáo
Sức mạnh và hiểm họa của trí tuệ nhân tạo mã nguồn mở
Mặc dù các mô hình trí tuệ nhân tạo mã nguồn mở đã được chứng minh là phổ biến với những người đam mê và những người tìm kiếm những conversational AI chưa qua kiểm duyệt, chúng cũng gây tranh cãi. Meta đáng chú ý vì là công ty công nghệ duy nhất trong số các tập đoàn công nghệ lớn ủng hộ các mô hình trí tuệ nhân tạo mã nguồn mở quan trọng, trong khi những tập đoàn thuộc phạm vi bản quyền bao gồm OpenAI, Microsoft và Google.
Những người phê phán nói rằng các mô hình trí tuệ nhân tạo mã nguồn mở mang theo những nguy cơ tiềm ẩn, như lạm dụng trong sinh học phân tử hay việc tạo ra thư rác hoặc thông tin sai lệch. Dễ dàng tưởng tượng được rằng Llama 2 sẽ thay thế một số trong những vai trò này, mặc dù việc sử dụng những công dụng như vậy là vi phạm quy định của Meta. Hiện nay, nếu có ai thực hiện những hành vi hạn chế với ChatGPT API của OpenAI, quyền truy cập có thể bị thu hồi. Tuy nhiên, với phần mềm mã nguồn mở, khi trọng số được giải phóng, thì không còn cách nào hồi phục.
Tuy nhiên, những người ủng hộ trí tuệ nhân tạo mã nguồn mở thường cho rằng những mô hình trí tuệ nhân tạo mã nguồn mở khuyến khích tính minh bạch (về dữ liệu huấn luyện được sử dụng để tạo ra chúng), thúc đẩy cạnh tranh kinh tế (không giới hạn công nghệ cho các công ty khổng lồ), khuyến khích tự do ngôn luận (không kiểm duyệt) và công bằng hóa việc tiếp cận trí tuệ nhân tạo (mà không phải trả phí).
Có lẽ là để đối phó trước những chỉ trích tiềm tàng về việc phát hành mã nguồn mở, Meta cũng đăng tải một tuyên bố ngắn "Tuyên bố ủng hộ Phương pháp Tiếp cận Mở của Meta đối với Trí Tuệ Nhân Tạo Hiện nay" có nội dung như sau: "Chúng tôi ủng hộ phương pháp đổi mới mở mang tính trách nhiệm đối với trí tuệ nhân tạo. Đổi mới mở mang đem lại cho chúng ta tất cả một quyền lợi trong quá trình phát triển trí tuệ nhân tạo, đồng thời tạo ra cái nhìn, kiểm duyệt và lòng tin vào công nghệ này. Việc mở ra các mô hình Llama hiện nay sẽ giúp mọi người cùng hưởng lợi từ công nghệ này."
Cho đến chiều Thứ Ba, tuyên bố đã được ký kết bởi một danh sách các điều hành viên và giáo viên như Drew Houston (CEO của Dropbox), Matt Bornstein (Đối tác Andreessen Horowitz), Julien Chaumond (CTO của Hugging Face), Lex Fridman (nhà khoa học nghiên cứu tại MIT) và Paul Graham (Đối tác Sáng lập của Y Combinator).
Mặc dù Llama 2 là mã nguồn mở, Meta không tiết lộ nguồn dữ liệu huấn luyện được sử dụng để tạo ra các mô hình Llama 2, điều mà Abeba Birhane, chuyên gia về Trí Tuệ Nhân Tạo đáng tin cậy tại tổ chức Senior Fellow của Mozilla, đã chỉ ra trên Twitter. Thiếu tính minh bạch về dữ liệu huấn luyện vẫn là một trong những điểm tranh cãi của những người chỉ trích LLM, vì dữ liệu huấn luyện dạy cho những LLM này những gì mà chúng "biết" thường đến từ việc thu thập trái phép trên Internet mà ít quan tâm đến quyền riêng tư hoặc tác động kinh doanh. Meta cho biết đã "nỗ lực loại bỏ dữ liệu từ một số trang được biết chứa lượng lớn thông tin cá nhân về những người dùng riêng tư" trong bài báo nghiên cứu về Llama 2, nhưng không liệt kê những trang web đó là gì.
Hiện tại, bất kỳ ai cũng có thể yêu cầu truy cập để tải về Llama 2 bằng cách điền vào một biểu mẫu trên trang web của Meta theo đường dẫn này. Ars Technica đã gửi yêu cầu tải xuống và sau khoảng một giờ nhận được một liên kết tải xuống, cho thấy danh sách có thể được kiểm tra thủ công.
