Trong vũ trụ các mô hình ngôn ngữ lớn (LLM), sự tập trung lâu dài của các công ty như OpenAI (GPT-3 & 4, ChatGPT, vv.) cũng như ngày càng nhiều người từ Google đến Meta và Microsoft đã đổ vào các công nghệ độc quyền. Những nỗ lực bởi các nhà nghiên cứu nghiệp dư, các nhà nghiên cứu không thuộc liên kết và những người khác mà bạn có thể tìm thấy trong các dự án Open Source LLM vẫn chưa được đưa ra ánh sáng trong cuộc thảo luận về LLM nào sẽ làm nhiều việc tốt hơn. Theo một tài liệu rò rỉ từ một nhà nghiên cứu tại Google (ẩn danh, nhưng được xác nhận), Google rất lo lắng rằng Open Source LLM sẽ ngược đổ những nỗ lực của cả Google và OpenAI.
Theo tài liệu, sau khi cộng đồng mã nguồn mở có được các mô hình nền tảng LLaMA rò rỉ, các cá nhân đầy động lực và hiểu biết đã bắt tay vào để đưa một mô hình khá cơ bản đến những mức độ mới, nơi mà nó có thể bắt đầu cạnh tranh với các ứng dụng của OpenAI và Google. Những đột phá lớn là vấn đề tỷ lệ, cho phép các LLM này làm việc trên các hệ thống yếu hơn nhiều (như máy tính xách tay hoặc thậm chí điện thoại thông minh).
Yếu tố quan trọng ở đây là Low-Rank adaptation (LoRa), giảm đáng kể các nỗ lực và tài nguyên cần thiết để huấn luyện một mô hình. Theo tài liệu này, Google và mở rộng là OpenAI không có "sốt bí mật" nào làm cho cách tiếp cận của họ tốt hơn bất cứ điều gì mà cộng đồng rộng hơn có thể tạo ra. Ý đó cũng nhắc đến rằng đơn giản là Meta đã chiến thắng ở đây khi có LLM rò rỉ của họ, vì điều này đã có nghĩa là cộng đồng OSS đã cải thiện các nền tảng của Meta, cho phép Meta hưởng lợi từ những cải tiến đó trong sản phẩm của họ.
Vì vậy, dự báo nguy hiểm là cuối cùng các LLM độc quyền của Google, OpenAI và những người khác sẽ ngừng tồn tại khi cộng đồng mã nguồn mở sẽ đánh bại chúng, khiến chúng trở thành bụi kỹ thuật số. Có thể xem xét xem liệu điều này có hoạt động theo cách đó hay không, nhưng điều này không tốt cho các LLM độc quyền.
(Cảm ơn [Mike Szczys] vì những gợi ý)
