Stability AI, công ty khởi nghiệp đằng sau công cụ nghệ thuật AI sinh học Stable Diffusion, đã chính thức chia sẻ bộ các mô hình AI tạo văn bản trên GitHub và Hugging Face dưới tên "StableLM". Công ty cho biết các mô hình này có thể tạo ra cả mã và văn bản, và "chứng tỏ rằng các mô hình nhỏ và hiệu quả có thể cung cấp hiệu suất cao với đào tạo phù hợp."
Công ty đã huấn luyện các mô hình trên tập dữ liệu được gọi là The Pile, một số mẫu văn bản lấy mẫu trên internet từ các trang web như PubMed, StackExchange và Wikipedia. Tuy nhiên, Stability AI cho biết họ đã tạo ra một bộ tập luyện tùy chỉnh mở rộng kích thước của Pile tối thiểu 3 lần.
Mặc dù các mô hình của StableLM có thể gặp phải các hạn chế nhất định như các mô hình khác, như xuất hiện những phản ứng độc hại đối với một số tín hiệu và bị ảo tưởng (tức là đưa ra thông tin không chính xác), công ty vẫn cho thấy niềm tin vào khả năng của các mô hình. Chúng hoạt động giống như ChatGPT khi được tinh chỉnh bằng kỹ thuật nguồn mở Alpaca được phát triển bởi Stanford, đáp ứng các hướng dẫn (đôi khi là với tính hài hước) chẳng hạn như "viết đơn xin việc dành cho một nhà phát triển phần mềm" hoặc "viết lời cho một bài rap ca trận đấu."
Mặc dù phát triển các mô hình tạo văn bản ngày càng trở nên phổ biến, tuy nhiên các nghiên cứu viên đã chỉ trích việc phát hành các mô hình nguồn mở như StableLM trong quá khứ, cho rằng chúng có thể được sử dụng cho những mục đích không đúng đắn như tạo email lừa đảo hoặc hỗ trợ tấn công độc hại. Tuy nhiên, Stability AI cho rằng việc phát triển các mô hình nguồn mở là chính xác, bởi vì điều này có thể xây dựng sự minh bạch và tăng niềm tin.
