66B là một mô hình ngôn ngữ lớn được thiết kế để xử lý ngôn ngữ tự nhiên ở quy mô rộng. Nó có khoảng 66 tỉ tham số và được huấn luyện trên tập dữ liệu đa dạng nhằm nắm bắt cú pháp, ngữ nghĩa và kiến thức thế giới.
Kiến trúc của 66B dựa trên kiến trúc transformer với nhiều lớp tự attention và cơ chế tối ưu hoá. Dữ liệu huấn luyện đến từ nhiều nguồn, bao gồm văn bản công khai, sách và nội dung web, được thu thập và xử lý theo các chuẩn về quyền riêng tư.
66B có khả năng sinh văn bản tự nhiên, tóm tắt, trả lời câu hỏi, phân tích ngữ nghĩa và hỗ trợ lập trình ở mức độ cao. Tuy nhiên, nó cũng đối mặt với thách thức như sai lệch thông tin và giới hạn an toàn, cần giám sát khi sử dụng.
So với các mô hình có kích thước nhỏ hơn, 66B thường cho kết quả tự nhiên hơn và hiểu ngữ cảnh rộng. Khi so sánh với các mô hình 13B hoặc 30B, nó có lợi thế về sự nhất quán và khả năng nắm bắt ý nghĩa phức tạp trong văn bản dài.
Việc triển khai 66B đòi hỏi quản trị dữ liệu, giám sát đầu ra và cơ chế phòng vệ để ngăn chặn sai lệch, thiên vị và nội dung độc hại. Người dùng cần kết hợp phân tích kết quả và kiểm tra nguồn gốc thông tin.