66B là một mô hình ngôn ngữ quy mô lớn được thiết kế để hiểu và sinh văn bản tự động với khả năng nắm bắt ngữ cảnh, ngữ nghĩa và lối diễn đạt phức tạp. Phiên bản 66B có khoảng 66 tỷ tham số, giúp nó xử lý các tác vụ ngôn ngữ tự nhiên ở mức độ tinh vi.
Mô hình 66B sử dụng kiến trúc transformer với nhiều lớp chú ý tự và cơ chế tối ưu cho quá trình huấn luyện trên lượng dữ liệu lớn. Với 66 tỷ tham số, nó cân bằng giữa khả năng hiểu ngôn ngữ và chi phí tính toán khi triển khai trên phần cứng hiện đại.
66B được huấn luyện trên tập dữ liệu khổng lồ từ nhiều nguồn: văn bản từ web, sách, báo cáo và mã nguồn. Quá trình huấn luyện nhấn mạnh sự đa dạng ngôn ngữ và phong cách viết, nhưng cũng đi kèm thách thức về thiên vị và an toàn nội dung.
Khả năng sinh văn bản, trả lời câu hỏi, tóm tắt và hỗ trợ sáng tạo của 66B được đánh giá qua nhiều benchmark ngôn ngữ. Ứng dụng có thể mở rộng từ trợ lý ảo, hệ thống trả lời tự động đến hỗ trợ viết và biên tập nội dung, đồng thời đòi hỏi sự giám sát để giảm rủi ro như sai lệch thông tin và phát sinh lỗi.
