66B là một mô hình ngôn ngữ lớn (LLM) có khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản, trả lời câu hỏi và tham gia vào nhiều tác vụ AI. Đây là một thành viên thuộc gia đình mô hình ngôn ngữ có quy mô vừa phải, phù hợp cho nghiên cứu và ứng dụng thương mại yêu cầu cân bằng giữa hiệu suất và tài nguyên.
66B có 66 tỷ tham số, với nhiều tầng Transformer và cơ chế attention đa đầu cho phép hiểu ngữ cảnh dài. Mô hình này được huấn luyện trên tập dữ liệu đa dạng gồm văn bản web, sách và nội dung được cấp phép. Yêu cầu phần cứng cao và thời gian huấn luyện lớn.
Kiến trúc dựa trên Transformer, sử dụng tokenizer hiệu quả, cơ chế attention nhiều đầu và mạng truyền dẫn feed-forward. Quá trình huấn luyện kết hợp tiền huấn luyện trên kho dữ liệu khổng lồ với các kỹ thuật tối ưu hóa nhằm tối ưu khả năng dự đoán và sinh văn bản tự nhiên.
66B có khả năng sinh văn bản tự nhiên, thực hiện tóm tắt nội dung, trả lời câu hỏi và hỗ trợ viết mã. Hiệu suất phụ thuộc vào chất lượng dữ liệu huấn luyện, cách thức prompt và hệ thống hạ tầng.
Những hạn chế gồm nguy cơ sai lệch thông tin, thiên lệch dữ liệu và thiếu khả năng kiểm soát đầu ra trong một số tình huống. Việc đánh giá, kiểm soát an toàn và đạo đức là cần thiết khi triển khai.
Đối với triển khai, 66B có thể được đưa lên đám mây hoặc tại chỗ, với chi phí tính toán và bộ nhớ đáng kể. Việc tối ưu hóa như quantization, distillation và lựa chọn gia tốc phần cứng giúp giảm tài nguyên và tăng tốc độ suy luận.