66B là một mô hình ngôn ngữ có quy mô 66 tỉ tham số, được thiết kế dựa trên kiến trúc transformer. Nó có khả năng hiểu và sinh ngôn ngữ tự nhiên, xử lý yêu cầu từ người dùng, tóm tắt văn bản, trả lời câu hỏi và tham gia vào các tác vụ sáng tạo.
Về cơ bản, 66B dùng nhiều lớp transformer và một dung lượng tham số lớn cho phép mô hình nắm bắt ngữ cảnh dài. Việc huấn luyện yêu cầu nguồn dữ liệu đa ngôn ngữ, và tối ưu hóa dựa trên các kỹ thuật như phân tắt gradient và học bằng cách tự giám sát. Quy trình huấn luyện nhằm cân bằng giữa chất lượng và hiệu năng trên nhiều tác vụ.
Quá trình huấn luyện dựa trên việc tối ưu hóa xác suất sinh văn bản trên một tập dữ liệu khổng lồ. Dữ liệu có nguồn gốc từ sách, bài viết trên mạng, mã nguồn và các nguồn ngôn ngữ khác nhau. Các kỹ thuật như RLHF có thể được áp dụng để cải thiện chất lượng và an toàn, nhưng vẫn tồn tại rủi ro về thiên vị và sai lệch thông tin.
66B có thể hỗ trợ viết nội dung, tạo bản phác thảo, phiên dịch, hỗ trợ lập trình và trợ giúp cho người học. Tuy nhiên, chi phí tính toán cao, phản hồi chậm và nguy cơ sản sinh thông tin sai lệch hoặc thiên vị là những thách thức cần quản lý. Việc tinh chỉnh, giám sát và đánh giá an toàn là cần thiết trước khi triển khai rộng rãi.