66B là một mô hình ngôn ngữ lớn được thiết kế để xử lý ngôn ngữ tự nhiên ở quy mô tham số lên tới 66 tỷ. Nó nhắm tới sự cân bằng giữa hiệu suất và hiệu quả vận hành trong các ứng dụng đa ngôn ngữ.
Kiến trúc dựa trên transformers với nhiều lớp attention, kích thước từ vựng lớn và cơ chế tối ưu hóa tiết kiệm tài nguyên. Số lớp, kích thước embedding và số head được điều chỉnh để tối ưu hóa khả năng hiểu ngôn ngữ và sinh văn bản tự nhiên.
Quá trình huấn luyện sử dụng dữ liệu văn bản đa dạng, bao gồm nguồn từ web, sách, báo chí và các tập dữ liệu có bản quyền được cấp phép. Việc làm sạch dữ liệu và giảm định kiến được chú trọng để cải thiện chất lượng đầu ra và đáng tin cậy hơn.
66B có thể thực hiện dịch máy, tóm tắt, hỏi đáp, lập trình và sáng tác nội dung. Tuy nhiên cần quản lý rủi ro về định kiến, bảo mật thông tin và chi phí vận hành ở quy mô lớn.