66B hay mô hình ngôn ngữ có 66 tỷ tham số là một dạng mô hình transformer tiên tiến được thiết kế để xử lý ngôn ngữ tự nhiên. Nó kết hợp khả năng sinh văn bản, trả lời câu hỏi và thực hiện các tác vụ hiểu ngữ nghĩa ở mức cao với chi phí tính toán được cân nhắc.
Mô hình này thường sử dụng kiến trúc transformer theo hướng giải mã đơn hướng hoặc dạng tương tự các mô hình hồi quy dựa trên trình tự văn bản, với nhiều lớp attention và mạng feed-forward. Quy mô 66B đòi hỏi hạ tầng phần cứng mạnh mẽ, tối ưu hóa dữ liệu huấn luyện và các kỹ thuật như tối ưu hóa bộ nhớ và phân phối tải tính toán.
66B được huấn luyện trên tập dữ liệu đa dạng gồm văn bản từ mạng, sách và các nguồn công khai với mục tiêu tăng khả năng hiểu ngôn ngữ, thích nghi với nhiều ngữ cảnh và ngôn ngữ. Quá trình này đi kèm với các biện pháp an toàn và kiểm soát chất lượng dữ liệu.
Đánh giá mô hình gồm thang đo độ khó dự đoán, chất lượng sinh văn bản và khả năng nắm ngữ cảnh dài. 66B có thể được áp dụng trong trợ lý ảo, viết nội dung, tóm tắt văn bản, dịch ngôn ngữ và hệ thống hỏi đáp chuyên sâu.
Khả năng tích hợp với hệ thống lớn, tạo cấu trúc câu mạch lạc và hỗ trợ nhiều ngôn ngữ. Hạn chế gồm tiêu thụ năng lượng cao, nguy cơ sai lệch thông tin và yêu cầu quản trị dữ liệu của tổ chức để đảm bảo an toàn và tuân thủ pháp lý.