66B hay 66 tỷ tham số là quy mô của một mô hình ngôn ngữ lớn. Mô hình này được thiết kế để xử lý ngôn ngữ tự nhiên với khả năng hiểu ngữ cảnh và sinh văn bản có tính nhất quán cao.
Quy mô tham số lớn cho phép mô hình nắm bắt kiểu mẫu ngôn ngữ, tạo ra các câu trả lời đa dạng và phóng chiếu kiến thức rộng. Tuy nhiên nó cũng đòi hỏi nguồn lực tính toán và bộ nhớ đáng kể cùng với các thách thức về quản lý chi phí đào tạo.
Các mô hình 66B thường dựa trên kiến trúc transformer với cơ chế attention cho phép theo dõi ngữ cảnh dài. Quá trình huấn luyện diễn ra trên hạ tầng phần cứng mạnh mẽ, với tối ưu hóa sử dụng số lượng tham số lớn và các kỹ thuật giảm chi phí như mixed precision và phân tán dữ liệu trên nhiều thiết bị.
Đánh giá mô hình 66B đòi hỏi tập dữ liệu chuẩn hóa, đánh giá về độ sáng tạo, tính nhất quán và khả năng xử lý truy vấn. Thách thức gồm bias dữ liệu, rủi ro đầu ra không an toàn và yêu cầu kiểm soát nguồn lực để triển khai hiệu quả.
66B có ứng dụng rộng rãi trong trợ lý ảo, tóm tắt văn bản, dịch ngôn ngữ và hỗ trợ sáng tạo nội dung. Nhược điểm là chi phí vận hành cao và nhu cầu đánh giá cẩn thận về tính chính xác, minh bạch và an toàn khi đưa vào sản phẩm thương mại.