66b là một mô hình ngôn ngữ quy mô lớn được thiết kế để tạo văn bản tự nhiên, tham gia vào đối thoại, trả lời câu hỏi và hỗ trợ nhiều tác vụ xử lý ngôn ngữ tự nhiên. Với khoảng 66 tỷ tham số, nó có khả năng học các mối quan hệ ngữ nghĩa phức tạp và cung cấp các phản hồi có tính liên kết cao.
66b dựa trên kiến trúc transformer, với các lớp tự chú ý và feed-forward sâu. Để huấn luyện, nó được cung cấp một tập dữ liệu lớn đa dạng gồm văn bản từ các nguồn công khai và dòng dữ liệu được xử lý để giảm rủi ro. Mô hình tối ưu phần mềm và tối ưu cấu trúc tham số nhằm đạt hiệu suất cao trên nhiều tác vụ.
66b có thể được dùng cho soạn thảo văn bản, tóm tắt nội dung, trả lời hỏi đáp và hỗ trợ lập trình. Tuy nhiên cần giám sát để kiểm soát sai lệch, chống tin giả và đảm bảo tính an toàn cho người dùng.
Quản lý thiên lệch dữ liệu, ngăn ngừa phát tán nội dung độc hại, và đảm bảo sự minh bạch trong cách mà mô hình được sử dụng là các vấn đề quan trọng. Việc đánh giá và giám sát liên tục giúp giảm rủi ro cho người dùng và xã hội.