66B là một mô hình ngôn ngữ có kích thước 66 tỷ tham số, được thiết kế để xử lý và sinh văn bản tự nhiên ở nhiều ngữ cảnh như đối thoại, tóm tắt, dịch và hỗ trợ sáng tạo nội dung.
Kiến trúc: transformer với nhiều lớp tự chú ý. Dữ liệu huấn luyện đa nguồn bao gồm văn bản tổng quát, văn bản chuyên ngành và nội dung mã nguồn. Kỹ thuật huấn luyện bao gồm tối ưu hóa từ từ và quản lý rủi ro đạo đức.
Khả năng trả lời câu hỏi, tóm tắt văn bản, viết sáng tạo, dịch thuật và hỗ trợ viết mã. Mô hình có khả năng tùy biến qua fine-tuning hoặc instruction-tuning để tối ưu cho các tác vụ cụ thể.
Kiểm soát nội dung, hạn chế thông tin sai lệch, và đảm bảo tuân thủ quy định. Dự án liên tục cập nhật tiêu chuẩn an toàn và cơ chế giám sát người dùng.
66B dự kiến được mở rộng thêm tham số, tối ưu hiệu suất và bổ sung khả năng làm việc đa ngôn ngữ, đồng thời hỗ trợ tích hợp với nền tảng đám mây và các công cụ phát triển.