66B là một mô hình ngôn ngữ lớn với khoảng 66 tỷ tham số. Nó được thiết kế để xử lý ngôn ngữ tự nhiên và sinh văn bản một cách linh hoạt.
66B được thiết kế theo khuôn khổ transformer, có khả năng hiểu ngữ cảnh dài và sinh câu trả lời phức tạp dựa trên đầu vào người dùng.
Kiến trúc transformer cho phép mô hình học từ dữ liệu lớn và tối ưu hiệu suất thông qua cơ chế self attention, nhiều lớp và mở rộng kích thước tham số.
66B được huấn luyện trên tập dữ liệu đa dạng gồm văn bản công khai và dữ liệu cấp phép, nhằm tăng khả năng tổng quát hóa và chất lượng văn bản sinh ra.
66B có thể sinh văn bản, tóm tắt và trả lời câu hỏi. Tuy nhiên vẫn tồn tại rủi ro về thiên lệch, thông tin sai lệch và tính an toàn khi triển khai.
Những hướng phát triển tiềm năng bao gồm tích hợp với học tăng cường, kiểm soát thiên lệch và tăng tính tin cậy của mỗi đầu ra, cũng như tối ưu hóa chi phí vận hành.