66B là một mô hình ngôn ngữ quy mô lớn với khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều tác vụ khác nhau.
Kiến trúc chính dựa trên các lớp transformer với cơ chế chú ý phân cấp và tiền xử lý dữ liệu khối lượng lớn để tối ưu khả năng hiểu và sinh văn bản.
Quá trình huấn luyện kết hợp dữ liệu đa ngôn ngữ và văn bản chất lượng cao, nhằm tăng khả năng hiểu ngôn ngữ ở mức độ rộng và sâu.
66B có thể hỗ trợ trả lời câu hỏi, viết nội dung, tóm tắt và dịch thuật. Tuy nhiên cần quản trị rủi ro, kiểm soát thiên lệch và tối ưu chi phí khi triển khai.
