66B hay 66 tỷ tham số là một loại mô hình ngôn ngữ có khả năng dự đoán từ tiếp theo dựa trên ngữ cảnh và dữ liệu huấn luyện phong phú. Mô hình này được thiết kế để nắm bắt cú pháp, ngữ nghĩa và thông tin thế hệ ngôn ngữ trong nhiều ngôi giản ngôn ngữ khác nhau.
Mô hình dựa trên kiến trúc transformer với hàng tỷ tham số, gồm các lớp tự attention và feed-forward. Quá trình huấn luyện đòi hỏi dữ liệu đa dạng và tài nguyên tính toán lớn để tối ưu các tham số cho ngữ cảnh rộng.
66B có thể được dùng để sinh văn bản, trả lời câu hỏi, tóm tắt nội dung, hỗ trợ lập trình và hỗ trợ ngôn ngữ cho nhiều ngữ cảnh khác nhau.
Ưu điểm gồm khả năng tạo văn bản tự nhiên, hiểu ngữ cảnh và làm việc với nhiều ngôn ngữ. Thách thức bao gồm yêu cầu tài nguyên lớn, rủi ro sai lệch thông tin và cần biện pháp an toàn khi triển khai.
66B đại diện cho một bước tiến trong công nghệ xử lý ngôn ngữ tự nhiên, mở ra nhiều cơ hội song hành với các thách thức về quản trị dữ liệu và đạo đức.