66b là một khái niệm được dùng để chỉ một mô hình ngôn ngữ lớn có quy mô tham số xấp xỉ 66 tỷ. Các mô hình như vậy mục tiêu tăng cường khả năng hiểu ngữ cảnh, sinh văn bản và trả lời câu hỏi với độ chính xác cao hơn so với các kích thước nhỏ hơn.
Thuật ngữ 66b thường xuất hiện khi mô tả sự tiến hóa của các mô hình ngôn ngữ từ hàng trăm triệu tham số lên hàng tỷ tham số. Quy mô tham số ảnh hưởng đến khả năng mã hóa ngữ nghĩa, khả năng suy luận và độ phong phú của dữ liệu huấn luyện được sử dụng để đào tạo.
Những đặc điểm chính gồm khả năng nắm bắt ngữ cảnh dài, sinh văn bản linh hoạt, và đáp ứng đa dạng nhiệm vụ như tổng hợp, tóm tắt và trả lời câu hỏi. Tuy nhiên, chúng đòi hỏi nguồn dữ liệu chất lượng và hạ tầng tính toán mạnh để huấn luyện và triển khai.
So với các mô hình có kích thước lớn khác, 66b có lợi thế về cân đối giữa hiệu suất và chi phí. Tuy nhiên, hiệu quả tối đa còn phụ thuộc vào kiến trúc, dữ liệu huấn luyện và tối ưu hoá inference đặc thù. Các nhà phát triển thường cân nhắc trade-off giữa latency, memory footprint và độ chính xác khi ứng dụng trong thực tế.
