66B là một mô hình ngôn ngữ lớn (LLM) có kích thước tham số lên tới 66 tỉ. Nó được thiết kế để hiểu và sinh ngôn ngữ tự nhiên ở nhiều ngôn ngữ, bao gồm tiếng Việt, tiếng Anh và nhiều ngôn ngữ khác. Mục tiêu của 66B là cân bằng hiệu năng, khả năng mở rộng và chi phí triển khai.
Kiến trúc dựa trên Transformer cho phép xử lý ngữ cảnh dài và tạo sinh văn bản mạch lạc. Với quy mô 66 tỉ tham số, 66B có khả năng hiểu ngữ cảnh phức tạp, trả lời câu hỏi, viết nội dung và hỗ trợ các tác vụ phân tích ngôn ngữ. Đổi mới kỹ thuật như tối ưu hóa tham số, tinh chỉnh và huấn luyện trên dữ liệu đa ngôn ngữ giúp nó thích nghi tốt với nhiều miền.
Quá trình huấn luyện của 66B dựa trên corpus đa ngôn ngữ, bao gồm văn bản công khai, tài liệu kỹ thuật, và nội dung từ nguồn tin cậy. Quá trình này đi kèm với các biện pháp lọc và đánh giá để giảm thiểu nội dung độc hại và tăng tính an toàn. Việc tối ưu hóa chi phí và công suất giúp triển khai trên nhiều nền tảng.
66B có thể hỗ trợ viết bài, tóm tắt văn bản, trả lời câu hỏi, gợi ý mã nguồn và phân tích dữ liệu. Tuy nhiên, vẫn tồn tại thách thức liên quan đến định kiến dữ liệu, khả năng hiểu ngữ nghĩa ngôn ngữ đặc trưng và nguy cơ phát sinh thông tin sai lệch. Việc giám sát và đánh giá liên tục là cần thiết khi triển khai trong môi trường thực tế.