Baidu ERNIE 5.1: con số 6% nói gì về cuộc đua AI?

Điều đó không đồng nghĩa với việc toàn bộ chi phí phát triển, triển khai, vận hành, suy luận, kiểm định an toàn hay tối ưu phần cứng cũng chỉ còn 6%. Các tài liệu được trích dẫn không cung cấp một bản kiểm toán độc lập về tổng chi phí vòng đời của mô hình. Cụm từ “có thể so sánh” cũng rất quan trọng: nếu không biết Baidu đang so với những mô hình nào, trên phần cứng nào, với cách tính chi phí ra sao, thì chưa thể coi 6% là một chuẩn ngành đã được xác lập.

Nói cách khác, đây là một tuyên bố đáng chú ý của Baidu, không phải một kết luận đã được kiểm chứng độc lập từ bên ngoài.

Baidu nói họ đã làm ERNIE 5.1 rẻ hơn bằng cách nào?

Câu chuyện kỹ thuật có bốn mảnh ghép chính.

1. Kế thừa nền tảng từ ERNIE 5.0. Baidu mô tả ERNIE 5.1 là mô hình kế thừa nền tiền huấn luyện của ERNIE 5.0, thay vì một nền móng hoàn toàn mới được huấn luyện lại từ con số không ^[7]. Đây là điểm then chốt: nếu có thể tái sử dụng một nền tảng mạnh, chi phí để tạo ra thế hệ tiếp theo có thể giảm đáng kể.

2. Làm gọn mô hình. Theo thông báo chính thức, ERNIE 5.1 nén tổng tham số xuống khoảng một phần ba và tham số kích hoạt xuống khoảng một nửa, trong khi vẫn giữ hiệu năng nền tảng dẫn đầu ở quy mô của nó ^[7]. Tổng tham số phản ánh “kích thước” toàn bộ mô hình, còn tham số kích hoạt là phần thực sự được dùng trong một lượt tính toán. Giảm cả hai giúp câu chuyện của ERNIE 5.1 trở thành câu chuyện về hiệu quả, không chỉ về năng lực.

3. Dùng huấn luyện đàn hồi cho cả họ mô hình. Báo cáo kỹ thuật ERNIE 5.0 mô tả một mô hình huấn luyện đàn hồi, trong đó một lần tiền huấn luyện có thể tạo ra cả một họ mô hình với các mức đánh đổi khác nhau giữa năng lực và hiệu quả. Cách tiếp cận này lấy mẫu động các mô hình con với độ sâu, độ rộng và độ thưa định tuyến khác nhau, đồng thời cho phép các mô hình con thừa hưởng tri thức từ mô hình đầy đủ để dùng trong các giai đoạn hậu huấn luyện sau đó ^[1].

4. Hậu huấn luyện cho suy luận và tác tử. Baidu nói ERNIE 5.1 được hỗ trợ bởi học tăng cường tách rời, hoàn toàn bất đồng bộ và hậu huấn luyện hướng tác tử ở quy mô lớn, qua đó nâng cấp năng lực tác tử, suy luận và sáng tạo ^[12]. Đây là phần giúp mô hình không chỉ “biết nhiều”, mà còn được tối ưu cho các kiểu hành vi phức tạp hơn.

Gộp lại, Baidu không nói ERNIE 5.1 thắng nhờ lớn hơn. Họ đang nói rằng có thể rút ra một cấu hình hiệu quả hơn từ nền tảng kiểu ERNIE 5.0, rồi cải thiện tiếp bằng hậu huấn luyện ^[7][1][12].

Vì sao việc cắt giảm tham số lại đáng chú ý?

Trong AI, thêm tham số thường được xem là một con đường để tăng năng lực, nhưng nó kéo theo chi phí huấn luyện và vận hành lớn hơn. Vì vậy, việc Baidu nhấn mạnh cả tổng tham số lẫn tham số kích hoạt đều giảm là một tín hiệu rõ ràng: công ty muốn chứng minh rằng tối ưu cấu trúc và quy trình huấn luyện có thể quan trọng ngang với mở rộng quy mô ^[7].

Nếu một mô hình có thể kế thừa nền tảng mạnh, giảm phần cần huấn luyện hoặc kích hoạt, rồi vẫn đạt kết quả tốt trên các đánh giá công khai, trọng tâm của ngành sẽ dịch chuyển. Thay vì chỉ hỏi “mô hình có bao nhiêu tham số?”, câu hỏi mới sẽ là “mỗi đơn vị chi phí tạo ra bao nhiêu năng lực?”.

Những điều vẫn chưa được chứng minh

Điểm mở lớn nhất là khả năng kiểm chứng. Các nguồn được trích dẫn không đưa ra đầy đủ ngân sách huấn luyện, cấu hình phần cứng, hỗn hợp dữ liệu, thời lượng huấn luyện, mức sử dụng bộ tăng tốc, chi phí hậu huấn luyện hay danh sách mô hình cụ thể được dùng làm chuẩn so sánh cho con số 6%.

Bảng xếp hạng công khai cũng chỉ trả lời một phần câu hỏi. Chúng có thể cho thấy tín hiệu về chất lượng mô hình, nhưng không tự động chứng minh độ tin cậy trong doanh nghiệp, độ an toàn, độ trễ, chi phí vận hành hay khả năng tích hợp thực tế. Với ERNIE 5.1, kết luận chắc nhất dựa trên các nguồn hiện có là: Baidu đang đặt chiến lược mô hình của mình vào hiệu quả chi phí, kế thừa tiền huấn luyện và hậu huấn luyện chuyên biệt ^[7][1][12].

Kết luận

ERNIE 5.1 đáng chú ý vì nó đặt lại cách nhìn về cuộc đua AI: không chỉ là chạy đua kích thước, mà là chạy đua hiệu năng trên chi phí. Baidu nói mô hình này giữ hiệu năng nền tảng dẫn đầu ở quy mô của nó trong khi giảm tổng tham số, giảm tham số kích hoạt và dùng khoảng 6% chi phí tiền huấn luyện so với các mô hình có thể so sánh ^[7].

Công thức mà Baidu đưa ra — kế thừa nền ERNIE 5.0, tận dụng huấn luyện đàn hồi cho họ mô hình và thêm hậu huấn luyện bằng học tăng cường bất đồng bộ — khiến ERNIE 5.1 trở thành một ví dụ rõ ràng cho chiến lược “tối ưu trước khi phóng to” ^[7][1][12]. Con số 6% rất đáng chú ý, nhưng cho đến khi đường cơ sở so sánh và cách hạch toán chi phí được công khai rõ hơn, nó nên được đọc như một tuyên bố nghiêm túc từ Baidu, chưa phải một sự thật đã ngã ngũ cho toàn ngành.