Baidu ERNIE 5.1: Vì sao tuyên bố chi phí huấn luyện chỉ 6% gây chú ý

Trong blog rộng hơn về ERNIE, Baidu cũng nói ERNIE 5.1 có nâng cấp ở các năng lực Agent, suy luận và sáng tạo, nhờ cơ chế học tăng cường hoàn toàn bất đồng bộ, tách rời và hậu huấn luyện agentic ở quy mô lớn . Blog này còn nói mô hình xếp hạng nhất tại Trung Quốc trên Arena Search Arena .

Vì sao con số 6% đáng chú ý?

Cuộc đua mô hình AI thường được kể bằng những từ khóa quen thuộc: nhiều tham số hơn, nhiều dữ liệu hơn, nhiều năng lực tính toán hơn. ERNIE 5.1 đưa ra một thông điệp khác: liệu có thể giữ hiệu năng đáng kể bằng cách tận dụng nền tảng cũ tốt hơn, thay vì cứ bắt đầu một vòng tiền huấn luyện khổng lồ mới?

Nếu cách tiếp cận này đứng vững trong thực tế, lợi thế cạnh tranh sẽ không chỉ nằm ở việc ai có mô hình to hơn. Nó sẽ chuyển sang bài toán kỹ thuật chi phí - hiệu năng: tái sử dụng nền tảng ra sao, chọn cấu hình con thế nào, giảm phần tính toán đang hoạt động đến đâu và dùng hậu huấn luyện để cải thiện hành vi của mô hình hiệu quả đến mức nào. ERNIE 5.1 đáng chú ý vì Baidu đang nói thẳng điều đó trong tài liệu ra mắt của mình .

Baidu nói ERNIE 5.1 rẻ hơn bằng cách nào?

Có bốn mảnh ghép chính trong câu chuyện hiệu quả mà Baidu đưa ra.

1. Kế thừa nền tảng ERNIE 5.0

Baidu nói ERNIE 5.1 kế thừa nền tảng tiền huấn luyện của ERNIE 5.0 . Đây là nền của lập luận chi phí: ERNIE 5.1 được đặt trong vai trò một mô hình phát triển từ nền tảng sẵn có, thay vì một dự án tiền huấn luyện hoàn toàn mới với toàn bộ chi phí từ đầu.

2. Giảm cả tổng tham số lẫn tham số được kích hoạt

Theo Baidu, ERNIE 5.1 nén tổng tham số xuống khoảng một phần ba và số tham số được kích hoạt xuống khoảng một nửa . Tổng tham số có thể hiểu là toàn bộ quy mô mô hình; tham số được kích hoạt là phần thực sự tham gia vào một lượt tính toán cụ thể.

Vì vậy, thông điệp ở đây không đơn thuần là “mô hình nhỏ hơn”. Điều Baidu muốn nhấn mạnh là mô hình được thiết kế để tiết kiệm hơn ở cả phần lưu giữ năng lực lẫn phần tính toán được dùng khi chạy.

3. Dựa trên ý tưởng huấn luyện đàn hồi

Báo cáo kỹ thuật ERNIE 5.0 mô tả một mô hình huấn luyện “đàn hồi”, trong đó một lần tiền huấn luyện có thể tạo ra cả một họ mô hình với các mức đánh đổi khác nhau giữa năng lực và hiệu quả . Báo cáo nói cách làm này lấy mẫu động các mô hình con với độ sâu, độ rộng và độ thưa định tuyến khác nhau; đồng thời cho phép các mô hình con kế thừa tri thức từ mô hình đầy đủ để dùng trong các giai đoạn hậu huấn luyện sau đó .

Chi tiết này giúp giải thích logic đằng sau ERNIE 5.1. Câu chuyện không phải là cứ huấn luyện một mô hình lớn hơn rồi dừng lại. Nó giống hơn với việc tạo một nền tảng linh hoạt, sau đó rút ra các cấu hình hiệu quả hơn từ nền tảng đó .

4. Tăng năng lực bằng hậu huấn luyện

Baidu nói ERNIE 5.1 sử dụng học tăng cường hoàn toàn bất đồng bộ, tách rời và hậu huấn luyện agentic ở quy mô lớn để cải thiện năng lực Agent, suy luận và sáng tạo . Điều này cho thấy tuyên bố của Baidu không chỉ là “cắt nhỏ mô hình”. Họ cũng cho rằng phần hậu huấn luyện góp phần định hình năng lực cuối cùng của ERNIE 5.1 .

Điều gì vẫn chưa được chứng minh?

Câu hỏi lớn nhất là khả năng kiểm chứng độc lập. Các tài liệu công khai được trích chưa đưa ra một bản hạch toán đầy đủ về ngân sách huấn luyện, cấu hình phần cứng, hỗn hợp dữ liệu, thời lượng huấn luyện, mức sử dụng bộ tăng tốc, chi phí hậu huấn luyện hay danh sách chính xác các “mô hình có thể so sánh” đứng sau con số 6% .

Điều đó không khiến tuyên bố của Baidu trở nên vô nghĩa. Nhưng nó có nghĩa là không nên xem 6% như một chuẩn chi phí đã được kiểm toán độc lập cho toàn ngành. Cách đọc vững nhất hiện nay là hẹp hơn: Baidu nói ERNIE 5.1 giữ được hiệu năng nền tảng dẫn đầu ở quy mô mô hình của nó trong khi giảm tham số và chi phí tiền huấn luyện thông qua kế thừa, nén mô hình, ý tưởng huấn luyện đàn hồi và hậu huấn luyện .

Kết luận

ERNIE 5.1 quan trọng vì nó đổi cách kể câu chuyện tiến bộ AI của Baidu: từ “mô hình lớn đến mức nào” sang “hiệu năng trên mỗi đồng chi phí tốt đến đâu”. Baidu nói mô hình này kế thừa nền tảng ERNIE 5.0, cắt giảm tổng tham số và tham số được kích hoạt, rồi đạt hiệu năng nền tảng dẫn đầu ở quy mô của nó với khoảng 6% chi phí tiền huấn luyện của các mô hình có thể so sánh .

Nhưng đây chưa phải dấu chấm hết cho tranh luận. Cho đến khi Baidu hoặc các bên đánh giá độc lập công bố rõ hơn về mốc so sánh, phần cứng, dữ liệu và cách tính chi phí đằng sau con số 6%, ERNIE 5.1 nên được nhìn như một tuyên bố nghiêm túc về hiệu quả — hơn là một thước đo chi phí đã được xác nhận hoàn toàn.