Vì sao các bảng xếp hạng GPT-6 Astra lại không thống nhất?

Các tiêu đề về benchmark có thể khiến GPT-6 Astra trông như vừa dẫn đầu, vừa ngang hàng, lại vừa xếp sau. Mâu thuẫn này chủ yếu đến từ phương pháp đo: bảng xếp hạng tổng hợp, bài kiểm tra tác tử tương tác, benchmark toán hình thức và bảng giá API đều đánh giá những hệ thống trong các điều kiện khác nhau.

Kết luận thực tế không phải là một kết quả chắc chắn sai. Đúng hơn, không tồn tại thứ hạng mô hình mang tính phổ quát nếu chưa nêu rõ loại công việc và thiết lập đánh giá.

Điểm leaderboard phản ánh cách đo, không phải một “đồng hồ đo trí tuệ” duy nhất

Một chỉ số tổng hợp gộp nhiều bài kiểm tra thành một con số. Kết quả phụ thuộc vào các nhiệm vụ được đưa vào, trọng số từng nhiệm vụ, cấu hình mô hình được thử nghiệm, cũng như cách xử lý mức suy luận, việc dùng công cụ và chi phí. Mô hình nổi bật ở độ bao phủ năng lực rộng có thể đứng đầu một bảng tổng hợp, nhưng lại kém hơn ở chỉ số thiên về lập trình hoặc tác tử.

Vì vậy, điểm số phụ thuộc mạnh vào thời điểm và cấu hình. Chẳng hạn, so sánh Artificial Analysis được cung cấp hiện ghi GPT-6 Astra (max) đạt 55, còn Claude Fable 5.1 đạt 57 — khác với các số 61 và 66 từng xuất hiện trong một số bài viết so sánh trước đó. 3 Đây là lý do cần ghi lại chính xác ngày đánh giá và cấu hình chạy, thay vì xem một ảnh chụp leaderboard là thứ hạng cố định.

Vị trí được nêu là đứng đầu Chỉ số Năng lực 169 điểm của Epoch AI hiện chưa được tài liệu nguồn gốc Epoch có sẵn xác thực, cũng như chưa có phương pháp nền tảng đi kèm. Không nên dùng tuyên bố đó làm căn cứ quyết định nếu thiếu leaderboard gốc, trọng số benchmark, cài đặt mô hình và thông tin về độ bất định.

ARC-AGI-3: thay harness, kết quả đổi rất lớn

ARC-AGI-3 là benchmark tương tác, không phải bộ câu hỏi tĩnh. Tác tử phải khám phá môi trường lạ, tự tiếp nhận mục tiêu, xây dựng mô hình về thế giới có thể thích nghi và điều chỉnh chiến lược từ trải nghiệm. 50

ARC Prize công bố hai kết quả nổi bật của GPT-6 Astra trên đánh giá Semi-Private:

Điều kiện đánh giá	Điểm cao nhất được báo cáo	Chi phí mỗi lần chạy được báo cáo
Standard harness, suy luận mức max	62,7%	26.098 USD
OpenAI Provider Adapter, suy luận mức high	99,9%	18.817 USD, xấp xỉ 19.000 USD

5152

Khoảng cách này không phải chi tiết kỹ thuật nhỏ. Với Standard harness, tác tử dùng giao diện tối giản, trung lập theo nhà cung cấp; nó chỉ có thể mang theo những ghi chú mà chính nó chủ động giữ lại. Trong khi đó, Provider Adapter có thể lưu trạng thái suy luận nội bộ của nhà cung cấp giữa các yêu cầu và dùng cơ chế nén ngữ cảnh cho hội thoại dài. 5153

Do đó, điểm Provider Adapter phản ánh năng lực của Astra kết hợp với tích hợp quản lý ngữ cảnh gốc của OpenAI. Đây là một năng lực sản phẩm đáng chú ý, nhưng không tự động là so sánh ngang hàng với các mô hình chỉ được chạy qua giao diện trung lập. ARC Prize cũng nêu rõ hai harness là hai điều kiện đánh giá khác nhau, trả lời những câu hỏi khác nhau. 53

ARC Prize còn cho biết Astra dùng ít thao tác hơn người tham gia trung vị trong 96% số màn. 52 Đây là kết quả về hiệu quả thao tác, không có nghĩa mô hình giỏi hơn con người trong mọi loại công việc; nó cũng không thay thế được việc đo tỷ lệ hoàn thành, độ tin cậy và tổng chi phí trong quy trình thực tế.

FrontierMath Erdős chứng minh được gì — và không chứng minh được gì

FrontierMath Erdős gồm 68 bài toán Erdős khó, vẫn chưa có lời giải tính đến tháng 8/2026. Để giải một bài, hệ thống phải chứng minh hoặc bác bỏ mệnh đề trong Lean — một trợ lý chứng minh định lý, nơi lời giải có thể được kiểm tra bằng máy. 3337

Thiết kế này khiến benchmark đặc biệt chặt chẽ về tính đúng đắn của chứng minh toán học hình thức. Tuy nhiên, một kết quả toán không thể tự biến thành thứ hạng tổng quát cho lập trình, tác tử hay suy luận nói chung. Nó đo thành công trên một dạng nhiệm vụ chứng minh hình thức hẹp nhưng cực khó, dưới một ngân sách được nêu rõ.

Tài liệu nguồn gốc được cung cấp chưa xác thực tổng số bài Astra giải được, ngân sách chạy chuẩn hóa so với không chuẩn hóa, hoặc những kết quả nào bị loại khỏi đánh giá FrontierMath Erdős. Các chi tiết này chỉ nên được công bố khi có bảng kết quả hoặc báo cáo đánh giá cụ thể của Epoch, kèm ngân sách và tiêu chí đủ điều kiện.

Một trang khác của Epoch về FrontierMath: Open Problems ghi nhận trong đánh giá trước phát hành, GPT-6 Astra đã tìm được một đường cong genus 2 có 648 điểm hữu tỉ. Đây là kết quả thuộc benchmark khác, không nên gộp nhầm thành điểm FrontierMath Erdős. 43

Giá token không phải là giá hoàn thành tác vụ

OpenAI niêm yết GPT-6 Astra ở mức 10 USD cho một triệu token đầu vào và 50 USD cho một triệu token đầu ra. 19 Các bài so sánh trong nguồn được cung cấp cho biết Claude Fable 5.1 có cùng mức giá đầu vào và đầu ra, nhưng token đầu vào đọc từ cache là 0,25 USD mỗi triệu token, so với 1,00 USD của Astra. 4

Từ đây xuất hiện hai câu hỏi chi phí khác nhau:

• Tác tử lập trình chạy dài và lặp lại ngữ cảnh kho mã nguồn: giá đọc cache thấp hơn có thể giảm đáng kể chi phí, nếu khối lượng công việc thực sự tận dụng được cache.
• Chi phí cho mỗi tác vụ hoàn thành: một mô hình vẫn có thể rẻ hơn nếu đạt kết quả đúng với ít token đầu ra, ít lần gọi công cụ, ít lần thử lại, ít thao tác hoặc ít can thiệp của con người hơn.

OpenAI cho biết Astra có chi phí API ước tính thấp hơn cho mỗi tác vụ trong một số đánh giá nhờ dùng ít token đầu ra hơn đáng kể. 18 Đây là bằng chứng do nhà cung cấp báo cáo, không phải cam kết áp dụng cho mọi tình huống. Chỉ điểm benchmark hoặc giá token không đủ để kết luận mô hình nào rẻ hơn cho một kho mã nguồn hay quy trình tác tử cụ thể.

Cách so sánh mô hình mà không bị đánh lạc hướng

Trước khi chọn giữa Astra, Claude Fable 5.1 và GPT-5.6 Sol, hãy xác định công việc và chuẩn hóa điều kiện:

1. Khớp loại công việc. Đánh giá riêng việc bảo trì kho mã, tự động hóa trình duyệt, nghiên cứu, chứng minh hình thức hoặc xử lý tài liệu.
2. Cố định chính sách suy luận. Đặt mức suy luận, giới hạn token, quyền dùng công cụ và quy tắc thử lại tương đương.
3. Tách chất lượng mô hình khỏi chất lượng tích hợp. Báo cáo song song kết quả harness trung lập và kết quả tích hợp gốc theo nhà cung cấp, thay vì gộp thành một thứ hạng duy nhất.
4. Đo thành công trên mỗi đồng chi phí. Theo dõi số tác vụ hoàn thành đúng, độ trễ, số lần thử lại, mức dùng cache và nhu cầu rà soát của con người — không chỉ giá token đầu vào/đầu ra.
5. Giữ thái độ thận trọng với độ bất định. Chênh lệch điểm nhỏ và cấu hình thay đổi cần được diễn giải dè dặt, nhất là khi bằng chứng công khai chưa đầy đủ.

Kết quả ARC-AGI-3 qua Provider Adapter của Astra rất đáng chú ý, và thành tích ở Standard harness cũng mạnh. Nhưng không kết quả nào trong số đó tự phủ nhận một chỉ số độc lập ưu ái mô hình khác vì bộ nhiệm vụ và cấu hình khác. Câu hỏi hữu ích không phải là “mô hình nào thắng?”, mà là “thiết lập đánh giá nào giống nhất với công việc hệ thống này thực sự phải làm?”