Nên nhìn benchmark nào trước?

SWE-Bench Pro: Claude Opus 4.7 vượt GPT-5.5 trong bảng có thể đối chiếu

SWE-Bench thường được dùng để nhìn năng lực xử lý tác vụ kỹ thuật phần mềm, đặc biệt các bài toán gần với sửa lỗi hoặc giải quyết issue trong kho mã. Trong bảng đánh giá GPT-5.5 của OpenAI, Claude Opus 4.7 đạt 64,3% trên SWE-Bench Pro, cao hơn GPT-5.5 ở mức 58,6%. Đây là một trong những so sánh sạch nhất của bài này, vì cả hai mô hình xuất hiện trong cùng một bảng nguồn.

Kimi K2.6 cũng được bài viết của Kilo AI ghi nhận ở mức 58,6% trên SWE-Bench Pro, nhìn bề ngoài ngang GPT-5.5. Tuy nhiên, con số này không nằm trong cùng bảng đối chiếu với GPT-5.5 và Claude Opus 4.7, nên nên xem là tín hiệu tham khảo, không phải kết luận thắng thua cùng chuẩn đo.

Terminal-Bench 2.0: GPT-5.5 dẫn trước Claude Opus 4.7

Ở Terminal-Bench 2.0, bảng OpenAI ghi GPT-5.5 đạt 82,7%, còn Claude Opus 4.7 đạt 69,4%. Nếu sản phẩm của bạn giống một coding agent làm việc trong môi trường dòng lệnh, gọi công cụ, chạy lệnh và xử lý quy trình trong terminal, GPT-5.5 đáng được đưa lên đầu danh sách thử nghiệm.

Điểm cần nhớ: bài này không có số Terminal-Bench 2.0 có thể trích dẫn cho Kimi K2.6 hoặc DeepSeek V4. Vì vậy, không thể lập bảng xếp hạng đủ bốn mô hình ở tiêu chí này.

SWE-Bench Verified: Claude cao hơn Kimi, nhưng nguồn không cùng chuẩn

Claude Opus 4.7 được các bài tổng hợp bên thứ ba ghi 87,6% trên SWE-Bench Verified; Verdent mô tả con số này là Anthropic-conducted và có áp dụng memorization screens. Kimi K2.6 được bài viết của Kilo AI ghi 80,2% trên SWE-Bench Verified.

Hai con số đều có giá trị tham khảo, nhưng không nên đọc như một phép so “cân bằng tuyệt đối” như cặp SWE-Bench Pro và Terminal-Bench 2.0 trong cùng bảng OpenAI.

Expert-SWE: có tín hiệu, nhưng không nên dùng để trao cúp

GPT-5.5 đạt 73,1% trên Expert-SWE, nhưng OpenAI tự gắn nhãn đây là internal eval và ghi chú rằng các phòng thí nghiệm khác đã thấy dấu hiệu memorization trên eval này. Vì vậy, Expert-SWE có thể là tín hiệu về năng lực trong bộ đánh giá nội bộ của OpenAI, nhưng không nên dùng làm nền tảng chính để xếp hạng cả bốn mô hình.

Chọn mô hình theo việc cần làm, đừng chỉ nhìn “tổng điểm”

Nếu bài toán của bạn gần với sửa issue GitHub hoặc tác vụ kỹ thuật phần mềm phức tạp, Claude Opus 4.7 nên được thử sớm. Trên SWE-Bench Pro, bộ dữ liệu có thể đối chiếu trực tiếp nhất trong bài này, Claude Opus 4.7 đạt 64,3%, cao hơn GPT-5.5 ở mức 58,6%. Vellum cũng đặt cặp số này trong bối cảnh giải quyết issue GitHub thực tế.

Nếu quy trình của bạn thiên về coding agent vận hành trong terminal, GPT-5.5 là ứng viên mạnh. Điểm Terminal-Bench 2.0 có thể trích dẫn của GPT-5.5 là 82,7%, cao hơn Claude Opus 4.7 ở mức 69,4%. Điều này không có nghĩa GPT-5.5 tốt hơn trong mọi tác vụ lập trình, nhưng cho thấy lợi thế rõ ở benchmark cụ thể này.

Nếu cần một ứng viên mô hình mở, Kimi K2.6 có thể vào shortlist. Hugging Face mô tả Kimi K2.6 là open-source, native multimodal agentic model; Kilo AI ghi mô hình này đạt 58,6% trên SWE-Bench Pro và 80,2% trên SWE-Bench Verified. Tuy nhiên, vì các điểm này chưa xuất hiện trong cùng một bảng chính thức có GPT-5.5 và Claude Opus 4.7, cách an toàn nhất là chạy lại trên bộ tác vụ của chính bạn.

Nếu đang cân nhắc DeepSeek V4, nên chờ benchmark có thể trích dẫn hoặc tự đánh giá lại. Trong bộ nguồn của bài này chưa có điểm số DeepSeek V4 đủ kiểm chứng. Gán điểm hoặc xếp hạng cưỡng ép trong trường hợp này dễ gây hiểu nhầm hơn là để trống.

Vì sao bài này không chọn “người thắng chung cuộc”?

Sai lầm phổ biến khi đọc benchmark LLM là trộn điểm từ nhiều nguồn, nhiều cách chạy, nhiều loại tác vụ rồi xem như cùng một thước đo. Bài này chia dữ liệu thành ba tầng:

1. Benchmark chung trong cùng bảng: ví dụ GPT-5.5 và Claude Opus 4.7 trong bảng OpenAI ở SWE-Bench Pro và Terminal-Bench 2.0. Đây là nhóm phù hợp nhất để so trực tiếp.
2. Vendor eval hoặc partner eval được tổng hợp bởi bên thứ ba: ví dụ SWE-Bench Verified và CursorBench của Claude Opus 4.7. Nhóm này vẫn hữu ích, nhưng cần để ý nguồn và cách chạy đánh giá.
3. Dữ liệu thiếu kiểm chứng chéo hoặc thiếu số có thể trích dẫn: ví dụ Kimi K2.6 hiện chủ yếu dựa vào bài viết bên thứ ba cho điểm SWE-Bench, còn DeepSeek V4 thiếu benchmark đủ dùng trong bộ nguồn của bài này.

Theo cách đọc đó, kết luận gọn lại là: Claude Opus 4.7 dẫn GPT-5.5 trên SWE-Bench Pro; GPT-5.5 dẫn Claude Opus 4.7 trên Terminal-Bench 2.0; Kimi K2.6 có điểm SWE-Bench đáng chú ý nhưng mức bằng chứng thấp hơn; DeepSeek V4 hiện nên được xếp vào nhóm thiếu dữ liệu.

Với đội phát triển sản phẩm, bảng trên chỉ nên là điểm khởi đầu. Sau khi chọn shortlist, bước quan trọng hơn là chạy thử trên chính tác vụ của bạn: loại repository, ngôn ngữ lập trình, bộ test, cách gọi công cụ, độ trễ, chi phí và khả năng phục hồi khi mô hình làm sai. Kết quả đó thường đáng tin hơn nhiều so với một bảng “xếp hạng bốn mô hình” nhìn có vẻ gọn nhưng thiếu cùng chuẩn đo.

Nên nhìn benchmark nào trước?

SWE-Bench Pro: Claude Opus 4.7 vượt GPT-5.5 trong bảng có thể đối chiếu

SWE-Bench thường được dùng để nhìn năng lực xử lý tác vụ kỹ thuật phần mềm, đặc biệt các bài toán gần với sửa lỗi hoặc giải quyết issue trong kho mã. Trong bảng đánh giá GPT-5.5 của OpenAI, Claude Opus 4.7 đạt 64,3% trên SWE-Bench Pro, cao hơn GPT-5.5 ở mức 58,6%. Đây là một trong những so sánh sạch nhất của bài này, vì cả hai mô hình xuất hiện trong cùng một bảng nguồn.

Kimi K2.6 cũng được bài viết của Kilo AI ghi nhận ở mức 58,6% trên SWE-Bench Pro, nhìn bề ngoài ngang GPT-5.5. Tuy nhiên, con số này không nằm trong cùng bảng đối chiếu với GPT-5.5 và Claude Opus 4.7, nên nên xem là tín hiệu tham khảo, không phải kết luận thắng thua cùng chuẩn đo.

Terminal-Bench 2.0: GPT-5.5 dẫn trước Claude Opus 4.7

Ở Terminal-Bench 2.0, bảng OpenAI ghi GPT-5.5 đạt 82,7%, còn Claude Opus 4.7 đạt 69,4%. Nếu sản phẩm của bạn giống một coding agent làm việc trong môi trường dòng lệnh, gọi công cụ, chạy lệnh và xử lý quy trình trong terminal, GPT-5.5 đáng được đưa lên đầu danh sách thử nghiệm.

Điểm cần nhớ: bài này không có số Terminal-Bench 2.0 có thể trích dẫn cho Kimi K2.6 hoặc DeepSeek V4. Vì vậy, không thể lập bảng xếp hạng đủ bốn mô hình ở tiêu chí này.

SWE-Bench Verified: Claude cao hơn Kimi, nhưng nguồn không cùng chuẩn

Claude Opus 4.7 được các bài tổng hợp bên thứ ba ghi 87,6% trên SWE-Bench Verified; Verdent mô tả con số này là Anthropic-conducted và có áp dụng memorization screens. Kimi K2.6 được bài viết của Kilo AI ghi 80,2% trên SWE-Bench Verified.

Hai con số đều có giá trị tham khảo, nhưng không nên đọc như một phép so “cân bằng tuyệt đối” như cặp SWE-Bench Pro và Terminal-Bench 2.0 trong cùng bảng OpenAI.

Expert-SWE: có tín hiệu, nhưng không nên dùng để trao cúp

GPT-5.5 đạt 73,1% trên Expert-SWE, nhưng OpenAI tự gắn nhãn đây là internal eval và ghi chú rằng các phòng thí nghiệm khác đã thấy dấu hiệu memorization trên eval này. Vì vậy, Expert-SWE có thể là tín hiệu về năng lực trong bộ đánh giá nội bộ của OpenAI, nhưng không nên dùng làm nền tảng chính để xếp hạng cả bốn mô hình.

Chọn mô hình theo việc cần làm, đừng chỉ nhìn “tổng điểm”

Nếu bài toán của bạn gần với sửa issue GitHub hoặc tác vụ kỹ thuật phần mềm phức tạp, Claude Opus 4.7 nên được thử sớm. Trên SWE-Bench Pro, bộ dữ liệu có thể đối chiếu trực tiếp nhất trong bài này, Claude Opus 4.7 đạt 64,3%, cao hơn GPT-5.5 ở mức 58,6%. Vellum cũng đặt cặp số này trong bối cảnh giải quyết issue GitHub thực tế.

Nếu quy trình của bạn thiên về coding agent vận hành trong terminal, GPT-5.5 là ứng viên mạnh. Điểm Terminal-Bench 2.0 có thể trích dẫn của GPT-5.5 là 82,7%, cao hơn Claude Opus 4.7 ở mức 69,4%. Điều này không có nghĩa GPT-5.5 tốt hơn trong mọi tác vụ lập trình, nhưng cho thấy lợi thế rõ ở benchmark cụ thể này.

Nếu cần một ứng viên mô hình mở, Kimi K2.6 có thể vào shortlist. Hugging Face mô tả Kimi K2.6 là open-source, native multimodal agentic model; Kilo AI ghi mô hình này đạt 58,6% trên SWE-Bench Pro và 80,2% trên SWE-Bench Verified. Tuy nhiên, vì các điểm này chưa xuất hiện trong cùng một bảng chính thức có GPT-5.5 và Claude Opus 4.7, cách an toàn nhất là chạy lại trên bộ tác vụ của chính bạn.

Nếu đang cân nhắc DeepSeek V4, nên chờ benchmark có thể trích dẫn hoặc tự đánh giá lại. Trong bộ nguồn của bài này chưa có điểm số DeepSeek V4 đủ kiểm chứng. Gán điểm hoặc xếp hạng cưỡng ép trong trường hợp này dễ gây hiểu nhầm hơn là để trống.

Vì sao bài này không chọn “người thắng chung cuộc”?

Sai lầm phổ biến khi đọc benchmark LLM là trộn điểm từ nhiều nguồn, nhiều cách chạy, nhiều loại tác vụ rồi xem như cùng một thước đo. Bài này chia dữ liệu thành ba tầng:

1. Benchmark chung trong cùng bảng: ví dụ GPT-5.5 và Claude Opus 4.7 trong bảng OpenAI ở SWE-Bench Pro và Terminal-Bench 2.0. Đây là nhóm phù hợp nhất để so trực tiếp.
2. Vendor eval hoặc partner eval được tổng hợp bởi bên thứ ba: ví dụ SWE-Bench Verified và CursorBench của Claude Opus 4.7. Nhóm này vẫn hữu ích, nhưng cần để ý nguồn và cách chạy đánh giá.
3. Dữ liệu thiếu kiểm chứng chéo hoặc thiếu số có thể trích dẫn: ví dụ Kimi K2.6 hiện chủ yếu dựa vào bài viết bên thứ ba cho điểm SWE-Bench, còn DeepSeek V4 thiếu benchmark đủ dùng trong bộ nguồn của bài này.

Theo cách đọc đó, kết luận gọn lại là: Claude Opus 4.7 dẫn GPT-5.5 trên SWE-Bench Pro; GPT-5.5 dẫn Claude Opus 4.7 trên Terminal-Bench 2.0; Kimi K2.6 có điểm SWE-Bench đáng chú ý nhưng mức bằng chứng thấp hơn; DeepSeek V4 hiện nên được xếp vào nhóm thiếu dữ liệu.

Với đội phát triển sản phẩm, bảng trên chỉ nên là điểm khởi đầu. Sau khi chọn shortlist, bước quan trọng hơn là chạy thử trên chính tác vụ của bạn: loại repository, ngôn ngữ lập trình, bộ test, cách gọi công cụ, độ trễ, chi phí và khả năng phục hồi khi mô hình làm sai. Kết quả đó thường đáng tin hơn nhiều so với một bảng “xếp hạng bốn mô hình” nhìn có vẻ gọn nhưng thiếu cùng chuẩn đo.