Claude Mythos Preview và con số 93,9% trên SWE-bench

Vì vậy, con số này hữu ích nhất khi bạn muốn hình dung Mythos Preview có thể mạnh đến đâu trong các kịch bản như: hỗ trợ sửa bug, làm việc trên repository, đề xuất thay đổi mã, hoặc vận hành như một tác nhân lập trình.

Điểm cần thận trọng nằm ở điều kiện đánh giá. Các điểm SWE-bench cao thường xuất hiện khi mô hình hoạt động như một tác nhân AI: có thể đọc tệp, chạy mã, xem kết quả kiểm thử rồi lặp lại cách giải . Nói cách khác, 93,9% không chỉ phản ánh “trí thông minh” của riêng mô hình, mà còn phản ánh cả môi trường công cụ và cách bài kiểm tra được thiết lập.

93,9% không có nghĩa là gì?

Không nên xem 93,9% là điểm tổng quát của Claude Mythos Preview. Một benchmark phần mềm không tự động đo được mọi thứ: suy luận tổng quát, độ an toàn, chi phí vận hành, độ sẵn có, hay chất lượng ở các tác vụ không liên quan đến viết và sửa mã .

Cách đọc hợp lý là: so sánh trong cùng một sân chơi. Nếu một mô hình được dùng theo kiểu tác nhân, có quyền truy cập tệp, chạy kiểm thử và thử nhiều vòng, còn mô hình khác chỉ trả lời một lượt không có công cụ, thì việc đặt hai điểm số cạnh nhau có thể gây hiểu nhầm .

Các benchmark được nhắc đến với Claude Mythos Preview

Đừng trộn lẫn phần mềm và an ninh mạng

Các chỉ số an ninh mạng của Claude Mythos Preview thuộc một nhóm khác. Một nguồn báo cáo Mythos Preview đạt 83,1% trong các benchmark năng lực an ninh mạng, so với 66,6% của Claude Opus 4.6 . Một nguồn khác nói Mythos đạt 100% trên Cybench, được mô tả là benchmark gồm các thử thách an ninh mạng .

Các tài liệu từ Anthropic được nêu trong nguồn ở đây cũng đi theo hướng đó: Anthropic Red Team công bố đánh giá năng lực an ninh mạng của Claude Mythos Preview, còn Project Glasswing đề cập đến việc dùng mô hình để nhận diện lỗ hổng và khai thác trong phần mềm . Những thông tin này rất đáng quan tâm với đội ngũ bảo mật, nhưng không nên gộp chung với SWE-bench như thể tất cả chỉ là một điểm số duy nhất.

Dùng con số này thế nào trong đánh giá thực tế?

Nếu nhu cầu của bạn là một tác nhân làm việc trên repository, sửa mã, chạy test và lặp lại nhiều vòng, thì 93,9% trên SWE-bench là điểm khởi đầu quan trọng nhất để tham khảo .

Nếu nhu cầu là phân tích lỗ hổng, rà soát bảo mật hoặc nghiên cứu khai thác, nên nhìn sang các chỉ số và tài liệu an ninh mạng thay vì lấy SWE-bench làm thước đo chính .

Kết luận ngắn gọn: benchmark được nhắc nhiều nhất của Claude Mythos Preview là SWE-bench, với kết quả 93,9% . Cách đọc chặt chẽ hơn là: đây là tín hiệu rất mạnh cho tác vụ phần mềm trong một điều kiện đánh giá cụ thể, chứ không phải bằng chứng tự động rằng mô hình vượt trội ở mọi lĩnh vực.