Claude Mythos mạnh về an ninh mạng, nhưng chưa chứng minh được lợi thế độc quyền

Báo cáo red-team của chính Anthropic còn đi xa hơn, nói Mythos có hiệu năng mạnh trên nhiều nhiệm vụ an ninh mạng, bao gồm phát hiện zero-day trong các kho mã nguồn mở thực tế, đảo ngược khai thác trên phần mềm mã đóng, và biến các lỗ hổng N-day thành mã khai thác hoạt động . Zero-day là lỗ hổng chưa được bên phát triển biết hoặc vá; N-day là lỗ hổng đã được biết đến nhưng chưa nhất thiết đã được vá rộng rãi. Cũng trong báo cáo này, Anthropic nói chi tiết công khai bị hạn chế vì hơn 99% lỗ hổng được tìm thấy khi đó chưa được vá, nên người ngoài chưa thể tự kiểm chứng phần lớn ví dụ .

Vì sao mô hình rẻ vẫn làm lung lay tuyên bố “moat”

Lập luận ủng hộ mô hình rẻ không phải là các hệ thống nhỏ, mở trọng số đã ngang Mythos khi hoạt động như một tác tử tự chủ. Điểm quan trọng là năng lực cyber của AI có thể rất không đều: một mô hình có thể kém ở nhiều nhiệm vụ, nhưng lại đủ tốt trong một bài phân tích lỗ hổng hẹp, có mã nguồn và bối cảnh được chuẩn bị sẵn. Aisle cho biết các mô hình mở trọng số nhỏ và rẻ đã khôi phục được phần lớn phân tích trên một số lỗ hổng được Anthropic dùng để trình diễn, sau khi mã liên quan được cô lập .

Tom’s Hardware cũng tóm lược cuộc tranh luận sau công bố theo hướng tương tự: Mythos có thể nằm trong nhóm mô hình AI tổng thể mạnh nhất cho an ninh mạng, nhưng các mô hình rẻ hơn vẫn có thể đạt kết quả tương tự ở một số nhiệm vụ tìm khai thác và vá lỗi, trong khi độ ổn định và khả năng vận hành liên tục vẫn còn là câu hỏi .

Sự khác biệt này rất quan trọng. Tái hiện một kết quả phân tích mã đã được khoanh vùng không giống với việc tự điều hướng trong mạng, xâu chuỗi nhiều bước, khai thác lỗ hổng và hoàn tất một kịch bản xâm nhập mô phỏng. Bằng chứng công khai hiện ủng hộ lợi thế của Mythos mạnh nhất ở những quy trình dài hơi, có tính tác tử như vậy .

Lợi thế có thể nằm ở cả hệ thống, không chỉ ở mô hình

Cách giải thích thuyết phục nhất từ các nguồn công khai là: đây không chỉ là câu chuyện của mô hình nền. Đó là mô hình cộng với hạ tầng chuyên biệt cho cyber: công cụ, môi trường thực thi, quyền truy cập, cách chọn ngữ cảnh, lời nhắc, khung tác tử và đánh giá của chuyên gia. Aisle lập luận rằng “hào lũy” nằm ở hệ thống được nhúng chuyên môn an ninh sâu, không phải chỉ ở bản thân mô hình . Đánh giá của AISI cũng củng cố điểm này, vì các hành vi mạnh nhất của Mythos được quan sát trong điều kiện có kiểm soát, khi mô hình được chỉ dẫn và cấp quyền truy cập mạng .

Vấn đề quyền truy cập cũng đáng chú ý. Bain mô tả Claude Mythos Preview là một mô hình tuyến đầu có năng lực an ninh mạng nghiêm trọng đến mức Anthropic hạn chế phát hành trong một chương trình đối tác được thẩm định tên là Project Glasswing . Vì vậy, so sánh thực tế không chỉ là API nào rẻ hơn. Câu hỏi đúng hơn là: với các mô hình, công cụ và chuyên gia đang có, một tổ chức có thể tái tạo được bao nhiêu phần của cùng quy trình đó .

Những điều bằng chứng hiện chưa trả lời được

Hiện chưa có một chuẩn so sánh công khai, ngang điều kiện, về giá và hiệu năng giữa Mythos, các API chi phí thấp và mô hình mở trọng số. AISI đánh giá Mythos trong điều kiện kiểm soát và so với tiến bộ của các mô hình tuyến đầu trước đó . Anthropic cung cấp bằng chứng red-team khá chi tiết, nhưng đó là tài liệu do chính nhà phát triển công bố . Aisle đưa ra phép kiểm tra phản biện hẹp hơn trên một số lỗ hổng trình diễn được chọn . Những nguồn này trả lời các câu hỏi liên quan, nhưng không hoàn toàn giống nhau.

Một phép so sánh sạch cần cố định nhiều biến: quyền truy cập công cụ, lượng ngữ cảnh mã, quyền trên mạng, số lần thử, ngân sách tính toán, quy tắc thực thi khai thác và mức can thiệp của con người. Khi chưa có so sánh như vậy, các tuyên bố quá mạnh theo cả hai hướng đều còn sớm .

Đọc cuộc so sánh này theo nhu cầu thực tế

Điểm mấu chốt

Claude Mythos trông rất mạnh khi nhiệm vụ đòi hỏi tự chủ và thực thi nhiều bước. Nhưng hồ sơ công khai chưa chứng minh rằng năng lực suy luận an ninh mạng cốt lõi của nó là thứ hoàn toàn không thể có ở các mô hình rẻ hơn. Kết luận thận trọng hơn là: Mythos có lợi thế thật trong các quy trình cyber phức tạp, còn mô hình chi phí thấp vẫn có thể đảm nhiệm những phần đáng kể của phân tích có giới hạn khi được kết hợp với công cụ tốt và chuyên gia giám sát .