DeepSeek V4 Pro очолив тест Aikido з пошуку вразливостей — але вирішальною є вся система

У серпні 2026 року Aikido протестувала 10 AI-моделей на 32 нещодавно розкритих уразливостях. Кожну модель запускали тричі, а результати об’єднували, щоб оцінити загальне покриття. DeepSeek V4 Pro 0813 показала найкращий pooled recall — 28 із 32 вразливостей, або 87,5%, — за приблизно $295. Але ширший висновок тесту полягає не в тому, що одна модель остаточно перемогла всіх конкурентів. Важливішою виявилася архітектура системи: повторні розслідування, перевірка доказів, розподіл ролей між моделями та контроль людини. 3

Головний результат: DeepSeek Pro знайшла найбільше вразливостей

DeepSeek V4 Pro 0813 досягла показника 28 із 32 вразливостей у трьох об’єднаних запусках. Це робить її найсильнішою моделлю на етапі первинного пошуку.

Водночас 28/32 — це результат pass@3, а не доказ того, що один запуск стабільно знаходить 28 вразливостей. Різні проходи можуть досліджувати різні файли, шляхи виконання та гіпотези експлуатації. Об’єднання результатів підвищує покриття саме завдяки такій різноманітності пошуку.

Для практичної безпеки це означає: не варто сприймати першу відповідь моделі як завершений аудит. Кілька незалежних розслідувань часто корисніші за один дорогий запуск. 3

Як відрізнялися моделі

DeepSeek V4 Pro 0813: найкраще сукупне покриття

Три запуски DeepSeek Pro виявили 28 із 32 вразливостей і коштували приблизно $295. Її головна перевага — широта пошуку: після об’єднання проходів модель виявила більше проблем, ніж інші учасники тесту.

Тому DeepSeek Pro добре підходить для першого етапу конвеєра безпеки. Проте перед створенням робочого сповіщення її висновки потрібно підтвердити доказами, об’єднати дублікати та перевірити рівень ризику.

DeepSeek V4 Flash 0731: недорогий паралельний пошук

Три запуски Flash виявили 24 із 32 вразливостей приблизно за $108. Це дає моделі переконливе співвідношення покриття та вартості й робить її придатною для паралельних сканувань або додаткових повторних проходів.

Flash не обов’язково має бути фінальним перевіряльником. Її практична цінність — у можливості збільшити кількість спроб у межах обмеженого бюджету, а потім передати сукупні результати на вибіркову перевірку. 3

Grok 4.6: лідер за стабільністю

Grok 4.6 вирізнилася повторюваністю: 21 вразливість з’явилася в усіх трьох її запусках. Така стабільність важлива для команд, яким потрібні передбачувана поведінка, однаковий формат звітів і менше сюрпризів під час регулярного моніторингу.

Її сильна сторона відрізняється від переваги DeepSeek Pro. Для періодичних перевірок або стандартизованих процесів стабільна модель може бути кориснішою, навіть якщо більш дослідницька модель має вищий сукупний recall.

Claude Opus 5 і GPT-5.6 Sol: сильні альтернативи

Claude Opus 5 досягла 26 із 32 у сукупному recall, а GPT-5.6 Sol — 25 із 32. Обидві залишилися високоефективними варіантами, однак результати поставили під сумнів припущення, що найдорожча закрита модель автоматично забезпечує найкраще покриття вразливостей.

Обирати ці моделі варто не лише через бренд чи загальну репутацію в бенчмарках. Командам слід оцінювати, чи додають їхні міркування, якість звітів або поведінка під час перевірки цінність у конкретному конвеєрі безпеки. 3

Kimi K3: точність для перевірки та тріажу

Найпомітніший результат Kimi K3 — 92,3% pooled precision. Precision показує, яка частка заявлених моделлю знахідок була прийнята після перевірки, а не скільки вразливостей модель знайшла загалом.

Ця різниця визначає іншу роль моделі. Агент із високим recall може шукати широко й допускати більше шуму. Модель із високим precision краще підходить для підтвердження знахідок, підготовки звітів і зменшення кількості сповіщень, які зрештою потрапляють до інженерів.

Qwen3.8-Max: повторення може бути і проблемою, і перевагою

Aikido помітила, що Qwen3.8-Max поверталася до тієї самої CVE або вже дослідженого шляху міркувань. Це неефективно, якщо повторення витрачає ходи, але не розширює покриття. Водночас повторний аналіз іноді допомагає виявити пропущену умову експлуатації, шлях виконання або деталь, потрібну для підтвердження.

Практичне рішення має бути на рівні агентського середовища: система повинна фіксувати вже перевірені гіпотези, обмежувати повторні гілки, а невирішені випадки спрямовувати на нове розслідування, а не автоматично відтворювати той самий сценарій.

GLM-5.3: дешевий компонент ансамблю

У оновленому порівнянні GLM-5.3 покращила результат із 24/32 до 25/32, зберігши нижчий профіль вартості порівняно із закритими передовими моделями, згаданими в тесті.

Це робить її перспективним інструментом для великої кількості перевірок або компонентом ансамблю. Найбільшу користь така модель дає тоді, коли нижчу ціну використовують для запуску більшої кількості розслідувань, а не просто для одного проходу.

Recall, precision і стабільність відповідають на різні запитання

Систему пошуку вразливостей не варто зводити до одного числа в таблиці лідерів:

• Recall: скільки відомих вразливостей система змогла повторно знайти?
• Precision: скільки поданих знахідок було підтверджено?
• Стабільність: як часто окремі запуски знаходили ті самі вразливості?
• Ефективність витрат: скільки коштувало отримати підтверджені знахідки?

Ці показники описують різні операційні потреби. Для пошуку важливі високий recall і різноманітність розслідувань. Для сповіщень у робочому середовищі потрібні точність, відтворювані докази, усунення дублікатів і коректне ранжування ризиків.

Тому модель, яка чудово знаходить потенційні проблеми, може бути поганим вибором для прямого надсилання неперевірених сповіщень розробникам.

Чому повторні запуски змінили висновок бенчмарку

Найважливіший системний урок тесту — результати моделей були стохастичними. Один запуск досліджує лише один маршрут перевірки, тоді як кілька незалежних проходів збільшують шанси на перевірку різних гіпотез.

Саме тому три відносно недорогі запуски DeepSeek могли зрівнятися або перевершити за сукупним покриттям один прохід дорожчих передових моделей. Одиницею оцінювання є не лише виклик моделі. Важливе все розслідування: модель, інструменти, промпт, ліміт ходів, пам’ять, повторні запуски та процес валідації. 3

Якою може бути практична система безпеки

Система, побудована з урахуванням цих результатів, має розділяти пошук і остаточне рішення:

1. Шукати широко. Запускати одного або кількох недорогих агентів по кодовій базі, щоб збільшити кількість кандидатів.
2. Вести стан розслідування. Фіксувати переглянуті файли, перевірені гіпотези та вже подані знахідки, щоб агенти не витрачали ходи на повторення.
3. Усувати дублікати. Об’єднувати звіти, які описують одну й ту саму першопричину.
4. Перевіряти точнішою моделлю. Вимагати доказів того, що підозрювана вразливість справді досяжна та має практичне значення.
5. Передавати складні випадки на посилений аналіз. Для неоднозначних ланцюжків експлуатації використовувати сильнішу модель міркувань або спеціалізоване розслідування.
6. Залишати людину в контурі. Критичні знахідки потрібно підтверджувати до виправлення, розкриття інформації або автоматичного блокування.

Такий підхід із маршрутизацією моделей надійніший, ніж сприймати відкриті та закриті моделі як прості взаємозамінні компоненти.

Обмеження тесту

Результати Aikido корисні, але не є універсальним рейтингом AI-моделей для кібербезпеки. Тест охоплював 32 нещодавно розкриті вразливості, три спроби для кожної моделі та конкретне агентське середовище. Показники можуть змінюватися залежно від мови програмування, структури репозиторію, доступних інструментів, моделі загроз, бюджету розслідування та допустимого рівня хибнопозитивних спрацювань. 3

Найобґрунтованіший висновок є вужчим, але практично ціннішим: у цьому тестовому середовищі відкриті моделі, особливо DeepSeek V4 Pro, могли зрівнятися або перевершити закриті передові системи за умови повторних запусків і грамотної оркестрації.

Переможцем продукту з кібербезпеки стає не обов’язково модель із найвищим показником у заголовку. Виграє система, яка поєднує широке виявлення, надійну перевірку та докази, на які інженери можуть спиратися.