DeepSeek V4 Pro findet die meisten Sicherheitslücken – entscheidend ist aber das System

Aikido hat im August 2026 zehn KI-Modelle anhand von 32 kürzlich veröffentlichten Schwachstellen getestet. Jedes Modell durchlief den Test dreimal in einer internetfreien Umgebung mit jeweils 30 Untersuchungsschritten. Das Ergebnis klingt zunächst nach einem klaren Sieger: DeepSeek V4 Pro 0813 kam in der Zusammenfassung aller drei Durchläufe auf 28 von 32 Treffern – eine Trefferquote von 87,5 Prozent. 3

Die wichtigere Erkenntnis fällt jedoch weniger spektakulär aus: Bei der KI-gestützten Suche nach Sicherheitslücken kommt es nicht nur auf das Modell an. Wiederholte Untersuchungen, ein gutes Agenten-Framework, Zustandsverwaltung, Validierung und eine sinnvolle Verteilung der Aufgaben können mehr bewirken als der Wechsel zu einem vermeintlich stärkeren Einzelmodell.

DeepSeek Pro liegt bei der kombinierten Suche vorn

DeepSeek V4 Pro 0813 erreichte über drei Durchläufe hinweg 28 von 32 Schwachstellen. Die Kosten lagen laut Benchmark bei etwa 295 US-Dollar. Damit war das Modell bei der kombinierten Abdeckung der stärkste Kandidat für die Entdeckungsphase.

Die Zahl darf allerdings nicht missverstanden werden. Sie beschreibt ein pass@3-Ergebnis: Drei unabhängige Untersuchungen wurden zusammengelegt. Es ist nicht der Nachweis, dass ein einzelner Aufruf zuverlässig 28 Schwachstellen findet.

Jeder Durchlauf kann andere Dateien, Angriffspfade oder Exploit-Hypothesen untersuchen. Werden die Ergebnisse kombiniert, steigt die Abdeckung, weil diese Suchvielfalt genutzt wird. Für die Praxis spricht das dafür, mehrere unabhängige Untersuchungen einzuplanen, statt die erste Antwort eines Modells als vollständige Sicherheitsprüfung zu behandeln. 3

Die Modelle hatten unterschiedliche Stärken

DeepSeek V4 Pro 0813: breite Abdeckung

Mit 28 von 32 Treffern und Kosten von ungefähr 295 US-Dollar führte DeepSeek Pro das Feld bei der kombinierten Suche an. Seine Stärke lag vor allem in der Breite: Über mehrere Untersuchungen hinweg fand es mehr unterschiedliche Schwachstellen als die Vergleichsmodelle.

Das macht es zu einem geeigneten Modell für die erste Suchrunde. Bevor daraus produktive Warnmeldungen werden, müssen die Ergebnisse jedoch mit Belegen geprüft, zusammengeführt und nach ihrer Schwere bewertet werden.

DeepSeek V4 Flash 0731: günstige Parallelsuche

Drei Durchläufe von DeepSeek Flash fanden 24 von 32 Schwachstellen – für rund 108 US-Dollar. Das ergibt ein starkes Verhältnis von Abdeckung zu Kosten und macht das Modell interessant für parallele Scans oder zusätzliche Wiederholungen innerhalb eines festen Budgets.

Flash muss deshalb nicht automatisch die beste Instanz für die abschließende Prüfung sein. Sein Vorteil liegt darin, kostengünstig viele Suchversuche zu ermöglichen. Die gesammelten Ergebnisse können anschließend an eine selektivere Validierungsstufe weitergegeben werden. 3

Grok 4.6: am konsistentesten

Grok 4.6 fiel durch seine Wiederholbarkeit auf: 21 Schwachstellen wurden in allen drei Durchläufen gefunden. Das ist besonders relevant für Teams, die bei regelmäßigen Prüfungen vorhersehbares Verhalten, stabile Berichte und möglichst wenige Überraschungen benötigen.

Diese Stärke ist nicht identisch mit der von DeepSeek Pro. Ein sehr konsistentes Modell kann für standardisierte Überwachung besser geeignet sein, selbst wenn ein stärker exploratives Modell bei der kombinierten Trefferzahl vorn liegt.

Claude Opus 5 und GPT-5.6 Sol: starke Alternativen

Claude Opus 5 kam bei der Zusammenfassung der drei Durchläufe auf 26 von 32 Treffern, GPT-5.6 Sol auf 25 von 32. Beide Modelle gehörten damit weiterhin zu den leistungsstarken Optionen.

Der Vergleich stellt jedoch die Annahme infrage, dass das teuerste geschlossene Modell automatisch die beste Abdeckung bei der Suche nach Schwachstellen liefert. Entscheidend sollte daher nicht allein die Marke oder der Ruf in allgemeinen Benchmarks sein, sondern die Frage, welchen zusätzlichen Nutzen ein Modell bei Begründung, Berichterstattung oder Prüfung innerhalb der gesamten Sicherheits-Pipeline bietet. 3

Kimi K3: stark bei Präzision und Triage

Kimi K3 erzielte eine herausragende kombinierte Präzision von 92,3 Prozent. Präzision beantwortet eine andere Frage als Recall: Sie misst, wie viele der gemeldeten Befunde akzeptiert wurden – nicht, wie viele Schwachstellen insgesamt entdeckt wurden.

Damit eignet sich Kimi für eine andere Rolle als ein Modell, das möglichst breit sucht. Ein Agent mit hohem Recall kann weit suchen und dabei mehr Rauschen erzeugen. Ein präzises Modell kann anschließend Befunde verifizieren, Berichte vorbereiten und die Zahl der Warnmeldungen reduzieren, die tatsächlich bei Entwicklerinnen und Entwicklern landen.

Qwen3.8-Max: Wiederholung als Schwäche und Chance

Aikido beobachtete bei Qwen3.8-Max, dass das Modell dieselbe CVE oder denselben Gedankengang wiederholt aufgriff. Das ist ineffizient, wenn dadurch Untersuchungsschritte verbraucht werden, ohne die Abdeckung zu erhöhen.

Wiederholung kann aber auch nützlich sein: Eine zweite Prüfung kann eine übersehene Bedingung, einen weiteren Ausführungspfad oder ein wichtiges Detail bei der Validierung ans Licht bringen. Die praktische Lösung muss deshalb auf Ebene des Agenten-Frameworks ansetzen. Das System sollte festhalten, was bereits getestet wurde, Wiederholungen begrenzen und ungelöste Fälle an eine neue Untersuchung weiterleiten, statt denselben Pfad automatisch erneut abzuspulen.

GLM-5.3: günstiger Baustein für Ensembles

GLM-5.3 verbesserte sich im aktualisierten Vergleich von 24 auf 25 Treffer bei 32 Schwachstellen. Gleichzeitig blieb das Kostenprofil niedriger als bei den geschlossenen Frontier-Modellen, die im Benchmark verglichen wurden.

Damit ist GLM-5.3 ein plausibler Kandidat für Aufgaben mit hohem Volumen oder als Bestandteil eines Ensembles. Sein größter Vorteil entsteht dort, wo ein Unternehmen die Kostenersparnis nutzt, um mehr Untersuchungen auszuführen, statt sich auf einen einzigen Durchlauf zu verlassen.

Recall, Präzision und Konsistenz messen Verschiedenes

Eine Sicherheitslösung sollte nicht alle Eigenschaften in einer einzigen Rangliste zusammenfassen:

• Recall: Wie viele der bekannten Schwachstellen wurden wiederentdeckt?
• Präzision: Wie viele der eingereichten Befunde wurden akzeptiert?
• Konsistenz: Wie oft fanden mehrere Durchläufe dieselben Schwachstellen?
• Kosteneffizienz: Wie viel kostet es, einen validierten Befund zu erzeugen?

Diese Kennzahlen stehen für unterschiedliche Anforderungen. Bei der Entdeckung sind hoher Recall und vielfältige Suchstrategien wichtig. Für Warnmeldungen im Produktivbetrieb zählen dagegen belastbare Belege, hohe Präzision, das Zusammenführen doppelter Meldungen und eine brauchbare Risikoeinstufung.

Ein Modell, das besonders viele mögliche Probleme aufspürt, ist daher nicht zwingend die beste Wahl, um ungeprüfte Warnungen direkt an Entwicklerteams zu senden.

Warum drei Durchläufe das Bild verändert haben

Der zentrale Systembefund des Benchmarks lautet: Die Leistung der Modelle war nicht deterministisch. Ein einzelner Durchlauf folgt nur einem möglichen Untersuchungsweg. Mehrere unabhängige Durchläufe erhöhen die Wahrscheinlichkeit, dass unterschiedliche Hypothesen, Dateien und Angriffsketten betrachtet werden.

Deshalb konnten drei vergleichsweise günstige DeepSeek-Durchläufe bei der Gesamtzahl der Treffer mit einzelnen Durchläufen teurer Frontier-Modelle konkurrieren oder diese übertreffen. Die relevante Einheit ist nicht bloß der Modellaufruf. Es ist die vollständige Untersuchung – einschließlich Modell, Werkzeugen, Prompt, Schrittbudget, Gedächtnis, Wiederholungen und Validierungsprozess. 3

So könnte ein praxistauglicher Ablauf aussehen

Eine Sicherheitslösung, die aus diesen Ergebnissen lernt, sollte die Suche von der Bewertung trennen:

1. Breit suchen: Ein oder mehrere kostengünstige Agenten untersuchen die Codebasis und maximieren die Zahl möglicher Treffer.
2. Untersuchungsstatus speichern: Das System dokumentiert geprüfte Dateien, getestete Hypothesen und bereits gemeldete Befunde.
3. Doppelte Meldungen zusammenführen: Berichte über denselben zugrunde liegenden Fehler werden dedupliziert.
4. Präzisionsorientiert validieren: Ein weiteres Modell prüft, ob die vermutete Schwachstelle tatsächlich erreichbar und sicherheitsrelevant ist.
5. Schwierige Fälle eskalieren: Für mehrdeutige Exploit-Ketten kommt ein stärkeres Reasoning-Modell oder eine spezialisierte Untersuchung zum Einsatz.
6. Menschen einbeziehen: Folgenreiche Befunde sollten vor Behebung, Offenlegung oder automatisierten Eingriffen bestätigt werden.

Dieses Routing nach Aufgaben ist robuster, als offene und geschlossene Modelle einfach als austauschbare Einzelkomponenten zu behandeln.

Die Grenzen des Benchmarks

Die Ergebnisse von Aikido sind nützlich, aber keine allgemeingültige Rangliste für Sicherheitsmodelle. Getestet wurden 32 kürzlich veröffentlichte Schwachstellen, drei Versuche pro Modell und ein bestimmtes Agenten-Framework. Die Leistung kann sich je nach Programmiersprache, Repository-Struktur, Werkzeugzugriff, Bedrohungsmodell, Untersuchungsbudget und Toleranz gegenüber Fehlalarmen verändern. 3

Eine belastbare Schlussfolgerung ist daher enger gefasst: In diesem Test konnten Open-Weight-Modelle – insbesondere DeepSeek V4 Pro – geschlossene Frontier-Modelle bei der kombinierten Suche einholen oder übertreffen, wenn sie mit Wiederholungen und guter Orchestrierung eingesetzt wurden.

Das beste Sicherheitsprodukt ist folglich nicht zwangsläufig das Modell mit der höchsten Schlagzeilenzahl. Es ist das System, das breite Suche, zuverlässige Prüfung und Belege verbindet, mit denen Sicherheitsteams tatsächlich arbeiten können.