DeepSeek V4 Pro topper Aikidos benchmark for AI-sikkerhed – men systemet er vigtigere end modellen

Aikidos benchmark fra august 2026 testede 10 AI-modeller mod 32 nyligt offentliggjorte sårbarheder. Hver model blev kørt tre gange, og resultaterne blev analyseret med fokus på blandt andet recall, precision, konsistens og omkostninger. DeepSeek V4 Pro 0813 førte med 28 af 32 fund til cirka 295 dollar, men den bredere konklusion handler mindre om at kåre én vinder og mere om at bygge et system, der kombinerer gentagne undersøgelser, validering og modelspecialisering. 3

DeepSeek Pro fandt flest sårbarheder

DeepSeek V4 Pro 0813 nåede 28 af 32 sårbarheder, svarende til 87,5 procent samlet recall, når resultaterne fra tre kørsler blev lagt sammen. Det gør modellen til benchmarkens stærkeste i den indledende opdagelsesfase.

Tallet skal dog læses som et såkaldt pass@3-resultat – ikke som bevis på, at én enkelt kørsel pålideligt finder 28 sårbarheder.

Forskellige kørsler kan undersøge forskellige filer, angrebsveje og hypoteser om, hvordan en sårbarhed kan udnyttes. Når resultaterne samles, bliver dækningen større, fordi systemet får fordel af denne søgevariation. I praksis taler resultatet for at køre flere uafhængige undersøgelser i stedet for at betragte modellens første svar som en komplet sikkerhedsanalyse. 3

Sådan adskilte modellerne sig

DeepSeek V4 Pro 0813: stærkest til bred opdagelse

Tre kørsler med DeepSeek Pro dækkede 28 af 32 sårbarheder til en samlet pris på cirka 295 dollar. Modellens styrke var bredden: Den fandt flere af benchmarkens sårbarheder, når undersøgelserne blev kombineret.

Det gør den velegnet til første trin i et sikkerhedsworkflow. Fundene skal stadig valideres med dokumentation, deduplikeres og vurderes efter alvor, før de bør blive til alarmer i et produktionssystem.

DeepSeek V4 Flash 0731: billig parallel afsøgning

Tre kørsler med Flash fandt 24 af 32 sårbarheder til omkring 108 dollar. Det giver den mindre model et attraktivt forhold mellem dækning og pris og gør den velegnet til billige parallelle scanninger eller ekstra kørsler.

Flash er ikke nødvendigvis den bedste afsluttende kontrollør. Modellens praktiske værdi ligger i at øge antallet af undersøgelser inden for et fast budget og derefter sende de samlede fund videre til et mere selektivt valideringstrin. 3

Grok 4.6: den mest konsistente model

Grok 4.6 skilte sig ud ved sin gentagelighed: 21 sårbarheder blev fundet i alle tre kørsler. Det er vigtigt, når sikkerhedsteams har brug for forudsigelig adfærd, stabile rapporter og færre overraskelser fra scanning til scanning.

Styrken er en anden end DeepSeek Pros. En meget konsistent model kan være det bedste valg til løbende overvågning eller standardiserede workflows, selv om en mere udforskende model opnår højere samlet recall.

Claude Opus 5 og GPT-5.6 Sol: stærke alternativer

Claude Opus 5 nåede 26 af 32 i samlet recall, mens GPT-5.6 Sol nåede 25 af 32. Begge var fortsat stærke modeller, men resultaterne udfordrede antagelsen om, at den dyreste lukkede model nødvendigvis giver den bedste dækning af sårbarheder.

Grunden til at vælge en af modellerne bør derfor ikke alene være brandet eller dens generelle benchmarkomdømme. Teams bør vurdere, om modellens ræsonnement, rapportering eller evne til at gennemgå fund tilfører værdi i resten af sikkerhedspipelinen. 3

Kimi K3: præcision til kontrol og prioritering

Kimi K3’s mest markante resultat var 92,3 procent samlet precision. Precision måler, hvor stor en andel af de rapporterede fund der blev accepteret – ikke hvor mange sårbarheder modellen fandt i alt.

Det gør Kimi nyttig i en anden rolle end en model, der søger så bredt som muligt. En agent med høj recall kan afsøge store områder og acceptere mere støj, mens en model med høj precision kan hjælpe med at verificere fund, udarbejde rapporter og begrænse antallet af alarmer, der ender hos udviklerne.

Qwen3.8-Max: Gentagelser kan både spilde tid og afsløre noget nyt

Aikido observerede, at Qwen3.8-Max vendte tilbage til den samme CVE eller det samme ræsonnementsspor. Det er ineffektivt, hvis det bruger undersøgelsestrin uden at øge dækningen. Men en ekstra gennemgang kan også være nyttig, hvis den afslører en overset betingelse, angrebsvej eller detalje i valideringen.

Den praktiske løsning ligger i selve agentens styringslag: Systemet bør vide, hvad der allerede er testet, gentagne grene bør have klare begrænsninger, og uafklarede sager bør sendes til en ny undersøgelse i stedet for automatisk at blive afspillet.

GLM-5.3: en billig komponent i et ensemble

GLM-5.3 forbedrede sig fra 24 af 32 til 25 af 32 i den opdaterede sammenligning, samtidig med at modellen havde en lavere prisprofil end de lukkede frontier-alternativer, der blev diskuteret i benchmarken.

Det placerer den som en interessant kandidat til opgaver i stor skala eller som en del af et ensemble – især når organisationer kan bruge lavere omkostninger og større fleksibilitet til at køre flere undersøgelser.

Recall, precision og konsistens måler forskellige ting

Et system til at finde sårbarheder bør ikke reducere alle resultater til ét tal på en rangliste:

• Recall: Hvor mange af de kendte sårbarheder fandt systemet igen?
• Precision: Hvor mange af de indsendte fund blev accepteret?
• Konsistens: Hvor ofte fandt separate kørsler de samme sårbarheder?
• Omkostningseffektivitet: Hvor meget kostede det at skabe validerede fund?

Målene beskriver forskellige behov i driften. Opdagelse kræver høj recall og forskellige undersøgelsesstrategier. Produktionsalarmer kræver høj precision, reproducerbar dokumentation, deduplikering og en brugbar risikorangering.

En model, der er fremragende til at finde mulige problemer, kan derfor være et dårligt valg til at sende ubekræftede alarmer direkte til udviklerne.

Derfor ændrede gentagne kørsler konklusionen

Benchmarkens vigtigste systemlæring er, at modellernes resultater var stokastiske. En enkelt kørsel prøver kun én undersøgelsesvej, mens flere uafhængige kørsler øger chancen for, at systemet udforsker forskellige hypoteser.

Det er forklaringen på, at tre forholdsvis billige DeepSeek-kørsler kunne matche eller overgå den samlede dækning fra én kørsel med dyrere frontier-modeller. Den relevante enhed er ikke kun selve modelkaldet. Det er hele undersøgelsen: model, værktøjer, prompt, grænse for antal trin, hukommelse, gentagelser og valideringsproces. 3

Sådan kan et praktisk sikkerhedsworkflow se ud

Et system baseret på resultaterne bør adskille opdagelse fra vurdering:

1. Afsøg bredt. Kør en eller flere omkostningseffektive agenter på kodebasen for at maksimere antallet af mulige fund.
2. Hold styr på undersøgelsen. Registrér undersøgte filer, testede hypoteser og allerede rapporterede fund, så agenterne ikke bruger tid på den samme vej.
3. Deduplikér fund. Slå rapporter sammen, når de beskriver den samme underliggende fejl, før de tælles eller sendes videre.
4. Validér med en præcisionsorienteret model. Kræv dokumentation for, at den mistænkte fejl kan udløses og har reel betydning.
5. Eskaler vanskelige sager. Brug en stærkere ræsonnerende model eller en specialiseret undersøgelse til uklare angrebskæder.
6. Bevar menneskelig kontrol. Alvorlige fund bør bekræftes, før de udløser udbedring, offentliggørelse eller automatisk håndhævelse.

Denne modelrute er mere robust end at behandle open-weight- og lukkede modeller som direkte udskiftelige komponenter.

Benchmarken har også begrænsninger

Aikidos resultater er nyttige, men de udgør ikke en universel rangliste over AI-modeller til cybersikkerhed. Testen omfattede 32 nyligt offentliggjorte sårbarheder, tre forsøg pr. model og en bestemt agentstruktur. Resultaterne kan ændre sig afhængigt af programmeringssprog, repository-struktur, værktøjsadgang, trusselsmodel, undersøgelsesbudget og organisationens tolerance over for falske positiver. 3

Den mest holdbare konklusion er derfor mere afgrænset: I denne opsætning kunne open-weight-modeller – især DeepSeek V4 Pro – matche eller overgå lukkede frontier-modeller, når de blev kombineret med gentagelser og orkestrering.

Det vindende sikkerhedsprodukt er ikke nødvendigvis modellen med den højeste overskriftsscore. Det er systemet, der kombinerer bred opdagelse, pålidelig validering og dokumentation, som udviklere faktisk kan handle på.