DeepSeek V4 Pro löysi eniten haavoittuvuuksia – mutta ratkaisevaa on koko järjestelmä

Aikidon elokuussa 2026 tekemässä vertailussa kymmenen tekoälymallia testattiin 32 hiljattain julkistetulla haavoittuvuudella. Jokainen malli sai kolme internetistä eristettyä, enintään 30 vuoron tutkimusajoa. Kun ajot yhdistettiin, DeepSeek V4 Pro 0813 löysi 28 haavoittuvuutta eli 87,5 prosenttia testijoukon löydöistä noin 295 dollarin kustannuksella. 3

Tulos on näyttävä, mutta sitä ei pidä tulkita niin, että malli löytäisi 28 haavoittuvuutta luotettavasti yhdellä käynnistyksellä. Kyseessä on kolmen ajon yhteenlaskettu pass@3-tulos: eri ajot voivat tutkia eri tiedostoja, koodipolkuja ja hyväksikäyttöhypoteeseja. Keskeinen opetus ei siis ole yhden voittajamallin valinta, vaan se, miten koko tutkimusjärjestelmä rakennetaan.

DeepSeek Pro johti haavoittuvuuksien löytämisessä

DeepSeek V4 Pro 0813 saavutti kolmen ajon yhteistuloksena 28/32 haavoittuvuutta eli 87,5 prosentin recall-arvon. Recall kertoo, kuinka suuren osan tunnetuista haavoittuvuuksista järjestelmä löytää uudelleen.

Mallin vahvuus oli ennen kaikkea laaja kattavuus. Kun tutkimuksia ajettiin useita kertoja, järjestelmä sai mahdollisuuden kokeilla toisistaan poikkeavia etenemisreittejä. Tämä tukee käytännössä ajatusta, että tietoturvatarkastuksessa kannattaa tehdä useita itsenäisiä tutkimuksia sen sijaan, että ensimmäistä mallin vastausta pidetään valmiina auditointina. 3

Löydöt on silti vielä validoitava, yhdistettävä päällekkäisyyksien poistamiseksi ja arvioitava vakavuuden mukaan ennen kuin niistä tehdään tuotantohälytyksiä.

Mallit olivat hyviä eri asioissa

DeepSeek V4 Flash: paljon etsintää pienemmällä hinnalla

DeepSeek V4 Flash 0731 löysi kolmella ajolla 24 haavoittuvuutta 32:sta noin 108 dollarilla. Se tekee mallista kiinnostavan vaihtoehdon rinnakkaisiin, edullisiin skannauksiin ja lisäajoihin.

Flash ei välttämättä ole paras lopullinen tarkastaja. Sen arvo on siinä, että samalla budjetilla voidaan tehdä useampia tutkimusyrityksiä ja siirtää yhdistetyt havainnot tarkempaan varmennusvaiheeseen. 3

Grok 4.6 oli johdonmukaisin

Grok 4.6 erottui toistettavuudellaan: 21 haavoittuvuutta löytyi kaikissa kolmessa ajossa. Tämä on tärkeää organisaatioille, jotka tarvitsevat ennakoitavaa toimintaa, vakaita raportteja ja mahdollisimman vähän vaihtelua tarkastuksesta toiseen.

Grok vahvistaa eri asiaa kuin DeepSeek Pro. Tutkivassa haussa korkeampi kokonaiskattavuus voi olla tärkeintä, mutta jatkuvassa valvonnassa johdonmukainen malli voi olla käytännöllisempi.

Claude Opus 5 ja GPT-5.6 Sol pysyivät kärkijoukossa

Claude Opus 5 saavutti yhdistetyissä ajoissa 26/32 ja GPT-5.6 Sol 25/32. Molemmat olivat vahvoja vaihtoehtoja, mutta tulokset haastavat oletuksen, jonka mukaan kalleimman suljetun mallin pitäisi automaattisesti löytää eniten haavoittuvuuksia.

Mallia ei siksi kannata valita pelkän brändin tai yleisten vertailutulosten perusteella. Olennaista on, tuoko se tietoturvaputkeen lisäarvoa esimerkiksi päättelyssä, raportoinnissa tai löydösten arvioinnissa. 3

Kimi K3 sopi erityisesti varmistamiseen

Kimi K3:n vahvin tulos oli 92,3 prosentin yhdistetty precision-arvo. Precision kertoo, kuinka suuri osa raportoiduista löydöistä hyväksyttiin oikeiksi – ei sitä, kuinka monta haavoittuvuutta malli löysi kaiken kaikkiaan.

Ero on käytännössä tärkeä. Korkean recallin malli voi etsiä laajasti ja tuottaa enemmän kohinaa, kun taas korkean precisionin malli voi auttaa varmistamaan havainnot, laatimaan raportteja ja vähentämään kehittäjille päätyvien turhien hälytysten määrää.

Qwen3.8-Max toisti samoja tutkimuspolkuja

Aikido havaitsi Qwen3.8-Maxin palaavan ajoittain samaan CVE-haavoittuvuuteen tai päättelypolkuun. Se on tehotonta, jos tutkimusvuoroja kuluu jo testattujen hypoteesien toistamiseen. Toisaalta uusi tarkastelu voi joskus paljastaa aiemmin huomaamatta jääneen ehdon, suorituspolun tai varmennustiedon.

Ratkaisu löytyy agentin ohjauskerroksesta eli harnessista. Järjestelmän pitäisi seurata, mitä on jo testattu, rajoittaa toistuvia haaroja ja ohjata ratkaisemattomat tapaukset uuteen tutkimukseen automaattisen uudelleenajon sijaan.

GLM-5.3 oli kustannustehokas työhevonen

GLM-5.3 paransi tulostaan päivitetyssä vertailussa 24/32:sta 25/32:een ja säilytti samalla suljettuja lippulaivamalleja matalamman kustannusprofiilin. Se sopii siten uskottavasti suuren volyymin työkaluksi tai yhdeksi osaksi mallien muodostamaa kokonaisuutta.

Sen hyöty kasvaa erityisesti silloin, kun matalampaa hintaa käytetään useampien tutkimusten ajamiseen yhden kalliin kertayrityksen sijaan.

Recall, precision ja johdonmukaisuus mittaavat eri asioita

Tietoturvajärjestelmää ei kannata arvioida yhden pisteluvun perusteella:

• Recall: Kuinka moni tunnettu haavoittuvuus löydettiin uudelleen?
• Precision: Kuinka moni raportoiduista löydöistä hyväksyttiin oikeaksi?
• Johdonmukaisuus: Kuinka usein eri ajot löysivät samat haavoittuvuudet?
• Kustannustehokkuus: Paljonko validoitujen löydösten tuottaminen maksoi?

Laaja etsintä suosii korkeaa recallia ja erilaisia tutkimusstrategioita. Tuotantohälytykset puolestaan vaativat tarkkuutta, todisteita, päällekkäisten ilmoitusten yhdistämistä ja toimivaa riskien priorisointia.

Malli, joka on erinomainen mahdollisten ongelmien löytämisessä, voi siksi olla huono valinta suoraan kehittäjille lähetettävien, vahvistamattomien hälytysten tuottamiseen.

Miksi toistot muuttivat lopputulosta?

Vertailun tärkein järjestelmätason havainto oli mallien stokastisuus: yksi ajo näkee vain yhden tutkimuspolun. Useampi itsenäinen ajo kasvattaa todennäköisyyttä, että järjestelmä kokeilee erilaisia hypoteeseja.

Siksi kolme suhteellisen edullista DeepSeek-ajoa saattoi kilpailla kalliimpien lippulaivamallien yksittäisen ajon kanssa tai ylittää sen kokonaiskattavuudessa. Merkityksellinen yksikkö ei ole pelkkä mallikutsu, vaan koko tutkimus: malli, työkalut, kehote, vuorobudjetti, muisti, uusinta-ajot ja validointiprosessi. 3

Millainen käytännön työnkulku voisi olla?

Aikidon tulosten perusteella toimiva tietoturvatyönkulku erottaisi etsinnän ja päätöksenteon toisistaan:

1. Etsi laajasti. Aja yhtä tai useampaa kustannustehokasta agenttia koko koodikannan läpi.
2. Seuraa tutkimuksen tilaa. Kirjaa tarkastetut tiedostot, testatut hypoteesit ja jo raportoidut löydöt.
3. Poista päällekkäisyydet. Yhdistä raportit, jotka kuvaavat samaa taustalla olevaa ongelmaa.
4. Varmista löydöt tarkalla mallilla. Edellytä näyttöä siitä, että haavoittuvuus on saavutettavissa ja merkityksellinen.
5. Nosta vaikeat tapaukset erilliseen tutkintaan. Käytä vahvempaa päättelymallia tai tiettyyn hyökkäysketjuun erikoistunutta agenttia.
6. Pidä ihminen mukana päätöksessä. Merkittävät löydöt on vahvistettava ennen korjausta, julkistamista tai automaattisia estotoimia.

Tällainen mallien roolitus on kestävämpi ratkaisu kuin avointen ja suljettujen mallien käsitteleminen toistensa yksinkertaisina korvaajina.

Vertailulla on rajansa

Aikidon tulokset ovat hyödyllisiä, mutta ne eivät muodosta yleispätevää tekoälymallien rankingia. Testissä käytettiin 32 hiljattain julkistettua todellista haavoittuvuutta, kolmea yritystä mallia kohden ja tiettyä agenttijärjestelmää. Tulokset voivat muuttua ohjelmointikielen, koodivaraston rakenteen, käytettävissä olevien työkalujen, uhkamallin, tutkimusbudjetin ja väärien positiivisten hälytysten sietokyvyn mukaan. 3

Kapeampi mutta perustellumpi johtopäätös on tämä: tässä testiasetelmassa avoimilla painoilla toimivat mallit, erityisesti DeepSeek V4 Pro, pystyivät kilpailemaan suljettujen lippulaivamallien kanssa tai päihittämään ne, kun käytössä olivat toistot ja hyvä orkestrointi.

Tietoturvan voittava tuote ei siis välttämättä ole malli, jolla on korkein otsikkoluku. Se on järjestelmä, joka yhdistää laajan etsinnän, luotettavan varmennuksen ja sellaiset todisteet, joiden perusteella insinöörit voivat toimia.