Miksi GPT-6 Astran benchmark-sijoitukset eivät kerro samaa tarinaa?

Benchmark-otsikot voivat saada GPT-6 Astran näyttämään samanaikaisesti ylivoimaiselta, tasaväkiseltä ja jälkeen jäävältä. Näennäinen ristiriita on pääosin menetelmällinen: koostettu johtotaulukko, interaktiivinen agenttitesti, muodollisen matematiikan benchmark ja API-hinnoittelu arvioivat eri järjestelmiä eri rajoitteilla.

Käytännön johtopäätös ei ole, että yhden tuloksen täytyisi olla väärä. Yleispätevää mallijärjestystä ei ole ilman tarkkaa kuvausta työkuormasta ja arviointiasetelmasta.

Johtotaulukon pistemäärä ei ole yksi älykkyysmittari

Koosteindeksit yhdistävät useita tehtäviä yhdeksi luvuksi. Lopputulos riippuu siitä, mitkä tehtävät ovat mukana, miten niitä painotetaan, millä mallikokoonpanolla testi tehdään sekä miten päättelypanos, työkalujen käyttö ja kustannukset käsitellään. Malli, joka on vahva laajalla kyvykkyysalueella, voi johtaa yhdessä koosteessa mutta jäädä jälkeen koodaus- tai agenttipainotteisessa indeksissä.

Siksi pistemäärät ovat herkkiä myös ajankohdalle ja malliasetuksille. Toimitettu Artificial Analysisin vertailu antaa esimerkiksi GPT-6 Astra (max) -mallille 55 pistettä ja Claude Fable 5.1:lle 57 pistettä – ei aiemmissa vertailuartikkeleissa esiintyneitä 61:tä ja 66:ta. 3 Ero on hyvä muistutus siitä, että arvioinnin tarkka asetelma ja päivämäärä on kirjattava ylös: yksittäinen tilannekuva ei ole pysyvä paremmuusjärjestys.

Väitettä Epoch AI:n 169 pisteen Capabilities Index -sijoituksesta tai sen menetelmistä ei voi vahvistaa käytettävissä olevista Epochin ensisijaisista lähteistä. Sitä ei pidä käyttää ratkaisevana vertailuna ilman varsinaista johtotaulukkoa, benchmark-painoja, malliasetuksia ja epävarmuustietoja.

ARC-AGI-3:ssa arviointikehys muutti tulosta

ARC-AGI-3 on interaktiivinen benchmark, ei staattinen kysymyssarja. Agentin on tutkittava uusia ympäristöjä, omaksuttava tavoitteita, rakennettava mukautuva maailmamalli ja muutettava strategiaansa kokemuksen perusteella. 50

ARC Prize raportoi GPT-6 Astralle kaksi poikkeuksellista tulosta Semi-Private-arvioinnissa:

Arviointiehto	Paras raportoitu tulos	Raportoitu kustannus ajoa kohti
Standard-harness, maksimaalinen päättely	62,7 %	26 098 $
OpenAI Provider Adapter, korkea päättely	99,9 %	18 817 $ (raportoitu myös noin 19 000 $)

5152

Ero ei ole vähäinen tekninen yksityiskohta. Standard-harnessissa agentti käyttää minimaalista, palveluntarjoajaneutraalia käyttöliittymää ja voi säilyttää vain muistiinpanot, jotka se itse päättää viedä mukanaan seuraaviin vaiheisiin. Provider Adapter voi säilyttää pyyntöjen välillä palveluntarjoajan läpinäkymättömän päättelytilan ja käyttää kontekstin tiivistämistä pitkissä keskusteluissa. 5153

Provider Adapter -tulos mittaa siis Astran suorituskykyä yhdessä OpenAI:n oman kontekstinhallintaintegraation kanssa. Se on merkityksellinen tuotteen ominaisuus, mutta sitä ei voi automaattisesti verrata suoraan malleihin, joita on testattu vain neutraalin käyttöliittymän kautta. ARC Prize käsittelee näitä eri arviointioloina, jotka vastaavat eri kysymyksiin. 53

ARC Prize raportoi lisäksi, että Astra käytti 96 %:lla tasoista vähemmän toimintoja kuin testattujen ihmisten mediaani. 52 Tämä on toiminto-tehokkuutta mittaava tulos. Se ei tarkoita, että malli olisi yleisesti ihmisiä parempi kaikessa työssä, eikä se korvaa todelliseen työnkulkuun perustuvaa vertailua tehtävien valmistumisesta, luotettavuudesta ja kokonaiskustannuksista.

Mitä FrontierMath Erdős kertoo – ja mitä ei

FrontierMath Erdős sisältää 68 vaikeaa Erdősin ongelmaa, jotka olivat avoimia elokuussa 2026. Tehtävän ratkaisemiseksi järjestelmän on todistettava tai kumottava väite Lean-todistusavustajassa, jolloin toimitettu todistus voidaan tarkistaa koneellisesti. 3337

Tämä tekee benchmarkista erityisen tiukan muodollisen matemaattisen oikeellisuuden mittarin. Matematiikkatulos ei kuitenkaan muutu kokonaisarvioksi koodauksesta, agenteista tai yleisestä päättelystä. Testi mittaa onnistumista kapeassa mutta vaativassa muodollisen todistamisen tehtävässä ilmoitetulla budjetilla.

Toimitettu ensisijainen lähdeaineisto ei vahvista Astran ratkaisemien tehtävien kokonaismäärää, standardoitujen ja ei-standardoitujen ajojen budjetteja tai sitä, mitä tuloksia FrontierMath Erdős -arvioinnista jätettiin pois. Näistä yksityiskohdista tulisi raportoida vain Epochin varsinaisen tulostaulukon tai arviointiraportin perusteella siten, että budjetti ja kelpoisuusehdot ovat mukana.

Erillinen Epochin FrontierMath: Open Problems -sivu kertoo Astran julkaisua edeltäneessä arvioinnissa löytäneen genuksen 2 käyrän, jolla on 648 rationaalista pistettä. Kyse on eri benchmark-tuloksesta, eikä sitä pidä sekoittaa FrontierMath Erdős -pistemäärään. 43

Token-hinta ei ole tehtävähinta

OpenAI ilmoittaa GPT-6 Astran hinnaksi 10 dollaria miljoonalta syötetokenilta ja 50 dollaria miljoonalta tulostokenilta. 19 Toimitettujen vertailulähteiden mukaan Claude Fable 5.1:llä on samat nimelliset syöte- ja tulostehinnat, mutta välimuistista luettavan syötteen hinta on 0,25 dollaria miljoonalta tokenilta, kun Astralla se on 1,00 dollari. 4

Tästä seuraa kaksi erilaista kustannuskysymystä:

• Pitkäkestoiset koodausagentit, joissa samaa repositoriokontekstia käytetään toistuvasti: edullisempi välimuistilukeminen voi pienentää kustannuksia olennaisesti, jos työkuorma todella hyötyy välimuistista.
• Valmiin tehtävän kustannus: malli voi silti olla halvempi, jos se pääsee oikeaan tulokseen vähemmillä tulostokeneilla, työkalukutsuilla, uusintayrityksillä, toiminnoilla tai ihmisen väliintuloilla.

OpenAI:n mukaan Astra saavutti useissa sen arvioinneissa pienemmän arvioidun API-kustannuksen tehtävää kohti käyttämällä huomattavasti vähemmän tulostokeneita. 18 Kyse on valmistajan raportoimasta näytöstä, ei yleisestä takuusta. Benchmark-pistemäärä ja token-hinta eivät yksin osoita, kumpi malli on halvempi tietyssä koodikannassa tai agenttityönkulussa.

Näin malleja kannattaa verrata ilman harhaanjohtavia otsikoita

Ennen kuin valitset Astran, Claude Fable 5.1:n tai GPT-5.6 Solin, määrittele tehtävä ja yhtenäistä arviointiolosuhteet:

1. Sovita testi työkuormaan. Arvioi erikseen esimerkiksi repositorion ylläpitoa, selaimen automaatiota, tutkimusta, muodollisia todistuksia ja asiakirjatyötä.
2. Lukitse päättelykäytäntö. Käytä vertailukelpoista päättelypanosta, token-rajoja, työkaluoikeuksia ja uusintayrityssääntöjä.
3. Erota mallin kyvykkyys integraation kyvykkyydestä. Raportoi neutraalin kehyksen tulokset palveluntarjoajakohtaisten tulosten rinnalla sen sijaan, että yhdistäisit ne yhdeksi sijoitukseksi.
4. Mittaa onnistumista euroa tai dollaria kohti. Seuraa oikeita valmistuneita tehtäviä, viivettä, uusintayrityksiä, välimuistin käyttöä ja tarvittavaa ihmistarkastusta – älä vain token-hintoja.
5. Säilytä epävarmuus näkyvissä. Pieniin indeksieroihin ja muuttuviin asetuksiin pitää suhtautua varovasti, erityisesti silloin kun julkinen näyttö on puutteellista.

Astran ARC-AGI-3 Provider Adapter -tulos on huomattava, ja myös standardikehyksen tulos on vahva. Kumpikaan ei silti kumoa riippumatonta indeksiä, jossa toinen malli pärjää paremmin eri tehtäväpainotuksella ja kokoonpanolla. Hyödyllinen kysymys ei ole ”mikä malli voitti?”, vaan: ”mikä arvioitu asetelma vastaa lähimmin sitä työtä, jota järjestelmän on oikeasti tehtävä?”