Derfor spriker benchmark-rangeringene for GPT-6 Astra

Benchmark-overskrifter kan få GPT-6 Astra til å fremstå som klart best, jevnbyrdig eller bak konkurrentene – på samme tid. Det er først og fremst et spørsmål om metode: En sammensatt resultatliste, en test av interaktive agenter, en formell matematikkbenchmark og API-priser vurderer ulike systemer under ulike rammer.

Den praktiske konklusjonen er ikke at ett resultat nødvendigvis er feil. Det finnes rett og slett ingen universell modellrangering uten at man oppgir arbeidsoppgaven og testoppsettet.

En topplistescore er et måledesign – ikke én intelligensmåler

Sammensatte indekser slår flere oppgaver sammen til ett tall. Resultatet avhenger av hvilke oppgaver som er med, hvordan de vektes, hvilken modellkonfigurasjon som testes, og hvordan resonneringsinnsats, verktøybruk og kostnad håndteres. En modell som er sterk på bredde, kan dermed lede i én samleindeks og samtidig ligge bak i en indeks med særlig vekt på programmering eller agentarbeid.

Poengsummer er også følsomme for tidspunkt og konfigurasjon. Den tilgjengelige sammenligningen fra Artificial Analysis oppgir for eksempel GPT-6 Astra (max) til 55 og Claude Fable 5.1 til 57 – ikke 61 og 66, som enkelte tidligere sammenligningsartikler har rapportert. 3 Spriket er en god grunn til å notere nøyaktig testkonfigurasjon og dato, i stedet for å behandle ett øyeblikksbilde som en varig rangering.

Påstanden om en 169-poengs Capabilities Index fra Epoch AI og førsteplass blant 267 modeller er ikke underbygget av det tilgjengelige primærkildematerialet fra Epoch. Den bør ikke brukes som en avgjørende sammenligning uten selve topplisten, vektingen av benchmarkene, modellinnstillingene og informasjon om usikkerhet.

ARC-AGI-3: Testharnesset endret resultatet

ARC-AGI-3 er en interaktiv benchmark, ikke et sett med statiske spørsmål. Agentene må utforske ukjente miljøer, oppdage mål underveis, bygge tilpasningsdyktige modeller av omgivelsene og endre strategi på grunnlag av erfaring. 50

ARC Prize rapporterte to fremtredende resultater for GPT-6 Astra på sin Semi-Private-evaluering:

Testbetingelse	Beste rapporterte score	Rapportert kostnad per kjøring
Standard harness, maks resonnering	62,7 %	26 098 dollar
OpenAI Provider Adapter, høy resonnering	99,9 %	18 817 dollar (oppgitt som om lag 19 000 dollar)

5152

Forskjellen er ikke en ubetydelig teknisk detalj. Med Standard harness bruker agenten et minimalt, leverandørnøytralt grensesnitt og kan bare ta med seg notater den selv velger å beholde. Provider Adapter kan derimot bevare leverandørens ugjennomsiktige resonneringstilstand mellom forespørsler og bruke kontekstkomprimering i lange samtaler. 5153

Scoren med Provider Adapter måler dermed Astra sammen med OpenAIs innebygde kontekststyring. Det er en reell produktkapasitet, men ikke automatisk en rettferdig sammenligning med modeller som bare er testet gjennom det nøytrale grensesnittet. ARC Prize beskriver uttrykkelig de to harnessene som ulike testbetingelser som besvarer forskjellige spørsmål. 53

ARC Prize rapporterte også at Astra brukte færre handlinger enn medianen blant testede mennesker på 96 % av nivåene. 52 Det er et mål på handlingseffektivitet – ikke en påstand om at modellen generelt er bedre enn mennesker i alt arbeid, og heller ikke en erstatning for å måle oppgavefullføring, pålitelighet og total kostnad i en virkelig arbeidsflyt.

Hva FrontierMath Erdős kan – og ikke kan – slå fast

FrontierMath Erdős består av 68 vanskelige Erdős-problemer som var uløste i august 2026. For å løse en oppgave må systemet bevise eller motbevise formodningen i bevisassistenten Lean, slik at innsendte bevis kan verifiseres maskinelt. 3337

Dette gjør benchmarken uvanlig streng når det gjelder formell matematisk korrekthet. Men et matematikkresultat blir ikke av den grunn en totalrangering for programmering, agenter eller generell resonnering. Den måler suksess på en smal og krevende oppgave innenfor et oppgitt budsjett.

Det tilgjengelige primærkildematerialet dokumenterer ikke det etterspurte samlede antallet Astra-løsninger, standardiserte kontra ikke-standardiserte kjøringsbudsjetter eller hvilke resultater som ble utelatt fra FrontierMath Erdős-evalueringen. Slike detaljer bør bare omtales med Epochs konkrete resultatoversikt eller evalueringsrapport, og da sammen med budsjett og kriterier for hva som er kvalifisert.

En egen Epoch-side for FrontierMath: Open Problems oppgir at en forhåndslanseringsevaluering av GPT-6 Astra fant en kurve av genus 2 med 648 rasjonale punkter. Dette er et separat benchmarkresultat og må ikke blandes sammen med en score på FrontierMath Erdős. 43

Tokenpris er ikke det samme som oppgavepris

OpenAI oppgir en pris for GPT-6 Astra på 10 dollar per million inndata-tokener og 50 dollar per million utdata-tokener. 19 Sammenligningsomtale i de oppgitte kildene sier at Claude Fable 5.1 har de samme listeprisene for inn- og utdata, men at hurtigbufferleste inndata koster 0,25 dollar per million tokener mot 1,00 dollar for Astra. 4

Det gir to ulike kostnadsspørsmål:

• Langvarige kodeagenter med gjentatt repository-kontekst: Lavere pris for lesing fra hurtigbuffer kan redusere kostnaden betydelig, dersom arbeidslasten faktisk drar nytte av caching.
• Kostnad per fullførte oppgave: En modell kan likevel bli billigere dersom den når et korrekt resultat med færre utdata-tokener, verktøykall, nye forsøk, handlinger eller behov for menneskelig oppfølging.

OpenAI sier at Astra i flere av selskapets evalueringer oppnådde lavere anslått API-kostnad per oppgave ved å bruke vesentlig færre utdata-tokener. 18 Dette er leverandørrapportert dokumentasjon, ikke en generell garanti. Verken en benchmarkscore eller tokenpris alene kan bevise hvilken modell som er billigst for et bestemt kodeprosjekt eller en bestemt agentarbeidsflyt.

Slik sammenligner du modeller uten å bli villedet

Før du velger mellom Astra, Claude Fable 5.1 og GPT-5.6 Sol, bør oppgaven defineres og vilkårene normaliseres:

1. Match arbeidslasten. Test vedlikehold av kodebaser, nettleserautomatisering, research, formelle bevis og dokumentarbeid hver for seg.
2. Lås inferansepolitikken. Bruk sammenlignbar resonneringsinnsats, tokenrammer, verktøytillatelser og regler for nye forsøk.
3. Skill modellkvalitet fra integrasjonskvalitet. Rapporter resultater fra nøytralt harness ved siden av leverandørspesifikke resultater, i stedet for å slå dem sammen til én rangering.
4. Mål suksess per krone eller dollar. Følg med på korrekte fullføringer, ventetid, nye forsøk, cachebruk og nødvendig menneskelig kontroll – ikke bare tokenpriser.
5. Ta vare på usikkerheten. Små forskjeller i indeksresultater og stadig skiftende konfigurasjoner bør tolkes varsomt, særlig når den offentlige dokumentasjonen er ufullstendig.

Astra-resultatet med ARC-AGI-3 Provider Adapter er oppsiktsvekkende, og resultatet i standardharnesset er fortsatt sterkt. Men ingen av dem opphever en uavhengig indeks som favoriserer en annen modell med en annen oppgavemiks og konfigurasjon. Det nyttige spørsmålet er ikke «Hvilken modell vant?», men «Hvilket testede oppsett ligner mest på arbeidet systemet faktisk skal utføre?»