Därför säger AI-rankningarna olika om GPT-6 Astra

Benchmark-rubriker kan få GPT-6 Astra att framstå som överlägset, jämbördigt eller klart efter andra modeller – samtidigt. Det är främst en metodfråga. Ett sammansatt index, ett interaktivt agenttest, ett formellt matematikprov och API-priser mäter olika system under olika villkor.

Den praktiska slutsatsen är därför inte att något resultat måste vara fel. Det finns ingen universell modellranking utan att man först anger arbetsuppgift och utvärderingsupplägg.

En ledartavla är ett mätsystem, inte en intelligensmätare

Sammansatta index väger ihop många deltest till en enda siffra. Utfallet beror på vilka uppgifter som ingår, hur de viktas, vilken modellkonfiguration som testas och hur resonemangstid, verktygsanvändning och kostnad hanteras. En modell som är bred och stark över många områden kan vinna ett index men hamna efter i ett kodtungt eller agentinriktat test.

Poängen är också känsliga för tidpunkt och konfiguration. Den tillhandahållna jämförelsen från Artificial Analysis anger exempelvis 55 för GPT-6 Astra (max) och 57 för Claude Fable 5.1 – inte 61 respektive 66, som förekom i tidigare jämförelseartiklar. 3 Skillnaden visar varför man bör notera exakt testdatum och inställning, i stället för att behandla en enskild ögonblicksbild som en permanent tabellplacering.

Den påstådda förstaplatsen i Epoch AI:s Capabilities Index med 169 poäng stöds inte av det tillgängliga primärmaterialet från Epoch. Den uppgiften bör därför inte användas som avgörande jämförelse utan den underliggande ledartavlan, benchmarkvikterna, modellinställningarna och information om osäkerhet.

ARC-AGI-3: testmiljön förändrade resultatet

ARC-AGI-3 är ett interaktivt benchmark, inte en samling statiska frågor. Agenterna ska utforska obekanta miljöer, upptäcka mål, bygga anpassningsbara modeller av världen och ändra strategi utifrån erfarenhet. 50

ARC Prize rapporterade två särskilt uppmärksammade resultat för GPT-6 Astra på sin Semi-Private-utvärdering:

Testvillkor	Bästa rapporterade resultat	Rapporterad kostnad per körning
Standard harness, maximal resonemangsnivå	62,7 %	26 098 dollar
OpenAI Provider Adapter, hög resonemangsnivå	99,9 %	18 817 dollar, cirka 19 000 dollar

5152

Skillnaden är mer än en teknisk detalj. I Standard harness använder agenten ett minimalt, leverantörsneutralt gränssnitt och kan bara bära med sig anteckningar som den själv uttryckligen väljer att behålla. Provider Adapter kan däremot bevara leverantörens ogenomskinliga resonemangstillstånd mellan anrop och använda kontextkomprimering i längre samtal. 5153

Resultatet med Provider Adapter mäter alltså Astra tillsammans med OpenAI:s inbyggda kontexthantering. Det är en relevant produktegenskap, men inte automatiskt en rättvis direktjämförelse med modeller som endast har testats via ett neutralt gränssnitt. ARC Prize beskriver själv dessa som skilda testvillkor som besvarar olika frågor. 53

ARC Prize uppgav också att Astra använde färre handlingar än medianen bland de testade människorna på 96 % av nivåerna. 52 Det är ett mått på effektivitet i antal handlingar – inte ett belägg för att modellen generellt är bättre än människor i alla typer av arbete. För verkliga arbetsflöden behövs även jämförelser av kvalitet, tillförlitlighet och totalkostnad.

Vad FrontierMath Erdős kan visa – och inte visa

FrontierMath Erdős består av 68 svåra Erdős-problem som fortfarande var olösta i augusti 2026. För att lösa en uppgift måste systemet bevisa eller motbevisa hypotesen i Lean, en formell bevisassistent. Därmed kan inlämnade bevis kontrolleras maskinellt. 3337

Det gör benchmarken ovanligt rigorös för formell matematisk korrekthet. Men ett resultat där är inte en generell rankning av programmering, agentförmåga eller allmänt resonemang. Testet mäter framgång på en smal och mycket krävande uppgift, inom en angiven budget.

Det tillhandahållna primärmaterialet styrker inte det efterfrågade totala antalet Astra-lösningar, skillnader mellan standardiserade och icke-standardiserade körbudgetar eller vilka resultat som eventuellt exkluderades från FrontierMath Erdős. Sådana detaljer bör endast rapporteras från Epochs specifika resultattabell eller utvärderingsrapport – tillsammans med budget och behörighetskriterier.

En separat sida hos Epoch för FrontierMath: Open Problems tillskriver en förlanseringsutvärdering av GPT-6 Astra fyndet av en kurva av genus 2 med 648 rationella punkter. Det är ett separat benchmarkresultat och ska inte blandas ihop med en poäng på FrontierMath Erdős. 43

Tokenpris är inte samma sak som pris per uppgift

OpenAI anger priset för GPT-6 Astra till 10 dollar per miljon indatatoken och 50 dollar per miljon utdatatoken. 19 Jämförelser i de tillhandahållna källorna anger samma ordinarie in- och utpriser för Claude Fable 5.1, men ett lägre pris för cachelästa indatatoken: 0,25 dollar per miljon för Fable, jämfört med 1,00 dollar för Astra. 4

Det leder till två olika kostnadsfrågor:

• Långvariga kodagenter med återanvänd projektkontext: Lägre pris för cacheläsning kan få stor betydelse, om arbetsflödet faktiskt utnyttjar caching.
• Kostnad för en färdig uppgift: En modell kan ändå bli billigare om den når rätt resultat med färre utdatatoken, verktygsanrop, försök, handlingar eller mänskliga ingripanden.

OpenAI uppger att Astra i flera av företagets utvärderingar nådde lägre uppskattad API-kostnad per uppgift genom att använda väsentligt färre utdatatoken. 18 Det är leverantörsrapporterad evidens, inte en allmän garanti. Varken en benchmarkpoäng eller ett tokenpris kan på egen hand avgöra vilken modell som blir billigast för ett visst kodprojekt eller agentflöde.

Så jämför du modeller utan att vilseledas

Innan du väljer mellan Astra, Claude Fable 5.1 och GPT-5.6 Sol bör du definiera arbetet och göra villkoren jämförbara:

1. Matcha arbetsuppgiften. Utvärdera underhåll av kodbaser, webbläsarautomation, research, formella bevis och dokumentarbete var för sig.
2. Lås inferenspolicyn. Använd jämförbar resonemangsnivå, tokenbegränsning, verktygsbehörighet och regler för återförsök.
3. Håll isär modell och integration. Redovisa resultat i neutrala testmiljöer bredvid leverantörsanpassade resultat, i stället för att slå ihop dem till en siffra.
4. Mät framgång per krona. Följ korrekta lösningar, svarstid, återförsök, cacheanvändning och behov av mänsklig granskning – inte bara tokenpriser.
5. Bevara osäkerheten. Små indexskillnader och ändrade konfigurationer kräver försiktig tolkning, särskilt när den offentliga dokumentationen är ofullständig.

Astra-resultatet på 99,9 % med ARC-AGI-3:s Provider Adapter är uppseendeväckande, och resultatet på 62,7 % i standardmiljön är fortfarande starkt. Men inget av dem upphäver ett oberoende index där en annan modell gynnas av en annan uppgiftsmix och konfiguration. Den användbara frågan är inte ”vilken modell vann?”, utan: ”vilket utvärderat upplägg liknar mest det arbete som systemet faktiskt ska utföra?”