Waarom de benchmarkranglijsten van GPT-6 Astra elkaar tegenspreken

Kopregels over benchmarks kunnen GPT-6 Astra tegelijk als koploper, gelijkwaardig en achterblijver laten lijken. Die tegenspraak is vooral methodologisch. Een samengestelde ranglijst, een test voor interactieve agents, een formele-wiskundetest en API-prijzen meten niet hetzelfde — en doen dat bovendien onder verschillende voorwaarden.

De praktische conclusie: er is geen universele modelranglijst zonder eerst vast te leggen welk werk je wilt meten en hoe de evaluatie is uitgevoerd.

Een ranglijstscore is een meetontwerp, geen meter voor algemene intelligentie

Samengestelde indices voegen verschillende taken samen tot één getal. De uitkomst hangt af van de opgenomen taken, hun weging, de geteste modelconfiguratie en de manier waarop redeneerinspanning, tools en kosten worden verwerkt. Een model dat breed sterk presteert, kan een algemene index aanvoeren en toch achterblijven op een index die zwaarder leunt op programmeerwerk of autonome agents.

Ook puntenscores zijn momentopnamen die afhangen van versie en configuratie. De aangeleverde vergelijking van Artificial Analysis zet GPT-6 Astra (max) op 55 en Claude Fable 5.1 op 57 — niet op de 61 en 66 die in sommige eerdere vergelijkingsartikelen staan. 3 Dat verschil is precies waarom datum, modelinstellingen en evaluatieopzet altijd moeten worden vermeld, in plaats van één score als definitieve rangorde te behandelen.

De gestelde eerste plaats op een 169-punten Capabilities Index van Epoch AI wordt niet onderbouwd door het beschikbare primaire bronmateriaal van Epoch. Zonder de onderliggende ranglijst, benchmarkwegingen, modelinstellingen en onzekerheidsinformatie is die bewering geen doorslaggevende vergelijking.

ARC-AGI-3: de testomgeving veranderde de uitkomst

ARC-AGI-3 is geen vaste set vragen, maar een interactieve benchmark. Agents moeten onbekende omgevingen verkennen, ter plekke doelen afleiden, aanpasbare wereldmodellen opbouwen en hun strategie bijstellen op basis van ervaring. 50

ARC Prize rapporteerde voor GPT-6 Astra twee opvallende resultaten op de Semi-Private-evaluatie:

Evaluatievoorwaarde	Beste gerapporteerde score	Gerapporteerde kosten per run
Standard harness, maximale redeneerinspanning	62,7%	$26.098
OpenAI Provider Adapter, hoge redeneerinspanning	99,9%	$18.817 (afgerond circa $19.000)

5152

Dat verschil is geen detail. In de Standard harness werkt een agent via een minimale, providerneutrale interface en kan hij alleen notities meenemen die hij zelf expliciet bewaart. De Provider Adapter kan daarentegen ondoorzichtige reasoning state van de provider tussen verzoeken behouden en contextcompaction gebruiken voor langere gesprekken. 5153

De score met Provider Adapter meet dus Astra samen met OpenAI’s eigen integratie voor contextbeheer. Dat is een relevante producteigenschap, maar niet automatisch één-op-één vergelijkbaar met modellen die alleen via de neutrale interface zijn getest. ARC Prize behandelt de twee harnesses nadrukkelijk als verschillende evaluatievoorwaarden, die verschillende vragen beantwoorden. 53

ARC Prize meldde ook dat Astra op 96% van de levels minder acties gebruikte dan de mediaan van de geteste menselijke deelnemers. 52 Dat is een uitkomst over actie-efficiëntie, niet het bewijs dat het model mensen in alle soorten werk overtreft. Voor een echte werkstroom blijven taakvoltooiing, betrouwbaarheid en totale kosten nodig.

Wat FrontierMath Erdős wél en niet aantoont

FrontierMath Erdős bevat 68 moeilijke vraagstukken van de wiskundige Paul Erdős die in augustus 2026 nog onopgelost waren. Om een opgave op te lossen, moet een systeem het vermoeden bewijzen of weerleggen in de proof assistant Lean; de ingediende bewijzen kunnen daardoor mechanisch worden gecontroleerd. 3337

Dat maakt de benchmark uitzonderlijk streng voor formele wiskundige correctheid. Maar een sterke score op deze test is geen algemene rangschikking voor programmeren, agents of breed redeneren. Het gaat om succes op een afgebakende, zeer veeleisende formele bewijstaak binnen een vastgesteld budget.

Het beschikbare primaire bronmateriaal onderbouwt niet hoeveel problemen Astra in totaal heeft opgelost, welke gestandaardiseerde en niet-gestandaardiseerde runbudgetten golden, of welke resultaten uit de FrontierMath Erdős-evaluatie zijn uitgesloten. Zulke details horen alleen te worden vermeld met Epochs specifieke resultatentabel of evaluatierapport, inclusief budget en toelatingscriteria.

Een afzonderlijke Epoch-pagina over FrontierMath: Open Problems schrijft een pre-release-evaluatie van GPT-6 Astra wel toe dat die een kromme van genus 2 met 648 rationale punten vond. Dat is een ander benchmarkresultaat en mag niet worden verward met een score op FrontierMath Erdős. 43

Tokenprijs is niet hetzelfde als prijs per taak

OpenAI vermeldt voor GPT-6 Astra $10 per miljoen inputtokens en $50 per miljoen outputtokens. 19 Volgens vergelijkingsinformatie in de aangeleverde bronnen hanteert Claude Fable 5.1 dezelfde basistarieven, maar kost gecachte input daar $0,25 per miljoen tokens, tegenover $1,00 voor Astra. 4

Daaruit volgen twee verschillende kostenvragen:

• Langlopende code-agents met herhaald gebruik van repositorycontext: een lager tarief voor cache reads kan de kosten merkbaar drukken, mits de werkstroom daadwerkelijk van caching profiteert.
• Kosten van een afgeronde taak: een model kan alsnog goedkoper zijn wanneer het een correct resultaat bereikt met minder outputtokens, toolaanroepen, herhalingen, acties of menselijke correcties.

OpenAI stelt dat Astra in verschillende eigen evaluaties een lagere geschatte API-kost per taak behaalde doordat het aanzienlijk minder outputtokens gebruikte. 18 Dat is door de leverancier gerapporteerd bewijs, geen algemene garantie. Uit alleen een benchmarkscore of tokenprijs valt niet af te leiden welk model voor een specifieke codebase of agent-workflow het voordeligst is.

Zo vergelijk je modellen zonder misleid te worden

Wie kiest tussen Astra, Claude Fable 5.1 en GPT-5.6 Sol, doet er goed aan de voorwaarden eerst gelijk te trekken:

1. Stem de test af op het werk. Beoordeel repositoryonderhoud, browserautomatisering, onderzoek, formele bewijzen en documentwerk afzonderlijk.
2. Leg het inferentiebeleid vast. Gebruik vergelijkbare redeneerinspanning, tokenlimieten, toolrechten en regels voor opnieuw proberen.
3. Scheid modelkwaliteit van integratiekwaliteit. Rapporteer neutrale-harnessresultaten naast providergebonden resultaten, in plaats van alles samen te persen tot één ranglijst.
4. Meet succes per euro of dollar. Volg correcte afrondingen, latency, retries, cachegebruik en benodigde menselijke controle — niet uitsluitend input- en outputtarieven.
5. Houd rekening met onzekerheid. Kleine verschillen in indices en veranderende configuraties vragen om terughoudende conclusies, zeker wanneer publieke documentatie onvolledig is.

Astra’s resultaat van 99,9% met de ARC-AGI-3 Provider Adapter is opmerkelijk, en ook de 62,7% in de Standard harness is sterk. Maar geen van beide uitkomsten ontkracht een onafhankelijke index die onder een andere taakmix en configuratie een ander model hoger zet. De bruikbare vraag is dus niet: welk model heeft gewonnen? Maar: welke geteste opzet lijkt het meest op het werk dat dit systeem werkelijk moet uitvoeren?