OpenAI wil AI-rendement meten aan de hand van wat er echt wordt gedaan

“Software werd jarenlang gemeten aan de hand van adoptie: licenties, actieve gebruikers en verlengingen. AI is anders: die moet worden gemeten aan de hand van het verrichte werk,” schreef Friar op LinkedIn .

De kern van haar betoog: de laagste kosten per token betekenen niet automatisch de laagste kosten per resultaat. Een model dat goedkoop is, maar vaak fouten maakt, kan uiteindelijk duurder uitvallen dan een krachtiger model dat een taak in één keer goed uitvoert .

De vier vragen van de AI-scorecard

Friars methode vervangt vage gebruiksstatistieken door vier concrete vragen waarmee bedrijven hun rendement op AI kunnen beoordelen .

1. Voert AI werk uit dat ertoe doet?

Bedrijven zouden moeten tellen hoeveel betekenisvolle taken daadwerkelijk worden afgerond. Denk aan opgeloste klantproblemen, opgeleverde codewijzigingen of gecontroleerde contracten — niet alleen aan het aantal prompts of chatgesprekken .

Zoals Friar het formuleerde: tokens creëren pas waarde wanneer ze worden omgezet in werk waar mensen iets aan hebben . De aandacht verschuift daarmee van activiteitscijfers naar resultaten: niet hoeveel vragen zijn gesteld, maar wat er uiteindelijk is gedaan.

2. Wat kost elke geslaagde taak?

De volledige kostprijs van een taak moet worden berekend. Daaronder vallen niet alleen AI-inferentie en modelgebruik, maar ook nieuwe pogingen, menselijke controle en herstelwerk .

Deze aanpak maakt verborgen kosten zichtbaar. Een goedkope AI-oplossing die regelmatig moet worden gecorrigeerd, kan per bruikbaar eindresultaat meer kosten dan een duurdere oplossing met een hogere trefzekerheid .

3. Hoe vaak levert AI meteen bruikbaar werk op?

De scorecard kijkt ook naar betrouwbaarheid: welk percentage van de resultaten kan direct worden gebruikt en welk deel vraagt om correctie of escalatie?

Minder menselijke tussenkomst verlaagt de totale kosten en kan het vertrouwen in de technologie vergroten. Betrouwbaarheid wordt zo naast capaciteit een belangrijke kwaliteitsmaatstaf voor AI.

4. Levert elke AI-dollar meer waarde op naarmate het gebruik groeit?

Tot slot moeten organisaties volgen of AI na verloop van tijd meer kwalitatief goed werk kan uitvoeren zonder dat de kosten even snel — of sneller — stijgen . Dit sluit aan bij het begrip return on compute (ROC), een term die is ontleend aan de financiële benadering van halfgeleiders en datacenters.

De vraag is daarbij of een grotere AI-investering zichzelf versterkende opbrengsten oplevert, of juist te maken krijgt met afnemende meeropbrengsten. Dat is essentieel wanneer bedrijven willen beslissen of ze een toepassing verder opschalen.

Zo kunnen bedrijven de methode toepassen

Volgens de voorgestelde aanpak hoeft een organisatie geen volledig nieuw meetsysteem te bouwen. Teams kunnen per werkproces eerst vastleggen wat ‘klaar’ betekent. Vervolgens meten ze hoeveel taken succesvol zijn afgerond, berekenen ze de totale kosten — inclusief menselijke inzet — en volgen ze de slagingspercentages en kwaliteitsontwikkeling .

Daarmee wordt AI behandeld als een productief bedrijfsmiddel in plaats van alleen als een softwarelicentie. Voor CFO’s en technologieleiders biedt dat een controleerbare manier om de vraag te beantwoorden die volgens Friar vaak terugkomt bij financiële bestuurders: hoe halen we meer waarde uit onze AI-uitgaven?

Waarom deze maatstaf nu relevant is

Het voorstel komt op een moment waarop de uitgaven aan AI binnen bedrijven sterk zijn toegenomen. OpenAI meldde zelf een maandelijkse omzet van 1 miljard dollar en meer dan 500 miljoen zakelijke seats — de door de bron gebruikte term voor bedrijfslicenties of toegangen . Tegelijkertijd beschikken veel organisaties nog niet over een duidelijke methode om het rendement van die investeringen aan te tonen. Daardoor ontstaat een kloof tussen wat AI technisch kan en de waarde die bedrijven er daadwerkelijk uit weten te halen .

Friar heeft die kloof eerder omschreven als ‘capability overhang’: AI beschikt al over bepaalde mogelijkheden, maar organisaties zijn nog niet altijd in staat die mogelijkheden om te zetten in bedrijfswaarde .

Door kosten, kwaliteit en resultaten samen te brengen in controleerbare metingen, wil de scorecard bedrijven helpen om AI-investeringen minder op vertrouwen en meer op bewijs te beoordelen. De belangrijkste verschuiving is eenvoudig: niet langer vragen hoeveel AI er wordt gebruikt, maar hoeveel bruikbaar werk er per uitgegeven dollar uit voortkomt.