OpenAI vill mäta AI efter utfört arbete – inte antal användare

”I åratal mättes mjukvara genom användning: licenser, aktiva användare och förnyelser. AI är annorlunda – den måste mätas efter vilket arbete som blir gjort”, skrev Friar i ett inlägg på LinkedIn .

Poängen är att det lägsta priset per token inte nödvändigtvis ger den lägsta kostnaden per färdigt resultat. Företag bör i stället optimera för det totala värdet som skapas .

Fyra frågor för att mäta AI:s avkastning

Friars modell ersätter vaga användningsmått med fyra konkreta frågor som tillsammans bildar ett slags resultattavla för AI-investeringar .

1. Slutför AI arbete som spelar roll?

Mät verkliga resultat – exempelvis lösta kundärenden, levererade kodändringar eller granskade avtal – i stället för antalet frågor och instruktioner som skickats till ett system .

”Tokens skapar värde när de omvandlas till arbete som människor kan använda”, skrev Friar . Fokus flyttas därmed från aktivitetsmått, som hur många frågor som ställts, till effektmått: vad blev faktiskt gjort?

2. Vad kostar varje lyckad uppgift?

Räkna ut den fullständiga kostnaden för en uppgift som uppfyller kvalitetskraven. Det ska bland annat inkludera AI-körning, nya försök, mänsklig granskning och omarbete .

En billig modell som ofta misslyckas kan i praktiken bli dyrare per färdigt resultat än en mer avancerad modell som löser uppgiften korrekt direkt . Frågan tvingar därför företag att se bortom tokenpriset och även räkna med de dolda kostnaderna för fel och korrigeringar.

3. Hur ofta blir resultatet rätt?

Företag bör följa AI-systemets tillförlitlighet: hur stor andel av resultaten är ”klara att använda” och hur många kräver rättning eller eskalering till en människa?

Färre mänskliga ingripanden innebär normalt lägre totalkostnad och kan samtidigt stärka förtroendet för systemet. Det fungerar i praktiken som ett kvalitetsmått för AI, där driftsäkerhet väger lika tungt som systemets råa kapacitet.

4. Skapar varje AI-dollar mer värde när användningen ökar?

Följ om AI över tid kan slutföra mer arbete av hög kvalitet utan att kostnaderna växer exponentiellt. Resonemanget kopplas också till begreppet return on compute (ROC), eller avkastning på beräkningskapacitet, som lånats från ekonomi kring halvledare och datacenter .

Frågan handlar om huruvida AI-investeringen får en kumulativ effekt eller i stället ger allt mindre nytta när den skalas upp – en central fråga när företag ska besluta om större utrullningar.

Så kan företag använda modellen

Ramverket är tänkt att kunna granskas med verktyg som företag redan använder . För en viss arbetsprocess behöver teamet först definiera vad ”klart” betyder. Därefter räknar man antalet lyckade genomföranden, summerar den fullständiga kostnaden – inklusive mänsklig arbetsinsats – och följer andelen godkända resultat samt hur kvaliteten utvecklas över tid .

Metoden betraktar AI som en produktiv tillgång snarare än som en vanlig mjukvarulicens. Den ger därmed ekonomi- och teknikchefer ett mer strukturerat sätt att besvara frågan som Friar ofta hör från andra finanschefer: ”Hur får vi ut mer värde av våra AI-utgifter?”

Därför är frågan aktuell nu

Förslaget kommer samtidigt som företagens AI-utgifter har ökat kraftigt. OpenAI har uppgett att bolaget når 1 miljard dollar i månadsintäkter och har sålt över 500 miljoner företagsplatser . Trots det saknar många organisationer tydliga modeller för att mäta avkastningen, vilket skapar ett ”glapp mellan AI:s förmågor och det värde företagen faktiskt lyckas fånga” .

Friar har tidigare beskrivit glappet som capability overhang – skillnaden mellan vad AI redan klarar av och vad organisationer faktiskt kan omsätta i affärsvärde .

Genom att knyta de fyra frågorna till spårbara kostnads- och kvalitetsdata vill modellen göra det lättare för företag att gå från AI-investeringar baserade på framtidstro till beslut som stöds av konkreta resultat.