OpenAI vil måle AI på det arbejde, der faktisk bliver udført

Dermed vil Friar væk fra klassiske softwaremål som antal købte licenser, aktive brugere og forbrugte tokens. Som hun skrev på LinkedIn: »I årevis blev software målt på anvendelse: licenser, aktive brugere og fornyelser. AI er anderledes – det skal måles på det arbejde, der bliver udført« .

Pointen er, at den laveste pris pr. token ikke nødvendigvis giver den laveste pris pr. færdigt resultat. Virksomheder bør i stedet optimere efter den samlede værdi, AI skaber .

Fire spørgsmål til et mere realistisk AI-regnskab

Friars metode erstatter upræcise adoptionsmål med fire konkrete spørgsmål, der tilsammen fungerer som et scorecard for AI’s afkast .

1. Løser AI arbejde, der betyder noget?

Virksomheder bør måle konkrete resultater frem for blot aktivitet. Det kan for eksempel være løste kundehenvendelser, leverede kodeændringer eller gennemgåede kontrakter – ikke bare antallet af forespørgsler eller prompts .

»Tokens skaber værdi, når de bliver omsat til arbejde, som mennesker kan bruge«, skrev Friar . Fokus flyttes altså fra, hvor meget AI bliver brugt, til hvad brugen rent faktisk fører til.

2. Hvad koster hver vellykket opgave?

Den fulde pris for en opgave skal medregnes, når resultatet lever op til de fastsatte kvalitetskrav. Det omfatter blandt andet AI’s beregningsomkostninger, gentagne forsøg, menneskelig kontrol og efterarbejde .

En billig model, der ofte tager fejl, kan derfor ende med at koste mere pr. vellykket resultat end en dyrere model, der løser opgaven korrekt i første forsøg . Målet er med andre ord ikke den laveste enhedspris, men den laveste samlede pris for et brugbart resultat.

3. Hvor ofte rammer AI rigtigt?

Virksomheder bør følge AI-systemets pålidelighed: Hvor stor en andel af resultaterne er klar til brug, og hvor ofte kræver de rettelser eller skal sendes videre til en medarbejder?

Jo færre menneskelige indgreb der er nødvendige, desto lavere bliver den samlede omkostning – og desto større bliver tilliden til systemet. Det gør pålidelighed til lige så vigtig en måleenhed som modellens rå kapacitet.

4. Skaber hver AI-krone mere værdi, når brugen vokser?

Det sidste spørgsmål handler om skalering. Kan AI over tid løse mere arbejde af høj kvalitet uden, at omkostningerne vokser tilsvarende eller eksplosivt?

Begrebet omtales også som return on compute (ROC) og er hentet fra økonomien omkring halvledere og datacentre . Det skal hjælpe virksomheder med at vurdere, om større AI-investeringer giver en selvforstærkende gevinst – eller om værdien begynder at aftage.

Sådan kan virksomheder bruge modellen

Rammen er ifølge de beskrevne kilder tænkt, så den kan dokumenteres med eksisterende værktøjer . En virksomhed kan begynde med at definere, hvad »færdig« betyder i en bestemt arbejdsgang. Derefter kan den tælle vellykkede opgaver, opgøre de samlede omkostninger – inklusive medarbejdernes tidsforbrug – og følge udviklingen i kvalitet og beståelsesrater .

Det ændrer også den måde, AI bliver betragtet på. I stedet for primært at være en softwarelicens bliver AI behandlet som et produktivt aktiv. Det giver økonomidirektører og teknologiansvarlige en mere struktureret måde at besvare det spørgsmål, Friar ofte hører fra andre finansdirektører: »Hvordan får vi mere værdi ud af vores AI-forbrug?«

Hvorfor kommer forslaget nu?

Forslaget kommer på et tidspunkt, hvor virksomhedernes AI-forbrug er steget kraftigt. OpenAI har selv oplyst, at selskabet har en månedlig omsætning på 1 mia. dollar og har solgt mere end 500 mio. virksomhedslicenser . Samtidig mangler mange organisationer stadig en klar metode til at dokumentere afkastet af AI-investeringerne.

Det skaber en kløft mellem AI’s tekniske muligheder og den værdi, virksomhederne faktisk får ud af dem . Friar har tidligere kaldt denne kløft for »capability overhang« – altså forskellen mellem det, AI kan, og det, organisationer formår at omsætte til forretningsværdi .

Ved at koble de fire spørgsmål til målbare data om omkostninger og kvalitet forsøger »nyttig intelligens pr. dollar« at flytte AI-beslutninger fra tro og forventninger til dokumenterede resultater.