Gartners inferensparadoks: Derfor kan AI-agenter bli dyrere når tokenene blir billigere

Hvorfor bruker agenter mer enn chatboter?

Agentiske systemer legger til arbeid på flere nivåer:

• Planlegging og resonnering: Systemet deler målet opp i trinn, vurderer alternativer og kan gå tilbake og endre planen.
• Bruk av verktøy: Søk, databaser, API-er, programvare og andre verktøy skaper flere inn- og utdata.
• Kontroll og verifisering: Agenten kan kritisere, teste eller validere mellomresultater og det endelige svaret.
• Læringssløyfer: Henting av minner, tilbakemeldinger, evaluering og tilpasning krever ytterligere modellaktivitet.
• Samspill mellom flere agenter: Delegering fører til meldinger, overleveringer, gjentatt kontekst og kontroll fra en overordnet agent.
• Feilhåndtering: Mislykkede verktøykall eller resultater med lav sikkerhet kan utløse nye forsøk og ny planlegging.

Når konteksten bygger seg opp, kan senere modellkall også inneholde mer av den tidligere informasjonen. Kraftigere resonneringsmodeller kan bruke betydelig flere token og mer datakraft når de arbeider seg gjennom flere beslutninger. Ifølge omtalen av Gartners analyse kan agenter trenge fem til 30 ganger så mange token som en chatbot for tilsvarende oppgaver, selv om det nøyaktige forbruket avhenger av arbeidsflyten og modelloppsettet.

Effekten forsterkes når en arbeidsflyt samtidig bruker flere kall, lengre kontekst og dyrere modeller. Kostnadsbildet handler derfor ikke bare om tokenprisen, men om samspillet mellom tokenpris, tokenmengde, modellvalg og hvordan arbeidsflyten er bygget opp.

Tokenomics-modellen viser en kostnadstrapp

Gartners Tokenomics Model behandler AI-arbeid som en rekke stadig mer krevende scenarier – ikke som én standardisert «forespørsel». Offentlig omtale beskriver hovedrekkefølgen slik:

1. Grunnleggende agentisk utførelse koster mer enn en enkel chatbot-interaksjon.
2. Planlegging legger til mer resonnering og koordinering.
3. Læring og trinnvis forbedring krever minner, tilbakemeldinger, evaluering og tilpasning.
4. Avansert resonnering er den dyreste kategorien fordi den krever mer sofistikert og langvarig modellberegning.

Det offentlige materialet støtter retningen på denne kostnadstrappen og den sentrale terskelen: Å sende en oppgave til en agentisk resonneringsmodell kan øke inferenskostnaden med minst fem ganger sammenlignet med en enkel chatbot, og kostnaden kan bli høyere når oppgaven blir mer kompleks. Det finnes imidlertid ikke pålitelige, offentlig tilgjengelige multiplikatorer for hver enkelt kategori – grunnleggende utførelse, planlegging, læring og avansert resonnering. Slike tall bør derfor ikke presenteres som etablerte Gartner-benchmarker.

Motsier dette at kostnadene for de kraftigste modellene faller?

Nei. Paradokset betyr ikke at maskinvare, modellarkitektur eller tokenøkonomi slutter å bli mer effektiv. Det betyr at effektivitetsgevinster kan øke etterspørselen etter kraftigere systemer.

Når avanserte modeller blir billigere å bruke, kan virksomheter forsvare bruksområder som tidligere var for kostbare. De kan også gi agentene mer autonomi, flere verktøy, lengre kontekst og flere muligheter til å resonnere. Alt dette øker mengden inferens som kreves for hver fullførte oppgave. I Gartners framstilling kan både funksjonsnivået og bruken vokse raskere enn fallet i enhetskostnaden.

Dette skillet er viktig når AI-produkter skal planlegges. Lavere pris per token kan gi bedre økonomi for en fast arbeidsmengde. Det garanterer ikke lavere kostnad per forretningsresultat når selve arbeidsmengden endrer seg.

Slik kan virksomheter holde agentkostnadene under kontroll

1. Bruk ulike inferensnivåer

Tilpass modellens kapasitet til oppgaven. Send deterministiske oppgaver, informasjonsinnhenting, klassifisering og arbeid med lav risiko til mindre eller rimeligere modeller. Reserver de kraftigste resonneringsmodellene for trinn der tester viser at den ekstra kapasiteten gir en stor nok forbedring til å forsvare kostnaden. Gartners anbefalinger omfatter blant annet nivådeling av inferens, tokenbegrensninger og overvåking.

2. Sett grenser for arbeidsflytens kompleksitet

Begrens variablene som kan få en agent til å overskride budsjettet:

• maksimalt antall runder og token;
• grenser for nye forsøk og ny planlegging;
• kvoter for verktøykall;
• tak på kontekststørrelse;
• grenser for hvor mange agenter som kan startes parallelt; og
• stoppregler ved lav sikkerhet eller gjentakende oppførsel.

Bufring av stabile resultater, komprimering eller oppsummering av historikken, strukturerte verktøyresultater og eskalering av unntak til et menneske kan redusere unødvendige kall uten å fjerne autonomien fra delene av arbeidsflyten som faktisk skaper verdi.

3. Mål kostnaden per fullført resultat

Kostnad per token og kostnad per agentkall er utilstrekkelige mål. Følg også kostnaden for et fullført forretningsresultat – for eksempel en løst kundesak, en godkjent skadesak, en kvalifisert salgsmulighet eller en ferdigstilt utviklingsoppgave – sammen med kvalitet, responstid, feilrate og behovet for menneskelig inngripen.

Et troverdig pilotprosjekt bør etablere en baseline for dagens prosess og et tydelig kvalitetskrav før man måler om agenten skaper nok verdi til å skaleres. Hvis agenten bruker færre token, men ikke leverer et bedre eller raskere resultat, er den tilsynelatende effektiviseringen lite verdt.

4. Gjør forbruksbasert prising styrbar

Forbruksbasert fakturering kan gi uventede kostnader når arbeidsflyter blir rekursive, lange eller svært autonome. Budsjetttak, kvoter per arbeidsflyt, sanntidsmåling av kostnader, varsler og mekanismer for å fordele eller synliggjøre kostnader gjør forbruket synlig før løsningen skaleres i produksjon.

5. Vurder modellene på nytt med jevne mellomrom

Modelløkonomien er ikke statisk. En arbeidsflyt som i dag er avhengig av en dyr frontmodell, kan senere håndteres av en rimeligere modell med tilstrekkelig kapasitet, en finjustert eller destillert modell, eller vanlig automatisering. Evaluer derfor kombinasjonen av modell og arbeidsflyt på nytt – ikke behandle dagens arkitektur som permanent.

6. Krev målbar verdi før autonomien utvides

Gartner har spådd at mer enn 40 prosent av agentiske AI-initiativer vil bli kansellert innen utgangen av 2027 på grunn av økende kostnader, uklar forretningsverdi eller utilstrekkelig risikokontroll. Prognosen er en advarsel mot å skalere autonomi før økonomi og styring er forstått – ikke en påstand om at alle agentprosjekter vil mislykkes.

En godt optimalisert løsning kan fortsatt gi avkastning når den fremskynder eller erstatter en verdifull og repeterbar prosess. Det avgjørende spørsmålet er om den ekstra verdien av mer resonnering, koordinering og autonomi overstiger de ekstra kostnadene til inferens og drift.

Den praktiske konklusjonen

Den tryggeste antakelsen er at tokenpriser og totale agentkostnader kan utvikle seg i motsatt retning. Se på tokenene som bare én del av budsjettet. Kartlegg hele arbeidsflyten, bruk den minst kapable konfigurasjonen som oppfyller kvalitetskravet, sett tydelige driftsgrenser og utvid autonomien først når data fra produksjon viser at den forbedrer et definert forretningsresultat.