Gartners inferensparadoks: Derfor kan AI-agenter blive dyrere, selv om tokens bliver billigere

Hvorfor bruger agenter mere end chatbots?

Agentiske systemer tilføjer ekstra arbejde på flere niveauer:

• Planlægning og ræsonnement: Systemet opdeler et mål i trin, vurderer alternativer og kan genbesøge sin plan.
• Brug af værktøjer: Søgninger, databaser, API'er, programmer og andre værktøjer skaber ekstra input og output.
• Kontrol: Agenten kan kritisere, teste eller validere både mellemresultater og det endelige svar.
• Læringsforløb: Hentning af hukommelse, feedback, evaluering og tilpasning kræver yderligere modelaktivitet.
• Koordinering mellem flere agenter: Uddelegering medfører beskeder, overdragelser, gentaget kontekst og kontrol fra en overordnet agent.
• Fejlhåndtering: Mislykkede værktøjskald eller resultater med lav sikkerhed kan udløse nye forsøg og en ny plan.

Når konteksten vokser, skal senere modelkald også bære mere af den tidligere information med sig. Mere avancerede ræsonneringsmodeller kan samtidig bruge væsentligt flere tokens og mere computerkraft, mens de arbejder sig gennem flere beslutninger. Ifølge rapporteringen om Gartners analyse kan agenter kræve mellem fem og 30 gange så mange tokens som en chatbot ved tilsvarende opgaver, men det præcise forbrug afhænger af workflowet og modelopsætningen.

Effekten forstærkes, når et workflow samtidig bruger flere modelkald, længere kontekster og dyrere modeller. Omkostningen handler derfor ikke kun om tokenprisen, men om samspillet mellem:

tokenpris × tokenmængde × modelvalg × workflowets opbygning.

Hvad viser Gartners Tokenomics Model?

Gartners Tokenomics Model behandler AI-arbejde som en række scenarier med stigende kompleksitet i stedet for at betragte enhver forespørgsel som den samme enhed. Den offentlige rapportering beskriver overordnet denne omkostningsstige:

1. Grundlæggende agentisk udførelse koster mere end en almindelig chatbot-interaktion.
2. Planlægning tilfører yderligere ræsonnement og koordinering.
3. Læring og løbende forbedring kræver hukommelse, feedback, evaluering og tilpasning.
4. Avanceret ræsonnement er den dyreste kategori, fordi den kræver mere avanceret og vedvarende modelberegning.

Det offentligt tilgængelige materiale underbygger retningen i denne omkostningsstige og den centrale tærskel: Hvis arbejdet sendes til en agentisk ræsonneringsmodel, kan inferensomkostningen blive mindst fem gange højere end ved en grundlæggende chatbot. Omkostningen kan stige yderligere, når opgaverne bliver mere komplekse.

De tilgængelige kilder indeholder dog ikke pålidelige, offentlige multiplikatorer for hver enkelt kategori – grundlæggende udførelse, planlægning, læring og avanceret ræsonnement. Sådanne tal bør derfor ikke fremstilles som etablerede Gartner-benchmarks.

Modsiger det ikke, at avancerede modeller bliver billigere?

Nej. Paradokset betyder ikke, at hardware, modelarkitekturer eller tokenøkonomi holder op med at blive mere effektive. Det betyder, at effektiviseringsgevinster kan skabe efterspørgsel efter mere kapable systemer.

Når avancerede modeller bliver billigere at bruge, kan virksomheder forsvare anvendelser, der tidligere var for dyre. De kan også give agenter mere autonomi, adgang til flere værktøjer, længere kontekster og flere muligheder for at ræsonnere. Det øger den inferens, der kræves for hver afsluttet opgave. I Gartners fortolkning kan både systemernes kapacitet og brugen af dem vokse hurtigere, end enhedsomkostningen falder.

Forskellen er vigtig, når AI-produkter planlægges. En lavere tokenpris forbedrer økonomien i et uændret workflow. Den garanterer ikke en lavere pris pr. forretningsresultat, hvis selve workflowet bliver større og mere krævende.

Sådan kan virksomheder holde styr på agentomkostninger

1. Fordel arbejdet på flere inferensniveauer

Match modellens kapacitet med opgavens sværhedsgrad. Send deterministiske opgaver, informationssøgning, klassifikation og arbejde med lav risiko til mindre eller billigere modeller. Brug de mest avancerede ræsonneringsmodeller på de konkrete trin, hvor test viser, at deres ekstra kapacitet forbedrer resultatet nok til at retfærdiggøre prisen. Gartners anbefalinger omfatter blandt andet niveaudeling af inferens, tokenbegrænsninger og overvågning.

2. Sæt grænser for workflowets kompleksitet

Kontrollér de forhold, der kan få en agent til at overskride budgettet:

• maksimalt antal trin og tokens;
• grænser for nye forsøg og omlægning af planen;
• kvoter for værktøjskald;
• loft over kontekststørrelsen;
• begrænsninger på, hvor mange underagenter der må startes; og
• stopbetingelser ved lav sikkerhed eller gentagen adfærd.

Caching af stabile resultater, beskæring eller opsummering af historikken, strukturerede værktøjsresultater og eskalering af særlige tilfælde til et menneske kan reducere unødvendige modelkald uden at fjerne autonomien fra de dele af workflowet, der skaber værdi.

3. Mål prisen på det afsluttede resultat

Pris pr. token og pris pr. agentkald er utilstrækkelige målepunkter. Teams bør også følge prisen på et afsluttet forretningsresultat – eksempelvis en løst kundesag, en godkendt skadesanmeldelse, et kvalificeret salgsemne eller en færdig udviklingsopgave. Kvalitet, svartid, fejlrate og behovet for menneskelig indgriben bør måles samtidig.

Et troværdigt pilotprojekt bør fastlægge en baseline for den eksisterende proces og et minimumskrav til kvalitet, før man vurderer, om agenten skaber nok værdi til at blive skaleret. Hvis agenten bruger færre tokens, men ikke leverer et bedre eller hurtigere resultat, er den tilsyneladende effektivisering måske uden betydning.

4. Gør forbrugsbaseret prissætning styrbar

Forbrugsbaseret fakturering kan udsætte virksomheder for uventede regninger, når workflows bliver rekursive, lange eller meget autonome. Budgetlofter, kvoter pr. workflow, løbende omkostningsmåling, alarmer samt intern viderefakturering eller synliggørelse af forbruget gør det muligt at opdage problemer, før løsningen skaleres i produktion.

5. Revurder modellerne løbende

Modeløkonomi er ikke statisk. Et workflow, der i dag kræver en dyr frontlinjemodel, kan senere håndteres af en billigere model med tilstrækkelig kapacitet, en finjusteret eller destilleret model eller almindelig automatisering.

Virksomheder bør derfor revurdere kombinationen af model og workflow med jævne mellemrum i stedet for at betragte dagens arkitektur som permanent. En model bør ikke behandles som en fast investering, hvis dens pris og ydelse hele tiden ændrer sig.

6. Kræv dokumenteret værdi, før autonomien udvides

Gartner har forudsagt, at mere end 40 procent af agentiske AI-initiativer vil blive annulleret inden udgangen af 2027 på grund af stigende omkostninger, uklar forretningsværdi eller utilstrækkelig risikostyring. Prognosen er en advarsel mod at opskalere autonomi, før økonomi og styring er forstået – ikke en påstand om, at alle agentprojekter vil mislykkes.

En veloptimeret løsning kan stadig give et positivt afkast, hvis den accelererer eller erstatter en værdifuld og gentagelig proces. Den afgørende test er, om den ekstra værdi fra mere ræsonnement, koordinering og autonomi overstiger de ekstra inferens- og driftsomkostninger.

Den praktiske konklusion

Den sikreste antagelse er, at tokenpriser og de samlede omkostninger ved AI-agenter kan bevæge sig i hver sin retning. Tokens er kun én del af budgettet.

Virksomheder bør modellere hele workflowet, bruge den mindst avancerede konfiguration, der opfylder kvalitetskravet, sætte klare driftsgrænser og først udvide autonomien, når data fra produktionen viser, at den forbedrer et konkret forretningsresultat.