Gartners inferensparadox: Därför kan AI-agenter bli dyrare när tokens blir billigare

Prognosen gäller alltså inferenskostnaden per arbetsflöde, inte bara det pris som står på en prislista för en enskild token. Inferenskostnaden omfattar den beräkning som krävs för att slutföra uppgiften, inklusive upprepade modellkörningar som arbetsflödet genererar.

Därför förbrukar agenter mer än chattbotar

Agentbaserade system lägger till arbete på flera nivåer:

• Planering och resonemang: Systemet bryter ned ett mål, jämför alternativ och kan behöva ompröva sin plan.
• Användning av verktyg: Sökningar, databaser, API:er, program och andra tjänster skapar ytterligare indata och utdata.
• Verifiering: Agenten kan kritisera, testa eller validera både delresultat och slutresultat.
• Lärande arbetsflöden: Hämtning av minnen, återkoppling, utvärdering och anpassning kräver ytterligare modellaktivitet.
• Samordning mellan flera agenter: Delegering kan innebära fler meddelanden, överlämningar, duplicerad kontext och kontroller från en överordnad agent.
• Felhantering: Misslyckade verktygsanrop eller osäkra resultat kan utlösa nya försök och en ny plan.

När kontexten växer behöver senare modellanrop också bära med sig mer av den tidigare informationen. Kraftfullare resonemangsmodeller kan samtidigt använda betydligt fler tokens och mer beräkningskapacitet när de arbetar sig igenom flera beslut.

Enligt rapporteringen om Gartners analys kan agenter behöva mellan fem och 30 gånger fler tokens än en chattbot för motsvarande uppgifter. Den exakta mängden beror dock på arbetsflödet och modellkonfigurationen.

Kostnaden kan därför öka på flera fronter samtidigt: fler anrop, längre kontext och dyrare modeller. Problemet handlar inte bara om tokenpriset, utan om samspelet mellan tokenpris, tokenvolym, modellval och arbetsflödets utformning.

Vad Gartners Tokenomics Model visar

Gartners Tokenomics Model behandlar AI-arbete som en skala av allt mer krävande scenarier, snarare än som en enhetlig ”förfrågan”. Den offentliga rapporteringen beskriver i stora drag följande kostnadstrappa:

1. Grundläggande agentkörning kostar mer än en enkel chattbotinteraktion.
2. Planering lägger till mer resonemang och samordning.
3. Lärande och iterativ förbättring kräver minne, återkoppling, utvärdering och anpassning.
4. Avancerat resonemang är den dyraste klassen eftersom den kräver mer avancerad och ihållande modellbearbetning.

Det offentliga materialet stöder riktningen i denna trappa och den centrala tröskeln: att skicka en uppgift till en agentbaserad resonemangsmodell kan öka inferenskostnaden minst fem gånger jämfört med en grundläggande chattbot. Kostnaden kan stiga ytterligare när uppgiften blir mer komplex. Däremot finns det inte tillförlitliga, offentligt belagda Gartner-multiplikatorer för varje kategori. Sådana exakta jämförelsetal bör därför inte presenteras som etablerade Gartner-riktmärken.

Motsäger detta att kostnaden för avancerade modeller faller?

Nej. Paradoxen innebär inte att hårdvara, modellarkitektur eller tokenekonomi slutar bli effektivare. Den beskriver i stället en efterfrågeeffekt: effektivare och billigare modeller gör det ekonomiskt möjligt att bygga mer avancerade system.

När kraftfulla modeller blir billigare kan företag motivera användningsområden som tidigare kostade för mycket. De kan också ge agenter fler verktyg, längre kontext, större handlingsutrymme och fler möjligheter att resonera. Allt detta ökar mängden inferens som krävs för varje slutförd uppgift. I Gartners beskrivning kan kapacitet och användning därför växa snabbare än kostnaden per token faller.

Skillnaden är viktig i planeringen av AI-produkter. Ett lägre tokenpris förbättrar ekonomin för ett oförändrat arbetsflöde. Det garanterar däremot inte en lägre kostnad per affärsresultat när själva arbetsflödet förändras.

Så kan företag hålla agentkostnaderna under kontroll

1. Anpassa modellnivån efter uppgiften

Använd mindre eller billigare modeller för deterministiska uppgifter, informationssökning, klassificering och arbete med låg risk. Reservera de mest avancerade resonemangsmodellerna för de steg där tester visar att den högre kapaciteten faktiskt förbättrar resultatet tillräckligt mycket för att motivera kostnaden. Gartner har bland annat rekommenderat nivåindelning av inferens, tokenbegränsningar och kontinuerlig övervakning.

2. Sätt gränser för arbetsflödets komplexitet

Begränsa de faktorer som kan få en agent att överskrida budgeten:

• maximalt antal turer och tokens;
• gränser för nya försök och omplanering;
• kvoter för verktygsanrop;
• tak för kontextens storlek;
• begränsningar av hur många agenter som får startas parallellt; och
• stoppvillkor vid osäkert eller repetitivt beteende.

Cachelagring av stabila resultat, sammanfattning eller rensning av historik, strukturerade verktygssvar och eskalering till en människa i undantagsfall kan minska onödiga anrop utan att ta bort agentens självständighet där den faktiskt skapar värde.

3. Mät kostnaden per färdigt resultat

Kostnad per token och kostnad per agentanrop är ofullständiga mått. Företag bör även mäta kostnaden för ett slutfört affärsresultat – till exempel ett löst kundärende, ett godkänt försäkringsanspråk, ett kvalificerat försäljningsprospekt eller en färdig teknisk uppgift.

Kostnaden bör följas tillsammans med kvalitet, svarstid, felfrekvens och behovet av mänsklig inblandning. Ett seriöst pilotprojekt bör ha en baslinje för den befintliga processen och ett tydligt kvalitetsmål innan man avgör om agenten skapar tillräckligt värde för att skalas upp.

4. Gör användningsbaserad prissättning styrbar

Användningsbaserad fakturering kan ge oväntade kostnader när arbetsflöden blir rekursiva, långa eller mycket självständiga. Budgettak, kvoter per arbetsflöde, realtidsmätning av kostnader, varningar och intern kostnadsfördelning gör förbrukningen synlig innan systemet skalas upp i produktion.

5. Ompröva modellvalet regelbundet

Modellekonomin är inte statisk. Ett arbetsflöde som i dag kräver en dyr frontlinjemodell kan senare drivas av en billigare modell med tillräcklig kapacitet, en finjusterad eller destillerad modell eller regelbaserad automatisering.

Utvärdera därför kombinationen av modell och arbetsflöde regelbundet i stället för att behandla dagens arkitektur som permanent.

6. Kräv mätbart värde innan autonomin utökas

Gartner har bedömt att mer än 40 procent av alla agentbaserade AI-initiativ kan läggas ned före slutet av 2027 på grund av skenande kostnader, oklart affärsvärde eller otillräckliga riskkontroller. Prognosen är en varning för att skala upp autonomi innan ekonomin och styrningen är förstådda – inte ett påstående om att varje agentprojekt kommer att misslyckas.

En väloptimerad lösning kan fortfarande ge god avkastning när den effektiviserar eller ersätter en värdefull och återkommande process. Den avgörande frågan är om det extra värdet av mer resonemang, samordning och autonomi överstiger den extra kostnaden för inferens och drift.

Slutsatsen

Det säkraste antagandet är att tokenpriser och den totala kostnaden för AI-agenter kan utvecklas åt motsatta håll. Se tokens som bara en del av budgeten. Modellera hela arbetsflödet, använd den minst avancerade konfiguration som klarar kvalitetsmålet, sätt tydliga driftgränser och utöka autonomin först när data från produktionen visar att den förbättrar ett definierat affärsresultat.