Gartnerin inferenssiparadoksi: halvemmat tokenit eivät takaa halvempia tekoälyagentteja

Ennuste koskee inferenssikustannusta työnkulkua kohden – ei pelkästään hinnastossa ilmoitettua token-hintaa. Inferenssikustannuksella tarkoitetaan laskentaa, jota valmiin tuloksen tuottaminen vaatii, mukaan lukien työnkulun synnyttämät toistuvat mallikutsut.

Miksi agentit kuluttavat enemmän kuin chatbotit?

Agenttipohjaiset järjestelmät lisäävät työtä useilla tasoilla:

• Suunnittelu ja päättely: järjestelmä pilkkoo tavoitteen vaiheisiin, vertailee vaihtoehtoja ja voi palata aiempaan suunnitelmaan.
• Työkalujen käyttö: haut, tietokannat, ohjelmointirajapinnat ja muut työkalut tuottavat lisää syötteitä ja vastauksia.
• Tarkistaminen: agentti voi arvostella, testata tai validoida välivaiheiden ja lopputuloksen oikeellisuutta.
• Oppimista tukevat työnkulut: muistin haku, palaute, arviointi ja mukautuminen synnyttävät lisää mallin käsittelyä.
• Monen agentin yhteistyö: tehtävien delegointi lisää viestejä, siirtoja, toistuvaa kontekstia ja valvontatarkistuksia.
• Virheistä palautuminen: epäonnistunut työkalukutsu tai epävarma tulos voi käynnistää uuden yrityksen ja suunnitelman uudelleenarvioinnin.

Kun konteksti kertyy, myöhemmissä mallikutsuissa voidaan joutua välittämään mukana yhä enemmän aiempaa tietoa. Tehokkaammat päättelymallit voivat puolestaan käyttää huomattavasti enemmän tokeneita ja laskentaa käsitellessään useita peräkkäisiä päätöksiä. Gartnerin analyysia koskevien raporttien mukaan agentit voivat tarvita vastaaviin tehtäviin 5–30 kertaa enemmän tokeneita kuin chatbotit, mutta tarkka määrä riippuu työnkulusta ja mallin asetuksista.

Vaikutus kertautuu: sama työnkulku voi käyttää samanaikaisesti enemmän mallikutsuja, pidempiä konteksteja ja kalliimpia malleja. Ongelma ei siis ole vain tokenin hinta, vaan tokenihinnan, tokenien määrän, mallivalinnan ja työnkulun rakenteen yhdistelmä.

Mitä Gartnerin Tokenomics-malli kertoo?

Gartnerin Tokenomics-malli tarkastelee tekoälytyötä vaativuuden mukaan kasvavana portaikkona sen sijaan, että jokainen pyyntö olisi samanlainen. Julkisuudessa raportoidun kuvauksen perusteella järjestys on pääpiirteissään seuraava:

1. Perustason agenttisuoritus maksaa enemmän kuin perustason chatbot-keskustelu.
2. Suunnittelu lisää päättelyä ja työnkulun koordinointia.
3. Oppiminen ja iteratiivinen kehittäminen tuovat mukaan muistia, palautetta, arviointia ja mukautumista.
4. Edistynyt päättely muodostaa kalleimman luokan, koska se vaatii kehittyneempää ja pitkäkestoisempaa laskentaa.

Julkinen aineisto tukee tämän portaittaisen kehityksen suuntaa sekä keskeistä kynnystä: tehtävien ohjaaminen agenttipohjaiselle päättelymallille voi nostaa inferenssikustannuksen vähintään viisinkertaiseksi perustason chatbotiin verrattuna. Kustannus voi kasvaa lisää tehtävän monimutkaistuessa. Saatavilla olevissa raporteissa ei kuitenkaan ole luotettavia, luokka kerrallaan esitettyjä kertoimia perustason, suunnittelua, oppimista ja edistynyttä päättelyä sisältäville työnkuluille. Tällaisia lukuja ei siksi pidä esittää julkisesti vahvistettuina Gartnerin vertailuarvoina.

Ovatko kustannukset ristiriidassa tehokkaampien mallien halpenemisen kanssa?

Eivät. Inferenssiparadoksi ei tarkoita, että laitteistot, malliarkkitehtuurit tai tokenitalous lakkaisivat kehittymästä. Se tarkoittaa, että tehokkuuden paraneminen voi synnyttää lisää kysyntää tehokkaammille järjestelmille.

Kun edistyneet mallit muuttuvat halvemmiksi käyttää, organisaatiot voivat perustella sovelluksia, jotka olisivat aiemmin olleet liian kalliita. Samalla agenteille voidaan antaa enemmän itsenäisyyttä, työkaluja, kontekstia ja mahdollisuuksia päättelyyn. Tämä kasvattaa yhden valmiin tehtävän vaatimaa inferenssiä. Gartnerin tulkinnassa kyvykkyys ja käyttö voivat kasvaa nopeammin kuin yksikkökustannus laskee.

Ero on tärkeä tekoälytuotteiden suunnittelussa. Tokenin halvempi hinta parantaa kiinteän työmäärän taloutta. Se ei takaa pienempää kustannusta liiketoimintatulosta kohden, jos itse työmäärä muuttuu samalla.

Näin yritykset voivat hallita agenttien kustannuksia

1. Käytä mallien kustannus- ja kyvykkyystasoja

Sovita mallin teho tehtävän vaikeuteen. Ohjaa deterministinen työ, tiedonhaku, luokittelu ja vähäriskiset tehtävät pienemmille tai edullisemmille malleille. Käytä tehokkaimpia päättelymalleja vain niissä vaiheissa, joissa testit osoittavat lisäkyvykkyyden parantavan lopputulosta riittävästi suhteessa kustannukseen. Gartnerin raportoimiin suosituksiin kuuluvat muun muassa inferenssin porrastus, token-rajat ja seuranta.

2. Rajaa työnkulun monimutkaisuutta

Hallitse tekijöitä, jotka voivat kasvattaa agentin kustannukset hallitsemattomiksi:

• kierrosten ja tokenien enimmäismäärä;
• yritys- ja uudelleensuunnittelurajat;
• työkalukutsujen kiintiöt;
• kontekstin enimmäiskoko;
• rinnakkaisten agenttien määrän rajat; sekä
• pysäytysehdot epävarmalle tai toistuvalle toiminnalle.

Vakaiden tulosten välimuistitus, historian tiivistäminen tai karsiminen, rakenteiset työkaluvastaukset ja poikkeustapausten siirtäminen ihmiselle voivat vähentää turhia kutsuja ilman, että työnkulun hyödyllisistä itsenäisistä osista luovutaan.

3. Mittaa kustannusta valmista lopputulosta kohden

Tokeni- tai agenttikutsukohtaiset hinnat ovat puutteellisia mittareita. Seuratkaa myös valmiin liiketoimintatuloksen kustannusta: esimerkiksi ratkaistua asiakastapausta, hyväksyttyä korvaushakemusta, pätevöitettyä liidiä tai loppuun saatettua ohjelmistokehitystehtävää. Näiden rinnalla on arvioitava laatua, viivettä, virheiden määrää ja ihmisen tarvitsemia toimenpiteitä.

Luotettavassa pilotissa lähtötilanne ja tavoiteltu laatutaso määritellään ennen mittaamista. Vasta sen jälkeen voidaan arvioida, tuottaako agentti riittävästi arvoa laajentamista varten. Jos agentti säästää tokeneita mutta ei tuota parempaa tai nopeampaa lopputulosta, näennäinen tehokkuus ei välttämättä merkitse mitään.

4. Tee käyttöperusteisesta hinnoittelusta hallittavaa

Käyttöön perustuva laskutus voi yllättää, jos työnkulut muuttuvat rekursiivisiksi, pitkiksi tai hyvin itsenäisiksi. Budjettikatot, työnkulkukohtaiset kiintiöt, reaaliaikainen kustannusseuranta, hälytykset sekä kustannusten kohdistaminen liiketoimintayksiköille tekevät kulutuksesta näkyvää ennen tuotantokäytön laajentamista.

5. Arvioi mallit säännöllisesti uudelleen

Mallien talous ei ole pysyvä. Kalliin huippumallin ympärille rakennettu työnkulku voidaan myöhemmin toteuttaa kyvykkäällä edullisemmalla mallilla, hienosäädetyllä tai tislatulla mallilla tai kokonaan deterministisellä automaatiolla. Arvioi aina mallin ja työnkulun muodostamaa kokonaisuutta sen sijaan, että pitäisit tämänhetkistä arkkitehtuuria pysyvänä.

6. Vaadi mitattavaa arvoa ennen autonomian lisäämistä

Gartner on ennustanut, että yli 40 prosenttia agenttipohjaisista tekoälyhankkeista perutaan vuoden 2027 loppuun mennessä kasvavien kustannusten, epäselvän liiketoiminta-arvon tai riittämättömien riskienhallintakeinojen vuoksi. Ennuste varoittaa lisäämästä autonomiaa ennen talouden ja hallinnan ymmärtämistä – se ei tarkoita, että jokainen agenttihanke epäonnistuisi.

Hyvin optimoitu toteutus voi edelleen tuottaa sijoitetun pääoman tuottoa, jos se nopeuttaa tai korvaa arvokkaan ja toistettavan prosessin. Ratkaiseva kysymys on, ylittääkö lisäpäättelyn, koordinoinnin ja autonomian tuottama lisäarvo niiden aiheuttamat lisäkulut inferenssissä ja operoinnissa.

Käytännön johtopäätös

Turvallisin oletus on, että tokenien hinnat ja agenttien kokonaiskustannukset voivat kehittyä vastakkaisiin suuntiin. Älä käsittele tokeneita budjetin ainoana muuttujana. Mallinna koko työnkulku, käytä mahdollisimman vähän kyvykästä kokoonpanoa, joka saavuttaa vaaditun laatutason, aseta toiminnalle rajat ja lisää autonomiaa vasta, kun tuotantodata osoittaa sen parantavan tarkasti määriteltyä liiketoimintatulosta.