„Užitečná inteligence za dolar“: nový způsob, jak měřit návratnost AI

„Po léta se software měřil podle adopce: licencí, aktivních uživatelů a prodloužení smluv,“ uvedla Friar v příspěvku na LinkedIn. „AI je jiná — musí se měřit podle vykonané práce“ .

Z toho vyplývá důležitý rozdíl: nejnižší cena za token nemusí znamenat nejnižší cenu za skutečný výsledek. Model, který často chybuje, vyžaduje opakované spuštění a lidské opravy, může být ve výsledku dražší než výkonnější model, který úkol zvládne napoprvé .

Čtyři otázky pro hodnocení návratnosti AI

1. Dokončuje AI práci, na které skutečně záleží?

Firmy by neměly sledovat jen počet dotazů, promptů nebo minut strávených v nástroji. Důležitější je množství reálně dokončených úkolů: vyřešených zákaznických problémů, odeslaných změn v kódu nebo zkontrolovaných smluv .

„Tokeny vytvářejí hodnotu teprve tehdy, když se promění v práci, kterou mohou lidé použít,“ napsala Friar . Pozornost se tak přesouvá od metrik aktivity k metrikám dopadu — od otázky, kolik se toho v systému odehrálo, k otázce, co se díky AI skutečně podařilo dokončit.

2. Kolik stojí jeden úspěšně dokončený úkol?

Do výpočtu je nutné zahrnout celkové náklady na úkol, který splní požadované standardy. Patří sem inference, tedy provoz modelu, opakované pokusy, kontrola člověkem i případné přepracování .

Takový výpočet pomáhá odhalit skryté náklady. Levný model s vysokou chybovostí může stát za jeden použitelný výsledek více než prémiový model, který úkol vyřeší na první pokus .

3. Jak často AI odvede práci správně?

Dalším ukazatelem je spolehlivost neboli podíl výstupů, které jsou připravené k použití, oproti těm, jež vyžadují opravu nebo předání člověku .

Méně lidských zásahů obvykle znamená nižší celkové náklady a větší důvěru v systém. Nejde tedy jen o to, co AI teoreticky dokáže, ale jak konzistentně dokáže dodat výsledek v běžném provozu.

4. Přináší každý další dolar do AI s růstem využití větší hodnotu?

Firmy mají sledovat, zda AI postupně zvládá více kvalitní práce, aniž by náklady rostly exponenciálně. Tento přístup se označuje také jako návratnost výpočetního výkonu neboli return on compute (ROC), což je pojem převzatý z financování polovodičů a datových center .

Otázka je zásadní při rozhodování o rozšíření projektu: přináší větší nasazení AI kumulativní výnosy, nebo se její přínos po čase začíná snižovat?

Jak lze rámec zavést do praxe

Metodika má být ověřitelná pomocí nástrojů, které firmy už používají . Tým nejprve pro konkrétní pracovní postup přesně definuje, co znamená „hotovo“. Poté eviduje úspěšně dokončené úkoly, sečte celkové náklady včetně času lidí a sleduje míru úspěšnosti i vývoj kvality .

Přístup Sarah Friar tak zachází s AI spíše jako s produktivním aktivem než jako s běžnou softwarovou licencí. CFO a technologickým manažerům nabízí strukturovaný způsob, jak odpovědět na otázku, kterou podle Friar často slýchá od svých kolegů: „Jak z našich výdajů na AI získat větší hodnotu?“

Proč se o nové měření mluví právě teď

Návrh přichází v době rychlého růstu podnikových výdajů na AI. OpenAI samo uvedlo měsíční tržby ve výši 1 miliardy dolarů a více než 500 milionů prodaných podnikových licencí . Mnoha organizacím však stále chybí jasný rámec pro vyčíslení návratnosti, což vytváří „nesoulad mezi schopnostmi AI a hodnotou, kterou z nich firmy skutečně získávají“ .

Friar tento problém už dříve popsala jako „přebytek schopností“ (capability overhang) — rozdíl mezi tím, co AI dokáže, a tím, co jsou organizace schopné využít pro skutečnou obchodní hodnotu .

Čtyři otázky založené na dohledatelných údajích o nákladech a kvalitě mohou firmám pomoci přejít od investic založených na očekávání k rozhodování opřenému o měřitelná data. Hlavní myšlenka je jednoduchá: návratnost AI se nemá posuzovat podle toho, kolik nástroj používá lidí, ale podle toho, kolik užitečné práce za vynaložené peníze skutečně vznikne.