Miten tekoälyn tuotto pitäisi laskea? OpenAI ehdottaa uutta mittaria

”Ohjelmistoja mitattiin vuosien ajan käyttöönoton perusteella: lisenssipaikkoina, aktiivisina käyttäjinä ja uusintoina. Tekoäly on erilainen – sitä pitää mitata tehdyn työn perusteella”, Friar kirjoitti LinkedInissä .

Ajatus haastaa perinteisen ohjelmistomittarin. Se, että tekoälymalli on halpa per token, ei vielä tarkoita, että sillä syntyvä työ olisi halvinta mahdollista. Jos malli tekee paljon virheitä, vaatii useita yrityksiä tai tarvitsee jatkuvaa ihmisen tarkistusta, kustannus voi nousta suuremmaksi kuin tehokkaammalla mutta kalliimmalla mallilla .

Neljän kysymyksen tekoäly-scorecard

Friarin ehdottama kehys muuttaa epämääräisen ”käytämme tekoälyä” -puheen neljäksi kysymykseksi, joiden avulla tekoälyn tuottoa voidaan arvioida käytännössä .

1. Suorittaako tekoäly merkityksellistä työtä?

Yrityksen pitäisi mitata todellisia lopputuloksia eikä pelkkiä kysely- tai käyttömäärätilastoja. Tällaisia tuloksia voivat olla esimerkiksi asiakkaan ongelman ratkaiseminen, koodimuutoksen julkaiseminen tai sopimuksen tarkistaminen .

Friarin mukaan tokenit tuottavat arvoa vasta, kun ne muuttuvat työksi, jota ihmiset voivat hyödyntää . Painopiste siirtyy siis aktiivisuudesta vaikutukseen: ei siihen, kuinka monta kyselyä tehtiin, vaan siihen, mitä niiden avulla saatiin valmiiksi.

2. Mitä yksi onnistunut tehtävä maksaa?

Laskelmaan pitäisi sisällyttää koko tehtävän kustannus. Se tarkoittaa tekoälyn laskentaa, uudelleenyrityksiä, ihmisen tekemää tarkistusta ja virheiden korjaamista .

Näin yritys voi huomata, että edullinen malli ei aina ole kustannustehokkain. Usein epäonnistuva järjestelmä voi tulla yhtä onnistunutta lopputulosta kohti kalliimmaksi kuin malli, joka tekee työn oikein yhdellä yrityksellä .

3. Kuinka usein tekoäly tekee työn oikein?

Kolmas mittari on luotettavuus eli se, kuinka suuri osa tuotoksista on heti käyttövalmiita ja kuinka usein niitä täytyy korjata tai siirtää ihmisen arvioitaviksi .

Mitä vähemmän ihmisen väliintuloa tarvitaan, sitä pienemmiksi kokonaiskustannukset voivat jäädä ja sitä enemmän järjestelmään voidaan luottaa. Kyse on käytännössä tekoälyn laadunvarmistuksesta: pelkkä kyvykkyys ei riitä, jos lopputulos ei ole tasalaatuinen.

4. Tuottaako jokainen tekoälyyn käytetty dollari enemmän arvoa käytön kasvaessa?

Yritysten pitäisi seurata, syntyykö ajan mittaan enemmän laadukasta työtä ilman, että kustannukset kasvavat samassa suhteessa tai kiihtyvät jyrkästi .

Tätä ajatusta kuvataan lähteissä myös käsitteellä return on compute eli laskentatehon tuotto (ROC). Termi on lainattu puolijohde- ja datakeskusliiketoiminnan talousajattelusta . Se auttaa arvioimaan, tuottavatko tekoälyinvestoinnit käytön kasvaessa kumuloituvaa hyötyä vai pieneneekö lisäkäytön arvo.

Miten malli otetaan käyttöön?

Kehys on tarkoitettu seurattavaksi nykyisillä työkaluilla ja yrityksen omista työnkuluista saatavilla tiedoilla . Käytännössä tiimi voi:

1. määritellä tarkasti, mitä ”valmis” tarkoittaa tietyssä työssä;
2. laskea onnistuneiden tehtävien määrän;
3. summata tehtävän kokonaiskustannukset, mukaan lukien ihmistyö;
4. seurata hyväksymisastetta sekä laadun muutosta ajan mittaan .

Tällainen lähestymistapa käsittelee tekoälyä tuotannollisena voimavarana eikä vain ohjelmistolisenssinä. Samalla se tarjoaa talous- ja teknologiajohdolle tavan vastata kysymykseen, jonka Friar kertoo kuulevansa kollegoiltaan: miten tekoälyyn käytetyistä rahoista saadaan enemmän arvoa?

Miksi mittaria tarvitaan juuri nyt?

Yritysten tekoälymenot ovat kasvaneet nopeasti, mutta monilta organisaatioilta puuttuu edelleen selkeä tapa osoittaa investointien tuotto. OpenAI on kertonut miljardin dollarin kuukausittaisesta liikevaihdosta ja yli 500 miljoonasta yrityskäyttöön myydystä paikasta . Nämä luvut kuvaavat markkinan mittakaavaa, mutta eivät yksin kerro, kuinka paljon arvoa yksittäinen yritys tekoälystä saa.

Friar on kuvannut ongelmaa aiemmin termillä capability overhang: tekoälyn kyvykkyyksien ja yritysten niistä tosiasiassa saavuttaman arvon välinen kuilu . Toisin sanoen teknologia voi osata enemmän kuin organisaatio pystyy nykyisillä prosesseillaan, datallaan ja järjestelmillään hyödyntämään.

”Hyödyllistä älykkyyttä dollaria kohden” ei ratkaise tätä kuilua itsestään. Se voi kuitenkin auttaa tekemään sen näkyväksi. Kun kustannukset, onnistumisaste ja työn todelliset lopputulokset kirjataan läpinäkyvästi, yritys voi siirtyä uskoon perustuvista tekoälyhankkeista näyttöön perustuvaan päätöksentekoon.