Amazonin päivitetyn ohjelmistokehittäjien ohjeistuksen ydin on selvä: tekoälyn käyttö ei itsessään todista, että työ olisi tuottavampaa. Arvioinnissa pitäisi katsoa ennen kaikkea sitä, parantaako tekoäly työn tulosta ja liiketoimintavaikutusta.
5
6
Amazonin varatoimitusjohtaja ja distinguished engineer Terk Terkowitzin allekirjoittama ohjeistus kiersi yhtiön sisällä syyskuussa ja julkaistiin 27. lokakuuta.
1
3
5
Käyttömäärä ei ole sama asia kuin hyöty
Ohjeistus kutsuu tokenien käyttöä, tekoälytyökalujen käyttöönoton laajuutta ja koodimuutosten tai koodikatsausten määrää ”erittäin virheellisiksi” mittareiksi silloin, kun niillä yritetään yksin arvioida tekoälyn käyttöä tai tiimien suoriutumista.
5
7 Ne kertovat toiminnasta, mutta eivät välttämättä siitä, syntyikö parempaa ohjelmistoa tai paraniko asiakaskokemus.
4
6
Tokenmaxxing tarkoittaa tekoälytyökalujen runsasta käyttämistä lähinnä käyttötilastojen kasvattamiseksi, vaikka tulosten laatuun ei kiinnitettäisi riittävästi huomiota.
2
14 Tällainen käyttö voi kasvattaa kustannuksia ja lisätä työn tarpeetonta monimutkaisuutta.
7
10 Kustannukset eivät ole vain teoreettinen huoli: AWS:n ohjeistuksen mukaan tokenien määrä on Amazon Bedrockissa merkittävä kustannustekijä.
Mittareita voi tarkastella, mutta ei käyttää oikopolkuna
Amazon ei ohjeistuksen mukaan kiellä käyttömäärien tai koodimuutosten seuraamista. Niitä pitäisi kuitenkin tulkita harkiten ja muiden tietojen rinnalla, eikä käyttää yksin suorituskyvyn mittana.
11
13 Tärkeämpää on arvioida, näkyykö tekoälyn hyöty työn ja liiketoiminnan pidemmän aikavälin tuloksissa.
1
13
Sama periaate auttaa ymmärtämään, miksi Amazon tarkastelee tiimejä, joissa tekoälyn käyttö on runsasta tai vähäistä: käyttöaste voi antaa aiheen selvittää, mikä toimii ja missä tarvitaan tukea. Se ei kuitenkaan yksin kerro, mikä tiimi suoriutuu parhaiten.
4
Mittareiden ongelma tuli esiin myös sisäisessä käyttötaulukossa. Amazonin kerrotaan poistaneen toukokuussa tekoälyn käyttöä seuranneen tulostaulukon sen jälkeen, kun työntekijät pyrkivät kasvattamaan token-lukujaan. Raporttien mukaan osa henkilöstöstä teki tarpeettomia tehtäviä lukemien nostamiseksi.
1
9 Käyttömäärän palkitseminen voi siis kannustaa aktiivisuuteen, joka ei vielä osoita tuottavuutta.
Harkinta kuuluu tekoälyn käyttöön
Ohjeistuksen viesti ei ole, että tekoälystä pitäisi pidättäytyä. Amazonin mukaan insinöörien kannattaa käyttää sitä silloin, kun se auttaa, ja arvioida sen arvoa lopputulosten perusteella.
3
13 Tekoälyn käyttöönoton edistäminen ja harkittu käyttö eivät ole ristiriidassa, jos käyttötilastoja pidetään keskustelun lähtökohtana eikä työntekijän tai tiimin onnistumisen korvikkeena.
Saatavilla olevat lähteet eivät vahvista ohjeistuksen tarkkoja linjauksia esimerkiksi ”feature velocitystä”, tekoälyn epäonnistuneiden käyttötapausten dokumentoinnista tai ylimmän ja alimman kymmenyksen tarkastelusta. Niistä ei myöskään voi varmistaa Amazonin tokenrajoituksia tai muiden yhtiöiden käytäntöjä. Varmimmin tuettu johtopäätös on, että Amazon haluaa lisätä tekoälyn käyttöä tekemättä käyttömäärästä tuottavuuden mittaa.
5
6
7