Amazon wil dat software-ingenieurs AI gebruiken wanneer die helpt, maar niet dat ze worden beoordeeld op hoeveel AI ze inzetten. In een aangepaste richtlijn stelt het bedrijf dat het resultaat belangrijker is dan de gebruikte hulpmiddelen. De richtlijn circuleerde intern in september en werd op 27 oktober gepubliceerd.
3
5
Waarom de cijfers tekortschieten
Tokengebruik, de mate waarin teams AI-tools hebben ingevoerd en aantallen codewijzigingen of codebeoordelingen kunnen iets zeggen over activiteit. Maar op zichzelf laten ze niet zien of software beter wordt of klanten en het bedrijf er iets aan hebben. Amazon noemt zulke maatstaven daarom ‘diep gebrekkig’ wanneer ze als doel op zich worden gebruikt.
5
7
Dat is de kern van de waarschuwing tegen tokenmaxxing: AI-tools overmatig gebruiken om de gebruikscijfers op te krikken, zonder voldoende aandacht voor de kwaliteit of het nut van de uitkomst.
2
14 Meer tokens betekenen bovendien meer verbruik van rekencapaciteit. AWS noemt het aantal tokens de grootste kostenfactor in Amazon Bedrock en adviseert prompts en uitvoer waar mogelijk te beperken.
1
Gebruik cijfers als aanwijzing, niet als eindscore
De richtlijn pleit niet voor minder AI-gebruik omwille van minder AI-gebruik. Ingenieurs moeten de technologie inzetten wanneer die waarde toevoegt, en de effecten beoordelen aan de hand van bredere gegevens en resultaten op langere termijn.
6
13 Tokengebruik of codewijzigingen kunnen daarbij context bieden, maar zijn geen zelfstandige productiviteitsmaatstaf.
6
13
Ook adoptiecijfers kunnen nuttig zijn als aanleiding om vragen te stellen. Volgens een bericht over de richtlijn wil Amazon dat managers kijken naar teams met zowel de hoogste als de laagste AI-adoptie.
14 Dat kan helpen ontdekken waar AI werkt en waar niet; het betekent niet automatisch dat het team met de hoogste cijfers beter presteert.
De les van een interne ranglijst
Amazon heeft in mei een interne ranglijst voor AI-gebruik stopgezet nadat medewerkers volgens berichtgeving tokenscores probeerden op te voeren. Er zouden zelfs onnodige taken zijn uitgevoerd om de cijfers te verhogen.
9 Zo’n ranglijst kan gebruik belonen zonder te laten zien of het werk daardoor beter of productiever wordt.
6
9
De beschikbare informatie onderbouwt dus vooral een algemene boodschap: moedig AI-gebruik aan, maar beoordeel engineers op de waarde van hun werk. De aangeleverde bronnen bevestigen niet alle specifieke details uit de bredere vraag, zoals richtlijnen over ‘feature velocity’, het delen van voorbeelden waarbij AI niet hielp, precies welke groepen managers moeten vergelijken, of hoe andere bedrijven AI-gebruik begrenzen. De kern blijft wel helder: meer AI-gebruik is niet hetzelfde als betere resultaten.
5
6
7