Amazon setzt bei der Bewertung von KI in der Softwareentwicklung einen anderen Akzent: Nicht wie oft Beschäftigte KI verwenden, sondern ob sie damit bessere Ergebnisse erzielen, soll ausschlaggebend sein. Eine überarbeitete Leitlinie für Softwareentwickler wurde im September intern verbreitet und am 27. Oktober veröffentlicht.
3
8 Veröffentlicht wurde sie von Terk Terkowitz, Vizepräsident und Distinguished Engineer bei Amazon.
15
Warum Token- und Code-Zahlen als Maßstab nicht reichen
Tokenverbrauch, die Verbreitung von KI-Tools und Zahlen zu Code-Änderungen oder Reviews messen zunächst Aktivität. Sie zeigen aber nicht automatisch, ob ein Team bessere Software entwickelt oder Kundinnen und Kunden einen größeren Nutzen bietet. Amazon bezeichnet solche Kennzahlen deshalb als „tiefgreifend fehlerhaft“, wenn sie isoliert zur Bewertung herangezogen werden.
5
7
14
Das bedeutet nicht, dass Amazon von KI abrät. Die Leitlinie stellt vielmehr das Ergebnis über das verwendete Werkzeug: KI soll dort helfen, wo sie einen sinnvollen Beitrag leistet. Mehr Nutzung allein ist kein Beleg für mehr Produktivität.
6
7
Die Gefahr des „Tokenmaxxing“
Mit „Tokenmaxxing“ ist gemeint, KI übermäßig einzusetzen, ohne ausreichend darauf zu achten, ob die Antworten oder der erzeugte Code tatsächlich nützlich sind.
2
14 Wird eine Kennzahl zum Ziel statt zu einem Hinweis, kann der Anreiz entstehen, den Verbrauch künstlich zu steigern. Das kann zusätzliche Kosten verursachen und unnötige Komplexität schaffen, ohne dass dadurch bessere Ergebnisse entstehen.
7
9
Amazon hatte zuvor eine interne Rangliste zur KI-Nutzung im Mai abgeschafft, nachdem Beschäftigte offenbar hohe Tokenzahlen erreichen wollten. Berichten zufolge wurden dafür teils auch unnötige Aufgaben ausgeführt.
9 Das Beispiel zeigt, wie leicht ein scheinbar einfacher Messwert das Verhalten in eine Richtung lenken kann, die mit produktiver Arbeit nicht gleichzusetzen ist.
Nutzung beobachten, aber nicht mit Leistung verwechseln
Die Leitlinie spricht sich dafür aus, KI selektiv einzusetzen und Nutzungs- oder Code-Daten zusammen mit anderen Informationen zu betrachten. Wichtiger als kurzfristige Aktivitätswerte seien längerfristige Ergebnisse.
6
13 Zugleich sollen Führungskräfte offenbar Teams mit besonders hoher und besonders niedriger KI-Nutzung betrachten.
14 Solche Vergleiche können Hinweise darauf geben, wo ein Einsatz funktioniert oder Hindernisse bestehen; sie sind aber nicht automatisch ein Urteil über die Leistung eines Teams.
Die verfügbaren Quellen bestätigen nicht alle Details, die zu der Leitlinie im Umlauf sind. Insbesondere lassen sich daraus keine verlässlichen Aussagen zu „Feature Velocity“, zur Dokumentation erfolgloser KI-Einsätze, zu konkreten Schwellenwerten für die obersten oder untersten zehn Prozent der Teams oder zu Amazons Token-Obergrenzen ableiten. Auch Vergleiche mit anderen Unternehmen, die angeblich Limits setzen oder auf günstigere Open-Source-Modelle wechseln, sind hier nicht belegt.
Der belegte Kern ist dennoch klar: Amazon will den KI-Einsatz fördern, aber Verbrauch nicht mit Leistung gleichsetzen. Entscheidend soll sein, ob KI die technische Arbeit und die Geschäftsergebnisse verbessert – nicht, ob die Nutzungsstatistik steigt.
1
6
7