Zespół, który zużywa więcej tokenów AI albo generuje więcej kodu, nie musi pracować skuteczniej. Taki jest główny przekaz zaktualizowanych wytycznych Amazona dla inżynierów oprogramowania: liczy się rezultat, a nie samo użycie konkretnego narzędzia.
5
6
Dokument, opublikowany 27 października, wcześniej krążył wewnętrznie we wrześniu. Podpisał go Terk Terkowitz, wiceprezes Amazona i distinguished engineer.
8
15
Aktywność to nie to samo co produktywność
Amazon określa liczbę użytych tokenów, popularność narzędzi AI oraz liczbę zmian i przeglądów kodu jako „głęboko wadliwe” mierniki, jeśli mają samodzielnie świadczyć o wynikach zespołu. Mogą pokazywać, że narzędzia są używane albo że kod się zmienia — nie przesądzają jednak, czy powstało lepsze oprogramowanie lub poprawiło się doświadczenie klientów.
5
7
Firma nie odrzuca przez to AI. Wskazuje raczej, że należy używać go tam, gdzie pomaga, a dane o wykorzystaniu narzędzi rozpatrywać razem z innymi informacjami i długofalowymi efektami pracy.
6
13
Czym jest „tokenmaxxing” — i dlaczego może się nie opłacać?
„Tokenmaxxing” oznacza nadmierne korzystanie z narzędzi AI bez odpowiedniej troski o jakość uzyskiwanych rezultatów.
2
14 Jeśli pracownicy próbują poprawiać swoje wyniki w rankingu przez samo zwiększanie użycia, mogą wykonywać zbędne zadania zamiast rozwiązywać realne problemy.
9
Ma to także wymiar kosztowy. Tokeny to jednostki tekstu przetwarzane przez model; dokumentacja AWS wskazuje, że ich liczba jest głównym czynnikiem kosztowym w Amazon Bedrock. Większe zużycie nie jest więc darmowym dowodem postępu — a sama statystyka nie mówi, czy dodatkowa praca była potrzebna.
Adopcja AI nadal ma znaczenie, ale nie jako ranking
Z doniesień wynika, że Amazon zachęca do szerszego wdrażania AI, a menedżerowie mają przyglądać się zespołom, w których adopcja narzędzi jest najwyższa i najniższa.
4 Taki przegląd może pomóc ustalić, co działa i gdzie potrzebne jest wsparcie. Nie powinien jednak automatycznie zamieniać się w ocenę produktywności na podstawie samego wskaźnika użycia — to wniosek z opisanego podejścia, a nie cytat z wytycznych.
5
6
Wcześniejszy wewnętrzny ranking użycia AI Amazon zlikwidował w maju po tym, jak pracownicy zaczęli skupiać się na podbijaniu liczby tokenów. Doniesienia opisywały też wykonywanie zbędnych zadań w celu zwiększenia statystyk.
9
12 To przykład ryzyka, przed którym ostrzega firma: gdy miernik staje się celem, może premiować aktywność zamiast wartościowej pracy.
Co wiadomo, a czego nie potwierdzają dostępne materiały
Źródła potwierdzają główną zasadę: AI warto oceniać przez pryzmat jakości pracy i efektów biznesowych, a nie wyłącznie zużycia tokenów czy liczby zmian w kodzie.
5
6 Nie potwierdzają natomiast szczegółowych zapisów dotyczących „feature velocity”, dokumentowania i dzielenia się przykładami, w których AI nie pomogło, ani dokładnych progów obejmujących 10 proc. zespołów o najwyższej i najniższej adopcji.
Dostępne materiały nie pozwalają też zweryfikować informacji o braku limitów tokenów w Amazonie ani o limitach lub przechodzeniu na tańsze modele open source w innych firmach. Wspierają za to bardziej ograniczony, ale istotny wniosek: Amazon chce promować korzystanie z AI, nie utożsamiając go z produktywnością. Ostatecznym sprawdzianem ma być to, czy narzędzie pomaga osiągać lepsze wyniki.
5
6