Amazon veut que ses ingénieurs évaluent l’IA à l’aune du travail accompli, pas du nombre de fois où ils l’utilisent. Dans une mise à jour de ses consignes sur le rôle des développeurs, publiée le 27 octobre après avoir circulé en interne en septembre, l’entreprise insiste sur les résultats plutôt que sur les outils employés.
5
8
Le message, publié par Terk Terkowitz, vice-président et ingénieur distingué chez Amazon, ne revient pas à déconseiller l’IA. Il invite plutôt les équipes à vérifier si elle améliore réellement le travail et les résultats pour l’entreprise.
5
15
Pourquoi les indicateurs d’usage peuvent induire en erreur
Amazon qualifie d’« profondément imparfaits » plusieurs indicateurs lorsqu’ils servent à évaluer l’adoption de l’IA : le nombre de tokens consommés, la part des équipes qui utilisent les outils et le volume de changements ou de revues de code.
5
7 Ces chiffres peuvent décrire une activité, mais ne disent pas à eux seuls si le logiciel ou l’expérience client s’en trouvent améliorés.
4
5
Le risque est qu’un indicateur devienne une cible. Le « tokenmaxxing » consiste à multiplier les interactions avec l’IA pour gonfler les chiffres, sans se soucier suffisamment de la qualité du résultat.
2
14 Une utilisation superflue peut aussi alourdir la facture et compliquer le travail : chaque échange mobilise des ressources de calcul, et les indicateurs ne garantissent pas une meilleure productivité.
7
9
Des chiffres à interpréter, pas à maximiser
Les consignes ne demandent pas d’ignorer les données d’usage. Elles recommandent de les considérer avec discernement, parmi d’autres éléments, et de juger la valeur de l’IA sur des résultats durables plutôt que sur les volumes consommés.
7
11
13 Autrement dit, le nombre de tokens ou de modifications de code peut fournir du contexte, mais ne devrait pas devenir, à lui seul, un objectif de performance.
Amazon avait déjà mis fin en mai à un classement interne lié à l’usage de l’IA, après que des employés eurent cherché à faire grimper leurs chiffres. Des témoignages rapportés évoquent aussi des tâches inutiles lancées pour augmenter les compteurs.
1
9 Certains salariés craignaient que la pression en faveur de l’IA récompense une activité gaspilleuse plutôt que du travail productif.
4
L’entreprise demande par ailleurs aux responsables d’examiner les équipes où l’adoption est la plus forte et la plus faible.
4 Ce suivi peut servir à comprendre ce qui fonctionne, mais les informations disponibles ne permettent pas de confirmer des seuils précis — comme un examen des 10 % d’équipes en haut et en bas du classement.
Ce que les informations disponibles ne précisent pas
Les extraits cités ne permettent pas de confirmer les consignes détaillées sur la documentation des cas où l’IA n’aide pas, le partage de ces retours, l’usage de l’IA par les dirigeants dans leur propre travail de production ou l’évaluation de la « vitesse de livraison des fonctionnalités ». Ils ne permettent pas non plus d’établir qu’Amazon n’impose aucun plafond de tokens, ni de vérifier les comparaisons avec des entreprises qui auraient plafonné leur usage ou adopté des modèles open source moins coûteux.
Le principe central reste clair : Amazon souhaite encourager l’adoption de l’IA sans confondre consommation et performance. La question décisive n’est pas de savoir combien l’outil a été utilisé, mais s’il a contribué à de meilleurs résultats.
5
6
7