Amazon обновила рекомендации для разработчиков: важен результат работы, а не то, каким инструментом он достигнут. Документ сначала распространили внутри компании в сентябре, а 27 октября опубликовали на сайте Amazon. Его подписал Терек Теркoвиц (Terk Terkowitz), вице-президент и заслуженный инженер компании.
5
8
15
Почему счётчики не равны продуктивности
Расход токенов — объём текста, который модель обрабатывает и генерирует, — показывает активность, но сам по себе не говорит, стало ли решение лучше. То же относится к доле сотрудников, использующих ИИ, и числу изменений или проверок кода. Amazon называет такие показатели крайне ненадёжными, когда ими пытаются измерять пользу ИИ или оценивать работу команд: они могут быть оторваны от того, что действительно важно.
5
7
Если сделать счётчик целью, появляется соблазн увеличить цифру ради самой цифры. Так называемый tokenmaxxing — чрезмерное использование ИИ без достаточного внимания к качеству результата — может превратить инструмент в источник лишних задач, расходов и ненужной сложности.
2
7
10 Расход токенов имеет и прямую финансовую сторону: документация AWS называет их количество главным фактором стоимости в Amazon Bedrock.
1
ИИ — по делу, а результаты — в долгую
Рекомендации не означают, что инженерам следует избегать ИИ. Amazon предлагает применять его избирательно и оценивать пользу по результатам для клиентов и бизнеса в долгосрочной перспективе, а не по одному показателю использования.
1
6
13 Метрики вроде расхода токенов или объёма изменений в коде могут дать контекст, но не должны подменять оценку реальной ценности работы.
11
14
На первый взгляд, призыв к осторожности соседствует с желанием Amazon ускорить внедрение ИИ. В опубликованных сообщениях говорится, что менеджерам предлагают изучать команды с наиболее высокими и низкими показателями использования.
4
14 Эти подходы совместимы, если такие данные помогают выяснить, где инструмент приносит пользу и почему, а не становятся автоматическим рейтингом продуктивности. Это интерпретация описанного подхода, а не дословная формулировка рекомендаций.
Урок внутреннего рейтинга
По сообщениям, в мае Amazon закрыла внутренний рейтинг использования ИИ после того, как сотрудники стали гнаться за количеством токенов; также сообщалось о выполнении ненужных задач ради роста показателей.
1
9 Этот пример показывает риск системы, в которой вознаграждается измеряемая активность, а не доказанная польза.
При этом доступные источники не позволяют подтвердить все подробности из более широких утверждений о документировании случаев, когда ИИ не помог, показателе «скорости выпуска функций», конкретных порогах для верхних и нижних 10% команд или об ограничениях на токены у других компаний. Подтверждённый вывод уже и проще: Amazon хочет распространения ИИ, но предостерегает от использования его ради статистики. Проверка — улучшает ли он инженерный результат и пользу для бизнеса, а не насколько велик счётчик.
5
6
7