MS의 'AI 줄서기'가 드러낸 씁쓸한 진실: 오픈AI 최대 투자자가 AI 과소비를 단속하다

'토큰맥싱'은 게임 같은 행동으로 변질됐습니다. 엔지니어들은 판타지 풋볼 점수를 매기듯 내부 리더보드에서 경쟁적으로 토큰 사용량을 늘리기 시작했습니다 . 하지만 이는 측정 가능한 비즈니스 가치로 이어지지 않았고, 회사들은 "모든 것에 AI를 적용"하는 방식이 생산성 향상 없이 비용만 증가시킨다는 사실을 깨달았습니다 .

사티아 나델라 CEO가 직접 개입하여 모든 업무에 가장 강력한 AI 모델을 사용하지 말고, 문제의 복잡성에 맞는 모델을 선택하라고 지시했습니다 . MS는 내부 기본 모델을 더 저렴한 GPT-5.6으로 전환하고, 대다수 직원의 Claude Code 라이선스를 회수하여 비용 누수를 막았습니다 .

AI 성공 측정 방식의 근본적 변화

업계는 허영 지표로서의 토큰 사용량에서 AI 투자 수익에 대한 결과 기반 측정으로 전환하고 있습니다.

토큰 리더보드 폐기. 아마존과 메타는 직원들이 조작한 내부 AI 토큰 사용량 리더보드를 폐기했습니다 . 메타 CTO 앤드루 보즈워스는 직원들에게 "모든 움직임이 진전은 아니며, 토큰 사용량 자체는 어떤 종류의 영향력 측정 지표도 아니다"라고 경고했습니다 .

토큰 수를 배포 지표로 대체. 아마존은 'KiroRank' 시스템을 '정규화된 배포( normalized deployments)'로 대체했습니다. 이는 AI의 도움을 받은 코드 중 실제 프로덕션에 도달한 것만을 계산하는 방식입니다 .

엔지니어별 상한선 및 모델 계층화. 메타는 엔지니어별 AI 토큰 상한선을 도입하는 방안을 검토 중입니다 . 기업들은 올바른 (더 저렴한) 모델을 올바른 역할에 고정하는 '모델 수준 권한'으로 전환하고, 지출 임계값 알림을 설정하고 있습니다 .

사용량 극대화가 아닌 예산 통제. Atlassian은 월 AI 청구액이 약 500만 달러에서 1500만 달러 이상으로 급증하자 지출을 제한했습니다 . 씨티은행(Citi)은 개발자들이 공동 AI 크레딧의 "기업 소비 증가의 주요 원인"이 되자 최신 Claude 및 ChatGPT 모델에 대한 접근을 일시적으로 차단했습니다 . Anthropic은 78%의 기업이 예상치 못한 AI 청구서를 받았다는 조사 결과에 따라 기업 지출 통제 도구를 출시했습니다 .

핵심 교훈: 토큰은 시트(좌석)가 아닙니다. 기존 SaaS와 달리 생성형 AI는 모든 프롬프트, 재시도, 에이전트 루프마다 비용이 증가합니다 . 업계는 이제 AI를 무한한 생산성의 비약이 아니라 다른 중요한 투입 자원과 동일한 재정적 규율이 필요한 통제된 자원으로 취급하고 있으며, 성과를 원시 토큰 소모량이 아닌 배포된 코드, 해결된 티켓, 또는 수익 영향으로 측정하고 있습니다.