「Tokenmaxxing」呢個字嘅意思係「極大化Token消耗」。Token係生成式AI嘅基本計價單位,大約等於¾個英文字詞。工程師用AI寫Code、問問題、開Agent去自動完成任務,每個動作都要消耗Token,每個Token都係錢。
喺微軟內部,工程師竟然整咗個內部排行榜,鬥快消耗最多Token,就好似玩Fantasy Football咁鬥高分。有人用最貴嘅AI模型(即係所謂嘅「前沿模型」)去做啲簡單到爆嘅任務,例如改個變數名、問一句天氣,每個月嘅Token開支可以去到幾千美元一個人。
CEO Satya Nadella喺《紐約時報》嘅「Hard Fork」Podcast入面承認,公司內部有「好多」Tokenmaxxing問題。佢話:「我都係一個Tokenmaxxer,呢樣嘢好上癮㗎。但當新鮮感過咗,就要諗清楚——你究竟想創造啲咩?」
結果公司要做出以下調整:
微軟唔係唯一一個要咁做嘅公司。成個科技行業都發現呢條數唔對路——AI開支狂升但生產力冇跟住升,CEO開始話「Token唔係座位」,唔可以當係傳統SaaS咁每個月畀個固定月費就算。
Amazon同Meta已經取消咗內部Token消耗排行榜,因為員工會「打假波」——刻意燒Token嚟谷高個分。Meta CTO Andrew Bosworth同員工講:「所有動作唔等於進步,Token消耗量唔係衡量影響力嘅指標。」
Amazon用「正常化部署量」取代咗Token排行榜,即係只計真正上線(Production)嘅AI輔助代碼,唔係計你問咗幾多個問題。
Meta正考慮為每個工程師設Token上限,即係每人每月可以用幾多Token都有個筍。
Atlassian嘅每月AI開支由約500萬美元暴升到超過1500萬美元,最後要設上限。
Citi一度暫停開發者使用最新嘅Claude同ChatGPT模型,話呢啲模型係「企業AI信用額消耗嘅主要元兇」。
呢場AI開支大清洗嘅核心教訓係:Token唔係座位(Tokens are not seats)。傳統SaaS軟件係每個用戶每個月畀固定錢,但生成式AI嘅成本會隨每個Prompt、每次重試、每個Upload、每個Agent Loop而不斷擴大。
業界而家開始用新嘅指標去衡量AI成功:
BCG(波士頓諮詢公司)建議企業用「Return on AI (RoAI)」——即係AI回報率——去衡量每分Token投入嘅實際產出。
微軟呢個案例係整個AI行業嘅縮影:當初各大科技公司瘋狂推AI畀企業客戶,話可以提升生產力、節省成本;但自己內部都管唔住員工亂用AI,搞到要CEO親自落場煞車。
連全球最大嘅AI投資者都要對員工實施AI使用限制,呢件事本身就說明咗一個殘酷嘅現實:AI唔係無限嘅生產力仙丹,佢係一個要好似其他資源咁嚴格管理嘅昂貴工具。
「Tokenmaxxing」呢個字嘅意思係「極大化Token消耗」。Token係生成式AI嘅基本計價單位,大約等於¾個英文字詞。工程師用AI寫Code、問問題、開Agent去自動完成任務,每個動作都要消耗Token,每個Token都係錢。
喺微軟內部,工程師竟然整咗個內部排行榜,鬥快消耗最多Token,就好似玩Fantasy Football咁鬥高分。有人用最貴嘅AI模型(即係所謂嘅「前沿模型」)去做啲簡單到爆嘅任務,例如改個變數名、問一句天氣,每個月嘅Token開支可以去到幾千美元一個人。
CEO Satya Nadella喺《紐約時報》嘅「Hard Fork」Podcast入面承認,公司內部有「好多」Tokenmaxxing問題。佢話:「我都係一個Tokenmaxxer,呢樣嘢好上癮㗎。但當新鮮感過咗,就要諗清楚——你究竟想創造啲咩?」
結果公司要做出以下調整:
微軟唔係唯一一個要咁做嘅公司。成個科技行業都發現呢條數唔對路——AI開支狂升但生產力冇跟住升,CEO開始話「Token唔係座位」,唔可以當係傳統SaaS咁每個月畀個固定月費就算。
Amazon同Meta已經取消咗內部Token消耗排行榜,因為員工會「打假波」——刻意燒Token嚟谷高個分。Meta CTO Andrew Bosworth同員工講:「所有動作唔等於進步,Token消耗量唔係衡量影響力嘅指標。」
Amazon用「正常化部署量」取代咗Token排行榜,即係只計真正上線(Production)嘅AI輔助代碼,唔係計你問咗幾多個問題。
Meta正考慮為每個工程師設Token上限,即係每人每月可以用幾多Token都有個筍。
Atlassian嘅每月AI開支由約500萬美元暴升到超過1500萬美元,最後要設上限。
Citi一度暫停開發者使用最新嘅Claude同ChatGPT模型,話呢啲模型係「企業AI信用額消耗嘅主要元兇」。
呢場AI開支大清洗嘅核心教訓係:Token唔係座位(Tokens are not seats)。傳統SaaS軟件係每個用戶每個月畀固定錢,但生成式AI嘅成本會隨每個Prompt、每次重試、每個Upload、每個Agent Loop而不斷擴大。
業界而家開始用新嘅指標去衡量AI成功:
BCG(波士頓諮詢公司)建議企業用「Return on AI (RoAI)」——即係AI回報率——去衡量每分Token投入嘅實際產出。
微軟呢個案例係整個AI行業嘅縮影:當初各大科技公司瘋狂推AI畀企業客戶,話可以提升生產力、節省成本;但自己內部都管唔住員工亂用AI,搞到要CEO親自落場煞車。
連全球最大嘅AI投資者都要對員工實施AI使用限制,呢件事本身就說明咗一個殘酷嘅現實:AI唔係無限嘅生產力仙丹,佢係一個要好似其他資源咁嚴格管理嘅昂貴工具。