該研究測量了現有AI代理的資源消耗,發現了驚人的差異。當使用擁有700億個參數的大型語言模型(LLM)——即當今最強大商用服務的規模——一個AI代理平均每次查詢消耗348.41瓦時(Wh) 的能源。而傳統生成式AI聊天機器人執行相同的單輪問答僅需約 2.55瓦時。這意味著約136.5倍至136.6倍的差距 。部分英文報導將此數字約略報導為137倍 。
不同於聊天機器人單次回答問題,AI代理會自主規劃、搜尋、計算、執行程式碼,並透過多次迭代來完成複雜任務。每一步都需要一次獨立的LLM推理運算,這使計算量和能源消耗成倍增加 。研究發現,AI代理平均呼叫LLM的頻率是傳統聊天機器人的 9.2倍 。
研究更揭露了一個關鍵的低效率環節:AI代理在使用外部工具或執行多步驟任務時,圖形處理器(GPU)會被迫閒置等待。數據顯示,這種閒置時間最高佔了總執行時間的54.5% 。這意味著,在處理AI代理任務時,有超過一半的時間,昂貴的GPU並未進行任何計算,這是一種巨大的資源浪費。
研究團隊進一步將此數據放大至資料中心規模進行分析。他們假設一個未來情境:每日有137億次AI代理請求。在這種情況下,所需的資料中心總電力需求將達到約198.9吉瓦(GW)。這個數字遠遠超越了目前各國正在推動的數GW規模的AI資料中心計劃,甚至達到美國全國平均總用電量的一半 。
這項研究的出現,正值全球AI資料中心用電量已預計在2026年翻倍之際 。傳統的生成式AI查詢(如ChatGPT)已被估計比一般Google搜尋耗電10倍 。而此研究進一步指出,AI代理的耗能又是聊天機器人的百倍以上,對全球減碳目標與電網基礎設施形成了巨大的潛在壓力 。
隨著AI從單純的「問答」走向主動「執行任務」,這份研究無疑為科技界、政策制定者與能源規劃者敲響了警鐘,凸顯了在追求AI能力突破的同時,迫切需要在演算法效率及硬體架構上進行革命性創新 。
該研究測量了現有AI代理的資源消耗,發現了驚人的差異。當使用擁有700億個參數的大型語言模型(LLM)——即當今最強大商用服務的規模——一個AI代理平均每次查詢消耗348.41瓦時(Wh) 的能源。而傳統生成式AI聊天機器人執行相同的單輪問答僅需約 2.55瓦時。這意味著約136.5倍至136.6倍的差距 。部分英文報導將此數字約略報導為137倍 。
不同於聊天機器人單次回答問題,AI代理會自主規劃、搜尋、計算、執行程式碼,並透過多次迭代來完成複雜任務。每一步都需要一次獨立的LLM推理運算,這使計算量和能源消耗成倍增加 。研究發現,AI代理平均呼叫LLM的頻率是傳統聊天機器人的 9.2倍 。
研究更揭露了一個關鍵的低效率環節:AI代理在使用外部工具或執行多步驟任務時,圖形處理器(GPU)會被迫閒置等待。數據顯示,這種閒置時間最高佔了總執行時間的54.5% 。這意味著,在處理AI代理任務時,有超過一半的時間,昂貴的GPU並未進行任何計算,這是一種巨大的資源浪費。
研究團隊進一步將此數據放大至資料中心規模進行分析。他們假設一個未來情境:每日有137億次AI代理請求。在這種情況下,所需的資料中心總電力需求將達到約198.9吉瓦(GW)。這個數字遠遠超越了目前各國正在推動的數GW規模的AI資料中心計劃,甚至達到美國全國平均總用電量的一半 。
這項研究的出現,正值全球AI資料中心用電量已預計在2026年翻倍之際 。傳統的生成式AI查詢(如ChatGPT)已被估計比一般Google搜尋耗電10倍 。而此研究進一步指出,AI代理的耗能又是聊天機器人的百倍以上,對全球減碳目標與電網基礎設施形成了巨大的潛在壓力 。
隨著AI從單純的「問答」走向主動「執行任務」,這份研究無疑為科技界、政策制定者與能源規劃者敲響了警鐘,凸顯了在追求AI能力突破的同時,迫切需要在演算法效率及硬體架構上進行革命性創新 。