不同於聊天機器人單次回答問題,AI代理會自主規劃、搜尋、計算、執行程式碼,並透過多次迭代來完成複雜任務。每一步都需要一次獨立的LLM推理運算,這使計算量和能源消耗成倍增加 。研究發現,AI代理平均呼叫LLM的頻率是傳統聊天機器人的 9.2倍
。
研究更揭露了一個關鍵的低效率環節:AI代理在使用外部工具或執行多步驟任務時,圖形處理器(GPU)會被迫閒置等待。數據顯示,這種閒置時間最高佔了總執行時間的54.5% 。這意味著,在處理AI代理任務時,有超過一半的時間,昂貴的GPU並未進行任何計算,這是一種巨大的資源浪費。
研究團隊進一步將此數據放大至資料中心規模進行分析。他們假設一個未來情境:每日有137億次AI代理請求。在這種情況下,所需的資料中心總電力需求將達到約198.9吉瓦(GW)。這個數字遠遠超越了目前各國正在推動的數GW規模的AI資料中心計劃,甚至達到美國全國平均總用電量的一半 。