研究测量了当前AI智能体的资源消耗,发现了一个鲜明的差距。在使用700亿参数级别的大语言模型(LLM)——即目前最先进商用服务的规模——时,一个AI智能体处理一次查询平均消耗348.41瓦时的电力。而一个传统的生成式AI聊天机器人执行同样的单轮问答只需约2.55瓦时。两者倍数约为136.5至136.6倍。部分英文报道将其取整为137倍。
与聊天机器人一问一答的模式不同,AI智能体会自主制定计划、循环搜索信息、编写并执行代码、调用外部工具,并反复迭代以完成任务。每一步都需要一次独立的LLM推理,从而将计算量成倍放大。
研究分析表明,AI智能体调用LLM的频率平均是传统逐级推理方法的9.2倍。此外,多步骤推理导致响应时间最高延长153.7倍。更严重的是,智能体在自主调用工具的过程中,GPU不可避免地出现空闲等待,这部分闲置时间最多占到总执行时长的54.5%。这意味着大量昂贵的硬件资源在空转,进一步加剧了能源的浪费。
如果将这一发现放大到数据中心规模,形势尤为严峻。研究团队假设了一个未来场景:每天产生137亿次AI智能体请求。在此情境下,数据中心的电力需求将飙升到约198.9吉瓦(GW)。这一数字远超当前全球各国正在建设的数个吉瓦级的AI数据中心,甚至接近美国全国平均电力总消耗量的一半。
KAIST的研究强调,虽然AI智能体在提高任务准确率方面潜力巨大,但其能耗正以不可持续的速度增长,随着计算量的增加,收益却呈现快速递减的态势。研究呼吁,在规划和制定AI产业及政策时,必须同步考虑电力基础设施的大规模扩张。
这项研究不仅指出了问题,也为未来指明了方向。高达54.5%的GPU闲置率表明,当前的硬件架构和调度策略远未针对智能体工作负载进行优化。同时,全球其他研究也表明,通过优化提示词(如减少礼貌用语)可以节省可观的电力,而在高效硬件上运行推理也能将能耗降低数个数量级。
KAIST的这项研究是全球首份对AI智能体能耗的系统性量化分析。它敲响了警钟:在我们拥抱更强大、更自主的AI能力的同时,必须将能效提升和可持续性纳入核心设计考量,否则AI的进步可能会对全球能源系统和环境目标造成巨大冲击。
研究测量了当前AI智能体的资源消耗,发现了一个鲜明的差距。在使用700亿参数级别的大语言模型(LLM)——即目前最先进商用服务的规模——时,一个AI智能体处理一次查询平均消耗348.41瓦时的电力。而一个传统的生成式AI聊天机器人执行同样的单轮问答只需约2.55瓦时。两者倍数约为136.5至136.6倍。部分英文报道将其取整为137倍。
与聊天机器人一问一答的模式不同,AI智能体会自主制定计划、循环搜索信息、编写并执行代码、调用外部工具,并反复迭代以完成任务。每一步都需要一次独立的LLM推理,从而将计算量成倍放大。
研究分析表明,AI智能体调用LLM的频率平均是传统逐级推理方法的9.2倍。此外,多步骤推理导致响应时间最高延长153.7倍。更严重的是,智能体在自主调用工具的过程中,GPU不可避免地出现空闲等待,这部分闲置时间最多占到总执行时长的54.5%。这意味着大量昂贵的硬件资源在空转,进一步加剧了能源的浪费。
如果将这一发现放大到数据中心规模,形势尤为严峻。研究团队假设了一个未来场景:每天产生137亿次AI智能体请求。在此情境下,数据中心的电力需求将飙升到约198.9吉瓦(GW)。这一数字远超当前全球各国正在建设的数个吉瓦级的AI数据中心,甚至接近美国全国平均电力总消耗量的一半。
KAIST的研究强调,虽然AI智能体在提高任务准确率方面潜力巨大,但其能耗正以不可持续的速度增长,随着计算量的增加,收益却呈现快速递减的态势。研究呼吁,在规划和制定AI产业及政策时,必须同步考虑电力基础设施的大规模扩张。
这项研究不仅指出了问题,也为未来指明了方向。高达54.5%的GPU闲置率表明,当前的硬件架构和调度策略远未针对智能体工作负载进行优化。同时,全球其他研究也表明,通过优化提示词(如减少礼貌用语)可以节省可观的电力,而在高效硬件上运行推理也能将能耗降低数个数量级。
KAIST的这项研究是全球首份对AI智能体能耗的系统性量化分析。它敲响了警钟:在我们拥抱更强大、更自主的AI能力的同时,必须将能效提升和可持续性纳入核心设计考量,否则AI的进步可能会对全球能源系统和环境目标造成巨大冲击。