Zespół zbadał zużycie zasobów przez istniejące agenty AI i odkrył ogromną dysproporcję. W przypadku modelu językowego (LLM) z 70 miliardami parametrów – skali odpowiadającej największym komercyjnym usługom – agent AI zużywał średnio 348,41 watogodzin (Wh) na jedno zapytanie. Tradycyjny chatbot generatywny, odpowiadający na pojedyncze pytanie, potrzebował zaledwie około 2,55 Wh. Daje to wzrost zużycia energii o około 136,5–136,6 razy . Niektóre raporty anglojęzyczne zaokrąglają tę wartość do 137 razy .
Kluczowa różnica polega na sposobie działania. Chatbot odpowiada pojedynczym wpisem i odpowiedzią. Agent AI działa jak samodzielny asystent: planuje, wyszukuje informacje w narzędziach zewnętrznych, pisze i wykonuje kod oraz przechodzi przez wiele iteracji, aby rozwiązać problem . Zamiast jednego wywołania modelu językowego (LLM), agent średnio wywołuje go 9,2 razy więcej niż standardowy chatbot . Każde takie wywołanie to osobna inferencja, która mnoży zarówno czas obliczeń, jak i zużycie energii.
Badanie ujawniło także poważny problem z efektywnością sprzętu. Podczas wieloetapowych zadań agentycznych, procesory GPU nie pracują w sposób ciągły. Ponieważ agent musi czekać na wyniki narzędzi zewnętrznych (np. przeglądarki internetowej, kalkulatora), procesory GPU pozostają bezczynne. Średnio czas ten stanowił aż 54,5% całkowitego czasu wykonania zadania . Oznacza to, że przez ponad połowę czasu drogi sprzęt nie wykonuje żadnych użytecznych obliczeń, tylko czeka – co dramatycznie obniża ogólną efektywność energetyczną.
Naukowcy z KAIST nie poprzestali na bieżących pomiarach. Przeanalizowali także scenariusz, w którym agenty AI staną się powszechne. Zakładając, że każdego dnia realizowanych byłoby 13,7 miliarda zapytań do agentów AI, szacowane zapotrzebowanie na moc w centrach danych wyniosłoby około 198,9 gigawatów (GW) . Dla porównania: to mniej więcej połowa całkowitego średniego zużycia energii elektrycznej w Stanach Zjednoczonych . Obecnie budowane centra danych AI mają moce rzędu zaledwie kilku GW .
Badanie KAIST to pierwsze tak kompleksowe i szczegółowe spojrzenie na rzeczywisty koszt energetyczny autonomicznych agentów AI. Choć agenty oferują znacznie wyższą użyteczność i mogą wykonywać skomplikowane zadania, ich obecny ślad energetyczny jest nie do utrzymania przy masowej adopcji bez znaczących usprawnień. Autorzy podkreślają, że wyniki powinny skłonić do refleksji przy planowaniu rozwoju AI i związanej z nią infrastruktury energetycznej . Bez zwiększenia wydajności algorytmów, optymalizacji sprzętu i redukcji czasu bezczynności GPU, rewolucja agentów AI może przełożyć się na rewolucję w zużyciu energii, której skutki odczujemy wszyscy.
Zespół zbadał zużycie zasobów przez istniejące agenty AI i odkrył ogromną dysproporcję. W przypadku modelu językowego (LLM) z 70 miliardami parametrów – skali odpowiadającej największym komercyjnym usługom – agent AI zużywał średnio 348,41 watogodzin (Wh) na jedno zapytanie. Tradycyjny chatbot generatywny, odpowiadający na pojedyncze pytanie, potrzebował zaledwie około 2,55 Wh. Daje to wzrost zużycia energii o około 136,5–136,6 razy . Niektóre raporty anglojęzyczne zaokrąglają tę wartość do 137 razy .
Kluczowa różnica polega na sposobie działania. Chatbot odpowiada pojedynczym wpisem i odpowiedzią. Agent AI działa jak samodzielny asystent: planuje, wyszukuje informacje w narzędziach zewnętrznych, pisze i wykonuje kod oraz przechodzi przez wiele iteracji, aby rozwiązać problem . Zamiast jednego wywołania modelu językowego (LLM), agent średnio wywołuje go 9,2 razy więcej niż standardowy chatbot . Każde takie wywołanie to osobna inferencja, która mnoży zarówno czas obliczeń, jak i zużycie energii.
Badanie ujawniło także poważny problem z efektywnością sprzętu. Podczas wieloetapowych zadań agentycznych, procesory GPU nie pracują w sposób ciągły. Ponieważ agent musi czekać na wyniki narzędzi zewnętrznych (np. przeglądarki internetowej, kalkulatora), procesory GPU pozostają bezczynne. Średnio czas ten stanowił aż 54,5% całkowitego czasu wykonania zadania . Oznacza to, że przez ponad połowę czasu drogi sprzęt nie wykonuje żadnych użytecznych obliczeń, tylko czeka – co dramatycznie obniża ogólną efektywność energetyczną.
Naukowcy z KAIST nie poprzestali na bieżących pomiarach. Przeanalizowali także scenariusz, w którym agenty AI staną się powszechne. Zakładając, że każdego dnia realizowanych byłoby 13,7 miliarda zapytań do agentów AI, szacowane zapotrzebowanie na moc w centrach danych wyniosłoby około 198,9 gigawatów (GW) . Dla porównania: to mniej więcej połowa całkowitego średniego zużycia energii elektrycznej w Stanach Zjednoczonych . Obecnie budowane centra danych AI mają moce rzędu zaledwie kilku GW .
Badanie KAIST to pierwsze tak kompleksowe i szczegółowe spojrzenie na rzeczywisty koszt energetyczny autonomicznych agentów AI. Choć agenty oferują znacznie wyższą użyteczność i mogą wykonywać skomplikowane zadania, ich obecny ślad energetyczny jest nie do utrzymania przy masowej adopcji bez znaczących usprawnień. Autorzy podkreślają, że wyniki powinny skłonić do refleksji przy planowaniu rozwoju AI i związanej z nią infrastruktury energetycznej . Bez zwiększenia wydajności algorytmów, optymalizacji sprzętu i redukcji czasu bezczynności GPU, rewolucja agentów AI może przełożyć się na rewolucję w zużyciu energii, której skutki odczujemy wszyscy.