Kluczowa różnica polega na sposobie działania. Chatbot odpowiada pojedynczym wpisem i odpowiedzią. Agent AI działa jak samodzielny asystent: planuje, wyszukuje informacje w narzędziach zewnętrznych, pisze i wykonuje kod oraz przechodzi przez wiele iteracji, aby rozwiązać problem BP. Zamiast jednego wywołania modelu językowego (LLM), agent średnio wywołuje go 9,2 razy więcej niż standardowy chatbot HC. Każde takie wywołanie to osobna inferencja, która mnoży zarówno czas obliczeń, jak i zużycie energii.
Badanie ujawniło także poważny problem z efektywnością sprzętu. Podczas wieloetapowych zadań agentycznych, procesory GPU nie pracują w sposób ciągły. Ponieważ agent musi czekać na wyniki narzędzi zewnętrznych (np. przeglądarki internetowej, kalkulatora), procesory GPU pozostają bezczynne. Średnio czas ten stanowił aż 54,5% całkowitego czasu wykonania zadania HM. Oznacza to, że przez ponad połowę czasu drogi sprzęt nie wykonuje żadnych użytecznych obliczeń, tylko czeka – co dramatycznie obniża ogólną efektywność energetyczną.
Naukowcy z KAIST nie poprzestali na bieżących pomiarach. Przeanalizowali także scenariusz, w którym agenty AI staną się powszechne. Zakładając, że każdego dnia realizowanych byłoby 13,7 miliarda zapytań do agentów AI, szacowane zapotrzebowanie na moc w centrach danych wyniosłoby około 198,9 gigawatów (GW) N. Dla porównania: to mniej więcej połowa całkowitego średniego zużycia energii elektrycznej w Stanach Zjednoczonych N. Obecnie budowane centra danych AI mają moce rzędu zaledwie kilku GW N.
Badanie KAIST to pierwsze tak kompleksowe i szczegółowe spojrzenie na rzeczywisty koszt energetyczny autonomicznych agentów AI. Choć agenty oferują znacznie wyższą użyteczność i mogą wykonywać skomplikowane zadania, ich obecny ślad energetyczny jest nie do utrzymania przy masowej adopcji bez znaczących usprawnień. Autorzy podkreślają, że wyniki powinny skłonić do refleksji przy planowaniu rozwoju AI i związanej z nią infrastruktury energetycznej MB. Bez zwiększenia wydajności algorytmów, optymalizacji sprzętu i redukcji czasu bezczynności GPU, rewolucja agentów AI może przełożyć się na rewolucję w zużyciu energii, której skutki odczujemy wszyscy.