בניגוד לצ'אטבוט שעונה על שאלה אחת במעבר בודד, סוכן AI אוטונומי מבצע תכנון, חיפוש מידע, חישובים, הרצת קוד וחזרות מרובות כדי להשלים משימה. כל שלב דורש קריאה נפרדת למודל השפה הגדול, מה שמכפיל את כמות החישוב והאנרגיה . למעשה, סוכני AI קוראים למודל השפה הגדול בממוצע פי 9.2 יותר משיטות הצעד-אחר-צעד המסורתיות
.
אחד הממצאים המפתיעים ביותר הוא שחלק ניכר מזמן הביצוע של הסוכנים מתבזבז בהמתנה. במהלך זרימות העבודה הרב-שלביות, יחידות העיבוד הגרפי (GPU) נמצאות במצב המתנה (idle) עד 54.5% מזמן הריצה הכולל. המשמעות היא שכמחצית מהזמן, החומרה היקרה אינה מבצעת חישובים, מה שמחמיר את חוסר היעילות האנרגטית .
החוקרים הרחיבו את הניתוח לרמת מרכז נתונים עתידי. בתרחיש שבו יתבצעו 13.7 מיליארד בקשות סוכן AI ביום (כמות השווה להיקף החיפושים היומי בגוגל), צריכת החשמל של מרכזי הנתונים תגיע לכ- 198.9 ג'יגה-וואט (GW) . לשם השוואה, מדובר בכמות השווה לכ- מחצית מצריכת החשמל הממוצעת של ארצות הברית כולה
.
יעילות האנרגיה הירודה מלווה גם בעלייה דרמטית בזמן התגובה. המחקר מצא כי סוכני AI איטיים בעד פי 153.7 במתן תשובה בהשוואה לצ'אטבוטים, עקב התכנון והביצוע הרב-שלבי .
המחקר של KAIST, המתואר כראשון מסוגו בעולם לכימות צריכת האנרגיה של סוכני AI , מדגיש שהטכנולוגיה המבטיחה הזו טומנת בחובה עלויות תשתית כבדות. בעוד שסוכני AI מסוגלים לבצע משימות מורכבות בצורה אוטונומית ולשפר את הדיוק, העלות האנרגטית הגבוהה מאלצת את התעשייה לחשוב מחדש על יעילות חומרה ואלגוריתמים לפני אימוץ נרחב
.