Enerji Farkı: 348,41 Wh vs. 2,55 Wh

Çalışma, mevcut AI ajanlarının kaynak tüketimini ölçtü ve keskin bir farklılık buldu. Günümüzün en yetenekli ticari hizmetleri ölçeğinde olan 70 milyar parametreli büyük bir dil modeli (LLM) kullanıldığında, bir AI ajanı sorgu başına ortalama 348,41 watt-saat (Wh) tüketti. Aynı tek turlu soru-cevap işlemini gerçekleştiren geleneksel bir üretken AI sohbet robotu ise yalnızca yaklaşık 2,55 Wh kullandı. Bu, kabaca 136,5 kat ile 137 kat arasında bir çarpana tekabül ediyor .

Neden Bu Kadar Pahalı?

Bir sohbet robotu tek bir geçişte soruyu yanıtlarken, bir AI ajanı otonom olarak planlama yapar, bilgi arar, hesaplamalar yapar, kod çalıştırır ve bir görevi tamamlamak için birden çok adımda ilerler. Her adım, hesaplamayı ve enerjiyi katlayan ayrı bir LLM çıkarımı gerektirir . Araştırmaya göre AI ajanları, LLM'yi geleneksel yöntemlere göre ortalama 9,2 kat daha sık çağırıyor .

GPU Verimsizliği ve Gecikme

AI ajanlarının en büyük verimsizliklerinden biri, GPU kullanımındaki israftır. Araçları otonom olarak kullanma sürecinde GPU'nun boşta kalma süresi (bekleme süresi) toplam çalışma süresinin %54,5'ine kadar çıkabiliyor . Buna ek olarak, AI ajanlarının sorgulara yanıt verme süresi, geleneksel sohbet robotlarına kıyasla 153,7 kata kadar daha uzun olabiliyor .

Veri Merkezleri İçin Ne Anlama Geliyor?

KAIST araştırmacıları, bulguları veri merkezi ölçeğine de taşıdı. Günde 13,7 milyar AI ajanı talebinin olduğu bir gelecek senaryosunda, veri merkezlerinin toplam güç talebinin yaklaşık 198,9 gigawatt (GW) olacağı tahmin ediliyor . Bu rakam, dünyanın dört bir yanında inşa edilmekte olan birkaç GW'lık AI veri merkezlerinin çok ötesinde ve ABD'nin toplam ortalama elektrik tüketiminin yaklaşık yarısına denk geliyor .

Çalışmanın Önemi ve Uyarılar

Bu çalışma, AI ajanlarının enerji tüketimini sistematik olarak analiz eden dünyadaki ilk çalışma olarak nitelendiriliyor . Bulgular, AI endüstrisi ve politikaları planlanırken, altyapı ve enerji talebinin birlikte değerlendirilmesi gerektiğine işaret ediyor. Araştırmacılar, AI ajanlarının doğrulukta iyileştirme sağlarken, getirdikleri hesaplama yükünün hızla azalan getirilere ve sürdürülemez altyapı maliyetlerine yol açabileceğini vurguluyor . Verimlilik iyileştirmeleri olmadan AI ajanlarının kontrolsüz bir şekilde benimsenmesinin, küresel enerji talebi ve karbon emisyonları için önemli bir risk oluşturduğu belirtiliyor .

Enerji Farkı: 348,41 Wh vs. 2,55 Wh

Çalışma, mevcut AI ajanlarının kaynak tüketimini ölçtü ve keskin bir farklılık buldu. Günümüzün en yetenekli ticari hizmetleri ölçeğinde olan 70 milyar parametreli büyük bir dil modeli (LLM) kullanıldığında, bir AI ajanı sorgu başına ortalama 348,41 watt-saat (Wh) tüketti. Aynı tek turlu soru-cevap işlemini gerçekleştiren geleneksel bir üretken AI sohbet robotu ise yalnızca yaklaşık 2,55 Wh kullandı. Bu, kabaca 136,5 kat ile 137 kat arasında bir çarpana tekabül ediyor .

Neden Bu Kadar Pahalı?

Bir sohbet robotu tek bir geçişte soruyu yanıtlarken, bir AI ajanı otonom olarak planlama yapar, bilgi arar, hesaplamalar yapar, kod çalıştırır ve bir görevi tamamlamak için birden çok adımda ilerler. Her adım, hesaplamayı ve enerjiyi katlayan ayrı bir LLM çıkarımı gerektirir . Araştırmaya göre AI ajanları, LLM'yi geleneksel yöntemlere göre ortalama 9,2 kat daha sık çağırıyor .

GPU Verimsizliği ve Gecikme

AI ajanlarının en büyük verimsizliklerinden biri, GPU kullanımındaki israftır. Araçları otonom olarak kullanma sürecinde GPU'nun boşta kalma süresi (bekleme süresi) toplam çalışma süresinin %54,5'ine kadar çıkabiliyor . Buna ek olarak, AI ajanlarının sorgulara yanıt verme süresi, geleneksel sohbet robotlarına kıyasla 153,7 kata kadar daha uzun olabiliyor .

Veri Merkezleri İçin Ne Anlama Geliyor?

KAIST araştırmacıları, bulguları veri merkezi ölçeğine de taşıdı. Günde 13,7 milyar AI ajanı talebinin olduğu bir gelecek senaryosunda, veri merkezlerinin toplam güç talebinin yaklaşık 198,9 gigawatt (GW) olacağı tahmin ediliyor . Bu rakam, dünyanın dört bir yanında inşa edilmekte olan birkaç GW'lık AI veri merkezlerinin çok ötesinde ve ABD'nin toplam ortalama elektrik tüketiminin yaklaşık yarısına denk geliyor .

Çalışmanın Önemi ve Uyarılar

Bu çalışma, AI ajanlarının enerji tüketimini sistematik olarak analiz eden dünyadaki ilk çalışma olarak nitelendiriliyor . Bulgular, AI endüstrisi ve politikaları planlanırken, altyapı ve enerji talebinin birlikte değerlendirilmesi gerektiğine işaret ediyor. Araştırmacılar, AI ajanlarının doğrulukta iyileştirme sağlarken, getirdikleri hesaplama yükünün hızla azalan getirilere ve sürdürülemez altyapı maliyetlerine yol açabileceğini vurguluyor . Verimlilik iyileştirmeleri olmadan AI ajanlarının kontrolsüz bir şekilde benimsenmesinin, küresel enerji talebi ve karbon emisyonları için önemli bir risk oluşturduğu belirtiliyor .