Boşta Bekleyen Oyuncu Bilgisayarları Yapay Zekâ Altyapısına Dönüşebilir mi?

Boşta duran oyuncu bilgisayarları genellikle yalnızca kişisel donanım olarak görülür. Ancak yeni bir grup yapay zekâ girişimi, bu cihazları dağıtık bir altyapının parçaları hâline getirmek istiyor: Kullanıcıların boşta kalan GPU veya CPU kapasitesi kiralanacak, bilgisayarlar doğrulanmış görevleri çalıştıracak ve sahiplerine ödeme yapılacak. Far Labs ile Evolving Edge’in odağında, büyük yapay zekâ modellerini eğitmekten çok çıkarım var. Çıkarım, eğitilmiş bir modelin gelen isteklere yanıt üretmesi anlamına geliyor. 26

Bu fikir ilk bakışta cazip. Zaten mevcut olan donanım değerlendirilebilir ve yapay zekâ iş yükleri farklı konumlara dağıtılabilir. Fakat asıl mesele, tek bir ev tipi GPU’nun açık kaynaklı bir modeli çalıştırıp çalıştıramayacağı değil. Soru şu: Farklı özelliklere sahip, zaman zaman çevrimdışı olan binlerce bilgisayar; güvenli, hızlı ve öngörülebilir bir hizmeti hem müşteriler hem de bilgisayar sahipleri için ekonomik biçimde sunabilir mi?

Dağıtık çıkarım modeli nasıl çalışıyor?

Tipik bir sistemin üç temel parçası bulunur: Müşteriden gelen istek, isteğin nerede çalıştırılacağına karar veren orkestrasyon katmanı ve görevi ev sahibinin bilgisayarında yürüten yazılım. Platformun; modelin boyutunu, ekran kartı belleğini, gecikmeyi, çevrimiçi kalma süresini ve bilgisayar sahibinin kaynak sınırlarını hesaba katması gerekir.

Far Labs: İstek yönlendirme ve model dağıtımı

FAR AI, kendisini günlük kullanımdaki GPU’ları birbirine bağlayan ve istekleri gerçek zamanlı olarak uygun düğümlere yönlendiren dağıtık bir çıkarım katmanı olarak tanımlıyor. Şirket, etkileşimli yapay zekâ iş yüklerini tamamen merkezi kümelere bağlı kalmadan çalıştırmayı hedefliyor. 1112

Sağlanan haber ve şirket açıklamalarına göre Far Labs’in zamanlayıcısı, bir bilgisayar modelin tamamını belleğinde tutamadığında işi birden fazla makineye bölebiliyor. Bu yaklaşım, kullanılabilecek donanım yelpazesini genişletebilir. Ancak düğümler arasındaki koordinasyon ve veri iletişimi de artar. Her ek aktarım, yanıt süresini ve sistemin güvenilirliğini etkileyebilir.

Far Labs, etkileşimli çıkarım için gelecekte 100 milisaniyenin altında gecikme hedefinden söz ediyor. Bu, ulaşılmış bir uçtan uca performans ölçümü değil, bir hedef. Gerçek gecikmeye isteğin yönlendirilmesi, sırada bekleme, modelin yüklenmesi, düğümler arası iletişim ve yanıtın geri gönderilme süresi de dâhil olur.

Evolving Edge: Ray tabanlı çalışma zamanı

Evolving Edge’in, katılımcı bilgisayarlar arasında model sunma görevlerini dağıtmak için dağıtık hesaplama çatısı Ray’i kullandığı aktarılıyor. Ray’de iş yükleri yönetilen aktörler olarak tanımlanabilir ve bir küme içindeki farklı bilgisayarlara planlanabilir. 56

Ray, dağıtık çalıştırma için önemli yapı taşları sağlıyor; ancak Ray’i kullanmak, pazar yerinin daha zor sorunlarını tek başına çözmüyor. Operatörün arızalı veya aşırı yüklenmiş düğümleri tespit etmesi, modelleri verimli biçimde yerleştirmesi, farklı donanım yapılarını yönetmesi ve görevlerin ne zaman yeniden çalıştırılacağına ya da çoğaltılacağına karar vermesi gerekiyor.

Ev bilgisayarlarında iş yükleri nasıl güvenceye alınabilir?

Tüketiciye ait bir bilgisayara üçüncü taraf kodu veya verisi almak, sıradan bir oyun ya da masaüstü uygulaması kurmaktan daha büyük bir güvenlik sorunu yaratır. Güvenilir bir ev sahibi sistemi, çalıştırılan iş yüklerinin erişebileceği alanı ve tüketebileceği kaynakları sınırlandırmalıdır.

Olası kontroller şunları içeriyor:

• yalıtılmış veya sandbox adı verilen güvenli çalışma ortamları;
• aktarım sırasında şifreleme;
• CPU, GPU, bellek, depolama ve ağ kullanımına sınırlar;
• iş süresi kısıtlamaları ve otomatik sonlandırma;
• incelenebilir ve güncellenebilir bir düğüm uygulaması.

Ray’in belgelenen sandbox mimarisi, güvenilmeyen kodlar ve yapay zekâ ajanlarının iş yükleri için hafif, çekirdek düzeyinde yalıtılmış ortamlar kullanıyor. Deneysel uygulama gVisor ve OCI konteyner ortamlarına dayanıyor; Ray tarafından yönetilen aktörler de sandbox kaynaklarını planlayıp kontrol edebiliyor. 17182021

Bu özellikler, ilgili güvenlik mekanizmalarının yazılım ekosisteminde mevcut olduğunu gösteriyor. Ancak Far Labs veya Evolving Edge’in üretim sistemlerinde aynı korumaları kullandığını, bu yapılandırmaların tüketici işletim sistemlerinde güvenli olduğunu ya da çalışan bir düğümün sahibinin incelediği kodu gerçekten kullandığını kanıtlamıyor.

Düğüm yazılımının açık kaynaklı olması şeffaflığı artırabilir. Ev sahipleri kaynak kontrollerini ve veri erişim davranışını inceleyebilir. Yine de açık kaynak tek başına güvenlik garantisi değildir. Operatörlerin tekrarlanabilir derlemeler, imzalı güncellemeler, açık izinler, güvenlik açığı müdahale süreçleri ve yayımlanan kaynak kodla dağıtılan sürümün aynı olduğuna dair kanıt sunması gerekir.

Far Labs ve Evolving Edge, Salad’dan nasıl ayrılıyor?

Salad, tüketici GPU’larını hesaplama kapasitesi arayan kuruluşlarla buluşturan bir pazar yeri işletmesi nedeniyle en belirgin karşılaştırma noktası. Modeli, blok zincirine veya token tabanlı koordinasyona dayanmıyor. 13

Far Labs, gerçek zamanlı yönlendirmeyi ve dağıtık çıkarımı; gerektiğinde model işinin birden fazla düğüme bölünmesini öne çıkarıyor. Evolving Edge ise Ray tabanlı dağıtık çalışma zamanına ve açık betaya odaklanıyor. Salad’ın avantajı, tüketici GPU’larıyla çalışan bir pazar yerini işletme deneyimine sahip olması. Yeni girişimlerin ise benzer erişilebilirlik, müşteri talebi, destek ve ev sahibi ekonomisi sunabildiğini göstermesi gerekiyor.

Buradaki kritik ayrım şu: Merkezsizleştirme bir mimaridir, performans sonucu değil. Çok sayıda bilgisayarın katıldığı bir ağ yine merkezi biçimde işletilebilir, güvenilmez olabilir veya ekonomik açıdan sürdürülemeyebilir.

En büyük bilinmeyen: Bilgisayar sahibinin kârlılığı

Bir ev sahibine yapılan brüt ödeme, gerçek getiriyi hesaplamanın yalnızca başlangıç noktası. Kullanıcı elektrik, ısı, soğutma, internet, bakım ve donanım değer kaybı maliyetlerini üstlenir. Ayrıca bilgisayarın kişisel kullanım için daha az erişilebilir olması da hesaba katılmalıdır.

Ağa kayıt olmak, yüksek kullanım anlamına gelmez. Sisteme bağlı olduğu hâlde az sayıda ücretli görev alan bir GPU; elektrik tüketmeye veya bakım ve yıpranma maliyetleri yaratmaya devam ederken çok az kazanabilir. Şeffaf ödeme oranları, kullanım varsayımları, görev süreleri ve güç tüketimi tahminleri açıklanmadığı sürece potansiyel ev sahipleri güvenilir bir yatırım getirisi hesabı yapamaz.

Sürekli çıkarım çalıştırmak daha fazla ısı, fan kullanımı ve bellek etkinliği anlamına da gelebilir. Bunun ekonomik açıdan mantıklı olup olmadığı; kullanılan GPU’ya, yerel elektrik fiyatlarına, çevrimiçi kalma süresine, iş yükünün yoğunluğuna ve cihazın ikinci el değerine bağlıdır. Mevcut materyal, bunun pasif gelir olduğunu veya tipik bilgisayar sahipleri için kârlı olacağını göstermiyor.

Gecikme ve maliyet iddiaları neden üretim verisi gerektiriyor?

Tüketici donanımının potansiyel maliyet avantajı açık: Bilgisayarlar zaten mevcut ve bazı sahipleri boş kapasitesini paraya dönüştürmeye istekli olabilir. Buna karşın ağın orkestrasyon, bant genişliği, izleme, başarısız görevler, çoğaltma, destek, güvenlik ve ev sahiplerine yapılan ödemelerin maliyetini karşılaması gerekir.

Aynı durum gecikme için de geçerli. Belirli bir Kubernetes kurulumunda hızlı sandbox başlatılması, konut internet bağlantıları üzerinden 100 milisaniyenin altında uçtan uca çıkarım yapılacağı anlamına gelmez. Ray belgelerindeki 100 milisaniyenin altındaki değer, belirli bir kurulumdaki sandbox başlatma süresini ifade ediyor; internet ölçeğinde tüketici düğümlerinden oluşan bir ağ için garanti sunmuyor. 17

Dağıtık yapay zekâ sistemleri genellikle zincir dışı hesaplamaya dayanır. Genel amaçlı blok zincirleri, makine öğrenimi iş yüklerinin hesaplama ve veri hacmi için uygun değildir. Bu nedenle blok zinciri çoğunlukla modelleri doğrudan çalıştırmak yerine koordinasyon veya ödeme katmanı olarak kullanılır. 1

Büyük düğüm kayıplarına dayanabilir mi?

Dağıtık bir ağ, yeterli yedek kapasiteye sahipse ve işleri düğümler kaybolduğunda hızla taşıyabiliyorsa tek bir makineden daha dayanıklı olabilir. Ray üzerine yapılan araştırmalar, düğümler sistemden çıkarıldığında kaybolan görev bağımlılıklarının yeniden oluşturulabildiğini ve düğümler geri döndüğünde iş hacminin toparlanabildiğini gösteriyor. 30

Ancak bu avantaj otomatik olarak ortaya çıkmaz. Üretim seviyesinde bir çıkarım ağının yeterli yedeklilik, model çoğaltma, akıllı yerleştirme ve hızlı arıza tespiti sağlaması gerekir. İnternet servis sağlayıcısı kesintisi, bölgesel elektrik sorunu, hatalı yazılım güncellemesi veya ev sahiplerine sunulan teşviklerin azalması gibi birbiriyle ilişkili arızalar aynı anda çok sayıda düğümü devre dışı bırakabilir.

Modeli bölmek de bir ödünleşim yaratır. Bir modeli birkaç bilgisayara dağıtmak, tek bir makinenin çalıştıramayacağı modelleri kullanılabilir hâle getirebilir. Fakat bu yöntem ağ trafiğini artırır ve daha fazla arıza noktası oluşturur. Uygun denge, iş yüküne ve operatörün zamanlama stratejisine bağlı olacaktır.

GPU sahipleri katılmadan önce neyi kontrol etmeli?

Bu ağlar daha güçlü kanıtlar yayımlayana kadar potansiyel katılımcılar sistemi deneysel ve getirisi değişken bir hizmet olarak görmeli. Düğüm yazılımını kurmadan önce şu bilgileri aramak gerekiyor:

1. açık bir ödeme formülü ve gerçekleşmiş ödeme geçmişi;
2. yalnızca kayıtlı makine sayısı değil, ölçülmüş kullanım oranı;
3. gerçekçi elektrik ve soğutma hesapları;
4. belgelenmiş izinler ve kaynak sınırları;
5. bağımsız güvenlik testi veya denetim sonuçları;
6. ölçülmüş gecikme, erişilebilirlik ve başarısız görev oranları;
7. düğümü durdurmak veya sistemden kaldırmak için basit bir yöntem.

Far Labs ve Evolving Edge, dağınık tüketici donanımlarını merkezi yapay zekâ kapasitesine ek olarak kullanma fikrini test ediyor. Bu teknoloji, belirli küçük modeller ve iş yükleri için işe yarayabilir. Ancak ağın güvenli, hızlı, dayanıklı ve ev sahiplerini gerçek maliyetlerinden sonra da yeterince ödüllendirecek kadar yoğun kullanıldığını gösteren üretim verileri gelene kadar daha geniş ticari model belirsizliğini koruyacak.