Bezczynne pecety do gier jako infrastruktura AI. Pomysł jest ciekawy, ale rachunek wciąż się nie spina

Bezczynny komputer gamingowy zazwyczaj jest po prostu drogim sprzętem, który przez większość dnia czeka na kolejną sesję. Far Labs i Evolving Edge chcą nadać mu dodatkową funkcję: uczynić z niego element rozproszonej infrastruktury AI. Właściciele komputerów mieliby udostępniać wolne zasoby GPU lub CPU, a w zamian otrzymywać wynagrodzenie za zweryfikowane obliczenia.

Firmy koncentrują się na inferencji, czyli wykorzystaniu już wytrenowanego modelu do odpowiadania na zapytania, a nie na trenowaniu najbardziej zaawansowanych modeli AI. 26 To podejście może pomóc zagospodarować istniejącą moc obliczeniową i rozproszyć zadania między wiele lokalizacji. Kluczowe pytanie brzmi jednak nie: „czy domowa karta graficzna uruchomi model open source?”, lecz: „czy tysiące różnych, okresowo dostępnych komputerów zapewnią szybki, bezpieczny i przewidywalny dostęp do usługi?”.

Jak ma działać zdecentralizowana inferencja

Typowy system składa się z trzech elementów: żądania klienta, warstwy orkiestracji wybierającej miejsce wykonania oraz programu zainstalowanego na komputerze gospodarza, który realizuje zadanie.

Operator musi dopasować zadanie do dostępnego sprzętu, uwzględniając między innymi rozmiar modelu, ilość pamięci, wymagane opóźnienie, czas dostępności oraz ograniczenia komputera użytkownika.

Far Labs: routing i dzielenie modeli

FAR AI przedstawia się jako rozproszona warstwa inferencji, która łączy codziennie używane karty graficzne i kieruje zapytania w czasie rzeczywistym do odpowiednich węzłów. Celem jest obsługa interaktywnych zastosowań bez całkowitego uzależnienia od centralnych klastrów. 1112

Z dostarczonych materiałów wynika, że scheduler Far Labs ma potrafić dzielić pracę nad modelem między kilka komputerów, gdy pojedynczy węzeł nie jest w stanie przechować całego modelu. Dzięki temu można wykorzystać szerszą gamę urządzeń, ale ceną jest dodatkowa koordynacja i komunikacja między maszynami. Każde kolejne przekazanie danych może wpływać na czas odpowiedzi oraz niezawodność.

Far Labs mówiło o przyszłym celu w postaci opóźnienia poniżej 100 milisekund dla interaktywnej inferencji. To deklarowany cel, a nie dowód osiągniętej wydajności end-to-end. Rzeczywiste opóźnienie obejmowałoby także routing żądania, oczekiwanie w kolejce, ładowanie modelu, komunikację między węzłami i przesłanie odpowiedzi do użytkownika.

Evolving Edge: środowisko oparte na Ray

Evolving Edge ma wykorzystywać Ray — framework do obliczeń rozproszonych — do przydzielania zadań związanych z obsługą modeli uczestniczącym komputerom. W Ray zadania mogą być reprezentowane jako zarządzane aktory i planowane na różnych maszynach klastra. 56

Ray dostarcza przydatnych elementów do wykonywania obliczeń rozproszonych, ale samo użycie tego frameworka nie rozwiązuje najtrudniejszych problemów marketplace'u. Operator nadal musi wykrywać przeciążone lub niedziałające węzły, efektywnie rozmieszczać modele, obsługiwać różne konfiguracje sprzętowe oraz decydować, kiedy zadanie ponowić lub uruchomić jego kopię.

Jak zabezpieczyć zadania na domowym komputerze?

Uruchamianie kodu lub przetwarzanie danych należących do osób trzecich na prywatnym komputerze jest poważniejszym wyzwaniem bezpieczeństwa niż instalacja gry czy zwykłej aplikacji. Wiarygodny system dla gospodarzy powinien ograniczać zarówno dostęp zadań do komputera, jak i ilość zasobów, które mogą one wykorzystać.

Potencjalne zabezpieczenia obejmują:

• izolowane lub uruchamiane w piaskownicy środowiska;
• szyfrowanie danych podczas przesyłania;
• limity wykorzystania procesora, GPU, pamięci, dysku i sieci;
• ograniczenia czasu działania zadań oraz ich automatyczne przerywanie;
• klienta węzła, którego kod można sprawdzić i bezpiecznie aktualizować.

Udokumentowana architektura Ray Sandboxes wykorzystuje lekkie, izolowane na poziomie jądra środowiska do uruchamiania niezaufanego kodu i zadań agentów. Eksperymentalna implementacja korzysta z gVisor oraz środowisk kontenerowych OCI, a aktory zarządzane przez Ray mogą przydzielać zasoby piaskownicy i kontrolować jej cykl życia. 17182021

Pokazuje to, że odpowiednie mechanizmy bezpieczeństwa istnieją w szerszym ekosystemie oprogramowania. Nie dowodzi jednak, że Far Labs lub Evolving Edge stosują dokładnie te same zabezpieczenia w produkcji, że ich konfiguracja jest bezpieczna na konsumenckich systemach operacyjnych ani że działający węzeł uruchamia kod, który właściciel mógł wcześniej sprawdzić.

Otwarte oprogramowanie klienta węzła mogłoby zwiększyć przejrzystość: gospodarze mogliby analizować kontrolę zasobów i sposób dostępu do danych. Open source nie jest jednak pełną gwarancją bezpieczeństwa. Operatorzy nadal potrzebują powtarzalnych kompilacji, podpisanych aktualizacji, jasnego systemu uprawnień, procedur reagowania na luki oraz dowodu, że wdrożona wersja odpowiada opublikowanemu kodowi.

Far Labs i Evolving Edge na tle Salad

Najbliższym punktem odniesienia jest Salad — działający marketplace łączący konsumenckie karty graficzne z organizacjami poszukującymi mocy obliczeniowej. Model Salad nie opiera się na blockchainie ani tokenach, lecz na centralnie zarządzanej platformie. 13

Far Labs akcentuje routing w czasie rzeczywistym i rozproszoną inferencję, w tym możliwość dzielenia pracy nad modelem między wiele węzłów. Evolving Edge ma koncentrować się na środowisku rozproszonym opartym na Ray oraz otwartej becie. Przewagą Salad jest doświadczenie operacyjne z marketplace'em konsumenckich GPU. Nowsze projekty muszą dopiero pokazać, że ich architektury zapewnią porównywalną dostępność, popyt, wsparcie i opłacalność dla gospodarzy.

To ważne rozróżnienie: decentralizacja jest cechą architektury, a nie wynikiem wydajności. Sieć może składać się z wielu komputerów, a mimo to być centralnie zarządzana, zawodna lub nieopłacalna.

Największa niewiadoma: zarobek właściciela GPU

Wynagrodzenie brutto to dopiero początek kalkulacji. Właściciel komputera ponosi lub współdzieli koszt energii elektrycznej, ciepła, chłodzenia, internetu, konserwacji, amortyzacji sprzętu oraz ograniczonej dostępności maszyny do własnych zastosowań.

Samo zapisanie komputera do sieci nie oznacza, że będzie on często otrzymywał płatne zadania. Karta podłączona do platformy, ale rzadko wykorzystywana, może zarabiać niewiele, a jednocześnie nadal zużywać energię i generować koszty administracyjne oraz eksploatacyjne.

Bez przejrzystych stawek, danych o wykorzystaniu, czasu trwania zadań i szacunkowego poboru energii potencjalny gospodarz nie jest w stanie wiarygodnie obliczyć zwrotu z inwestycji.

Stała inferencja oznacza także więcej ciepła, częstszą pracę wentylatorów oraz większe wykorzystanie pamięci. Czy taki poziom zużycia ma sens ekonomiczny, zależy od konkretnego GPU, lokalnych cen prądu, dostępności komputera, intensywności zadań i wartości odsprzedaży sprzętu. Dostępne materiały nie potwierdzają, że udział w takim programie będzie pasywnym dochodem lub że okaże się opłacalny dla typowego użytkownika.

Dlaczego deklaracje dotyczące opóźnień i kosztów wymagają danych z produkcji

Rozproszony sprzęt konsumencki może mieć przewagę kosztową, ponieważ komputery już istnieją, a część właścicieli może chcieć zarabiać na niewykorzystywanej mocy. Sieć musi jednak opłacić również orkiestrację, transfer danych, monitoring, nieudane zadania, replikację, wsparcie, bezpieczeństwo i wynagrodzenia gospodarzy.

To samo dotyczy opóźnień. Szybkie uruchomienie piaskownicy w konkretnej konfiguracji Kubernetes nie jest równoznaczne z uzyskaniem opóźnienia poniżej 100 milisekund w całym procesie inferencji realizowanym przez domowe łącza internetowe. Wartość poniżej 100 milisekund w dokumentacji Ray dotyczy uruchomienia piaskownicy w określonym środowisku, a nie gwarancji dla internetowej sieci konsumenckich węzłów. 17

Zdecentralizowane systemy AI zazwyczaj polegają także na obliczeniach off-chain, czyli wykonywanych poza blockchainem. Publiczne blockchainy ogólnego przeznaczenia nie nadają się dobrze do obsługi obliczeń i ilości danych typowych dla uczenia maszynowego. Zwykle pełnią więc funkcję warstwy koordynacji lub płatności, zamiast bezpośrednio uruchamiać modele. 1

Czy sieć przetrwa masowe awarie węzłów?

Sieć rozproszona może być bardziej odporna niż pojedynczy komputer, jeśli dysponuje wystarczającą rezerwą mocy i potrafi szybko przenosić zadania po zniknięciu części węzłów. Badania związane z Ray opisują odtwarzanie utraconych zależności zadań po usunięciu węzłów oraz odzyskiwanie przepustowości po ich powrocie. 30

Ta korzyść nie pojawia się automatycznie. Produkcyjna sieć inferencji potrzebowałaby odpowiedniej redundancji, replikacji modeli, inteligentnego rozmieszczania zadań i szybkiego wykrywania awarii. Awarie skorelowane — na przykład przerwa u dostawcy internetu, regionalna awaria zasilania, wadliwa aktualizacja oprogramowania lub spadek atrakcyjności wynagrodzeń — mogą jednocześnie wyłączyć wiele komputerów.

Dzielenie modelu na części tworzy dodatkowy kompromis. Rozłożenie modelu na kilka maszyn może umożliwić wykorzystanie sprzętu, który samodzielnie nie pomieściłby całości, ale zwiększa ruch sieciowy i liczbę potencjalnych punktów awarii. Praktyczny bilans zależeć będzie od rodzaju zadania i strategii planowania operatora.

Co właściciel GPU powinien sprawdzić przed instalacją klienta

Dopóki platformy nie opublikują mocniejszych danych, udział warto traktować jako eksperymentalną usługę o zmiennych przychodach, a nie pewny dochód. Przed instalacją oprogramowania należy sprawdzić:

1. jasny wzór naliczania wypłat i historię płatności;
2. rzeczywiste wykorzystanie sprzętu, a nie tylko liczbę zarejestrowanych maszyn;
3. realistyczne szacunki zużycia prądu i kosztów chłodzenia;
4. udokumentowane uprawnienia oraz limity zasobów;
5. wyniki niezależnych testów bezpieczeństwa lub audytów;
6. zmierzone opóźnienia, dostępność i odsetek nieudanych zadań;
7. prosty sposób wstrzymania pracy lub usunięcia węzła.

Far Labs i Evolving Edge testują wiarygodny w założeniach pomysł: wykorzystanie rozproszonego sprzętu konsumenckiego jako uzupełnienia scentralizowanej infrastruktury AI. Technologia może sprawdzić się przy wybranych mniejszych modelach i zadaniach. Szerszy model biznesowy pozostaje jednak nierozstrzygnięty, dopóki firmy nie pokażą, że sieć jest bezpieczna, szybka, odporna na awarie i wystarczająco intensywnie wykorzystywana, aby po odliczeniu rzeczywistych kosztów uczciwie wynagradzać gospodarzy.