Far Labs und Evolving Edge wollen Gaming-PCs in KI-Infrastruktur verwandeln

Ein leistungsstarker Gaming-PC steht bei vielen Besitzern die meiste Zeit ungenutzt herum. Genau diese Reserve wollen neue KI-Start-ups monetarisieren: Far Labs und Evolving Edge möchten freie GPU- und CPU-Kapazitäten von Privatpersonen und Computer-Enthusiasten bündeln, verteilte KI-Aufgaben darauf ausführen und die Betreiber für nachweislich geleistete Rechenarbeit bezahlen. Im Mittelpunkt steht dabei die Inferenz – also die Verarbeitung einer Anfrage durch ein bereits trainiertes Modell – und nicht das Training besonders großer KI-Modelle. 26

Die Idee erinnert an ein „Airbnb für KI-Inferenz“. Sie könnte vorhandene Hardware besser auslasten und die Abhängigkeit von zentralen Rechenzentren verringern. Die entscheidende Frage lautet aber nicht, ob eine einzelne Heim-GPU ein kleineres Open-Source-Modell ausführen kann. Entscheidend ist, ob Tausende unterschiedlich leistungsfähiger und nicht dauerhaft verfügbarer Rechner einen sicheren, schnellen und planbaren Dienst zu einem tragfähigen Preis ermöglichen.

So soll verteilte KI-Inferenz funktionieren

Ein solches System besteht typischerweise aus drei Ebenen: einer Kundenanfrage, einer Orchestrierungsschicht zur Auswahl geeigneter Rechner und einer Software auf dem Host-PC, die den Auftrag ausführt. Der Betreiber muss Hardware nach Modellgröße, verfügbarem Grafikspeicher, Latenz, Auslastung und erwarteter Verfügbarkeit auswählen.

Far Labs: Routing und Aufteilung von Modellen

FAR AI beschreibt sich als verteilte Inferenzschicht, die Alltags-GPUs miteinander verbindet und Anfragen in Echtzeit an passende Knoten weiterleitet. Das Ziel sind interaktive Anwendungen, die nicht vollständig auf zentralen Clustern laufen müssen. 1112

Nach den vorliegenden Angaben soll der Scheduler von Far Labs die Arbeit eines Modells bei Bedarf auf mehrere Rechner verteilen können, wenn ein einzelner Host nicht genügend Speicher besitzt. Dadurch könnten auch weniger leistungsfähige Geräte zum Einsatz kommen. Gleichzeitig steigt jedoch der Abstimmungsaufwand: Zwischen den Knoten müssen zusätzliche Daten übertragen werden, und jeder weitere Übergabepunkt kann Antwortzeit und Zuverlässigkeit beeinträchtigen.

Far Labs hat für interaktive Inferenz ein künftiges Ziel von weniger als 100 Millisekunden genannt. Das ist eine Zielmarke und kein Nachweis für bereits erreichte Ende-zu-Ende-Werte. In der Praxis zählen neben der reinen Ausführung auch Anfrage-Routing, Warteschlangen, das Laden des Modells, die Kommunikation zwischen Knoten und die Rückübertragung des Ergebnisses.

Evolving Edge: Laufzeit auf Basis von Ray

Evolving Edge wird als Anbieter beschrieben, der Ray nutzt – ein Framework für verteilte Rechenaufgaben. Damit lassen sich Aufgaben zur Bereitstellung von Modellen auf teilnehmende Computer verteilen. Ray kann Ausführungsumgebungen als verwaltete „Actors“ abbilden und sie innerhalb eines Clusters planen. 56

Ray liefert dafür wichtige technische Bausteine. Die Nutzung des Frameworks löst jedoch nicht automatisch die schwierigeren Probleme eines offenen Rechner-Marktplatzes. Der Betreiber muss ausgefallene oder überlastete Knoten erkennen, Modelle effizient platzieren, unterschiedliche Hardware konfigurieren und entscheiden, wann ein Auftrag wiederholt oder redundant ausgeführt werden sollte.

Wie sicher sind fremde Workloads auf Heim-PCs?

Drittanbieter-Code oder fremde Daten auf einem privaten Computer auszuführen, ist ein deutlich größeres Sicherheitsrisiko als die Installation eines Spiels oder einer gewöhnlichen Desktop-Anwendung. Ein glaubwürdiges Host-System muss deshalb den Zugriff auf Dateien, Netzwerk und Systemressourcen strikt begrenzen.

Mögliche Schutzmaßnahmen sind unter anderem:

• isolierte oder sandboxed Ausführungsumgebungen;
• verschlüsselte Datenübertragung;
• Begrenzungen für CPU, GPU, Arbeitsspeicher, Speicherplatz und Netzwerk;
• Zeitlimits für Aufträge mit automatischer Beendigung; sowie
• eine überprüfbare und sicher aktualisierbare Host-Software.

Die dokumentierte Sandbox-Architektur von Ray nutzt leichtgewichtige, kernel-isolierte Umgebungen für nicht vertrauenswürdigen Code und Agenten-Workloads. Die experimentelle Implementierung basiert auf gVisor und OCI-Containerumgebungen; von Ray verwaltete Actors können Ressourcen planen und kontrollieren. 17182021

Das zeigt, dass entsprechende Sicherheitsmechanismen im Software-Ökosystem grundsätzlich verfügbar sind. Es belegt aber nicht, dass Far Labs oder Evolving Edge dieselben Schutzmaßnahmen produktiv einsetzen, dass die Konfiguration auf privaten Betriebssystemen sicher ist oder dass auf einem laufenden Knoten tatsächlich genau der geprüfte Code ausgeführt wird.

Open-Source-Software für die Knoten könnte die Transparenz erhöhen. Besitzer könnten dann nachvollziehen, welche Ressourcen verwendet werden und auf welche Daten ein Auftrag zugreifen darf. Offener Quellcode ist allerdings keine vollständige Sicherheitsgarantie. Dazu gehören auch reproduzierbare Builds, signierte Updates, klar definierte Berechtigungen, eine Reaktion auf Schwachstellen und der Nachweis, dass die veröffentlichte Version mit der tatsächlich installierten übereinstimmt.

Der Vergleich mit Salad

Salad ist der naheliegendste Vergleich, weil das Unternehmen bereits einen Marktplatz betreibt, der Consumer-GPUs mit Organisationen verbindet, die Rechenkapazität benötigen. Das Modell basiert nicht auf einer Blockchain oder einem Token, sondern auf einem zentral organisierten Marktplatz. 13

Far Labs legt den Schwerpunkt auf Echtzeit-Routing und verteilte Inferenz, einschließlich der möglichen Aufteilung eines Modells auf mehrere Knoten. Evolving Edge wird eher mit einer Ray-basierten Laufzeit und einer offenen Beta verbunden. Salad kann auf Betriebserfahrung mit einem Consumer-GPU-Marktplatz verweisen. Die jüngeren Anbieter müssen dagegen erst zeigen, dass ihre Architektur eine vergleichbare Verfügbarkeit, Nachfrage, Unterstützung und Vergütung der Betreiber erreicht.

Wichtig ist dabei eine begriffliche Unterscheidung: Dezentralisierung ist eine Architektur, kein Leistungsnachweis. Ein Netzwerk kann aus vielen Computern bestehen und trotzdem zentral betrieben, unzuverlässig oder wirtschaftlich unattraktiv sein.

Die größte offene Frage: Lohnt es sich für die Betreiber?

Die Bruttovergütung ist nur der Ausgangspunkt. Besitzer müssen auch Strom, Wärme und Kühlung, Internetzugang, Wartung, Hardware-Abschreibung und die eingeschränkte private Nutzung des Rechners berücksichtigen.

Die Registrierung eines PCs bedeutet außerdem nicht, dass er regelmäßig bezahlte Aufträge erhält. Eine GPU kann zwar mit dem Netzwerk verbunden sein, aber nur selten Arbeit bekommen – und trotzdem Strom verbrauchen sowie Verwaltungs- und Verschleißkosten verursachen. Ohne transparente Vergütungssätze, realistische Auslastungsdaten, Angaben zur Auftragsdauer und Schätzungen zum Energieverbrauch lässt sich keine seriöse Rendite berechnen.

Dauerhafte Inferenz kann höhere Temperaturen, mehr Lüfterbetrieb und stärkere Speichernutzung bedeuten. Ob sich das wirtschaftlich lohnt, hängt von der konkreten Grafikkarte, den örtlichen Strompreisen, der Auslastung, der Betriebsdauer und dem späteren Wiederverkaufswert ab. Die vorliegenden Informationen belegen weder ein passives Einkommen noch eine verlässliche Profitabilität für typische Besitzer.

Warum Latenz- und Kostenversprechen Produktionsdaten brauchen

Einen möglichen Kostenvorteil gibt es: Die Hardware ist bereits vorhanden, und manche Besitzer könnten bereit sein, ungenutzte Kapazität zu vermieten. Das Netzwerk muss jedoch weiterhin für Orchestrierung, Bandbreite, Überwachung, fehlgeschlagene Aufträge, Replikation, Support, Sicherheit und die Vergütung der Hosts aufkommen.

Ähnlich vorsichtig sollte man bei der Latenz sein. Ein Sandbox-Start unter 100 Millisekunden in einer bestimmten Kubernetes-Umgebung ist nicht dasselbe wie eine Ende-zu-Ende-Inferenz unter 100 Millisekunden über private Internetanschlüsse. Die Ray-Dokumentation bezieht sich bei diesem Wert auf den Start einer Sandbox in einem spezifischen Setup – nicht auf eine Garantie für ein weltweites Netzwerk aus Consumer-Knoten. 17

Auch bei dezentralen KI-Systemen findet die eigentliche Berechnung in der Regel außerhalb einer Blockchain statt. Allgemeine Blockchains eignen sich wegen des Rechenaufwands und der Datenmengen von Machine-Learning-Workloads kaum zur direkten Ausführung von Modellen. Sie dienen daher meist als Koordinations- oder Zahlungsschicht. 1

Kann ein solches Netzwerk große Ausfälle verkraften?

Ein verteiltes Netzwerk kann widerstandsfähiger sein als ein einzelner Rechner, wenn genügend Reservekapazität vorhanden ist und Aufträge schnell umgeleitet werden können. Untersuchungen zu Ray beschreiben, wie verlorene Aufgabenabhängigkeiten nach dem Ausfall von Knoten rekonstruiert werden und der Durchsatz nach deren Rückkehr wiederhergestellt werden kann. 30

Automatisch entsteht daraus aber keine Ausfallsicherheit. Ein produktives Inferenznetzwerk bräuchte ausreichende Redundanz, replizierte Modelle, intelligente Platzierung und eine schnelle Ausfallerkennung. Zudem können sich Ausfälle gegenseitig verstärken – etwa durch eine Störung bei einem Internetanbieter, einen regionalen Stromausfall, ein fehlerhaftes Software-Update oder sinkende Vergütungsanreize für Betreiber.

Die Aufteilung eines Modells auf mehrere Rechner schafft ebenfalls einen Zielkonflikt. Sie kann Hardware nutzbar machen, die ein vollständiges Modell allein nicht bewältigen würde. Gleichzeitig erhöht sie den Netzwerkverkehr und die Zahl möglicher Fehlerquellen. Welcher Ansatz sinnvoll ist, hängt vom jeweiligen Workload und der Planung des Betreibers ab.

Was GPU-Besitzer vor der Teilnahme prüfen sollten

Solange belastbare Nachweise fehlen, sollten Interessierte die Teilnahme als experimentellen Dienst mit schwankenden Erträgen betrachten – nicht als passives Einkommen. Vor der Installation einer Node-Software sind insbesondere folgende Punkte wichtig:

1. eine klare Vergütungsformel und nachvollziehbare Zahlungshistorie;
2. gemessene Auslastung statt nur Angaben zur Zahl registrierter Rechner;
3. realistische Schätzungen für Stromverbrauch und Kühlung;
4. dokumentierte Zugriffsrechte und Ressourcenbegrenzungen;
5. unabhängige Sicherheitstests oder Auditberichte;
6. gemessene Latenz, Verfügbarkeit und Fehlerraten; sowie
7. eine unkomplizierte Möglichkeit, den Knoten zu pausieren oder vollständig zu entfernen.

Far Labs und Evolving Edge testen ein plausibles Konzept: Verteilte private Hardware könnte zentrale KI-Kapazitäten bei bestimmten kleineren Modellen und Anwendungen ergänzen. Ob daraus jedoch ein sicherer, schneller und resilienter Dienst entsteht, der seine Betreiber nach Abzug der realen Kosten angemessen bezahlt, muss erst durch Daten aus dem produktiven Betrieb bewiesen werden.