Kunnen inactieve gaming-pc’s een betrouwbaar AI-netwerk worden?

Een krachtige gaming-pc staat vaak urenlang niets te doen. Far Labs en Evolving Edge willen die ongebruikte capaciteit inzetten als een soort ‘Airbnb voor AI-inferentie’: particulieren stellen hun gpu of cpu beschikbaar, waarna het platform AI-taken naar geschikte computers stuurt en de eigenaar betaalt voor aantoonbaar geleverde rekenkracht. Het gaat daarbij vooral om kleinere open-source modellen en om inferentie — het gebruiken van een getraind model om een antwoord te genereren — niet om het trainen van de grootste AI-modellen. 26

Het idee is aantrekkelijk. De hardware bestaat al, staat verspreid over veel locaties en kan mogelijk een aanvulling vormen op dure, gecentraliseerde datacenters. Maar de echte test is niet of één thuiscomputer een model kan draaien. De vraag is of duizenden verschillende, soms offline zijnde machines samen een veilige, snelle en voorspelbare dienst kunnen leveren — tegen een prijs die zowel klanten als pc-eigenaren acceptabel vinden.

Zo werkt een gedistribueerd inferentienetwerk

Een dergelijk systeem bestaat grofweg uit drie onderdelen: de aanvraag van een klant, een orkestratielaag die bepaalt waar de taak wordt uitgevoerd en software op de computer van de deelnemer die het werk uitvoert. De exploitant moet daarbij rekening houden met onder meer modelgrootte, beschikbaar geheugen, reactietijd, uptime en de grenzen die de eigenaar aan zijn computer stelt.

Far Labs: realtime routering en het verdelen van modellen

FAR AI, het platform van Far Labs, omschrijft zichzelf als een gedistribueerde inferentielaag die alledaagse gpu’s met elkaar verbindt en aanvragen realtime naar geschikte nodes stuurt. Het doel is interactieve AI-toepassingen mogelijk te maken zonder volledig afhankelijk te zijn van centrale computerclusters. 1112

Volgens de aangeleverde berichtgeving kan de scheduler van Far Labs modelwerk over meerdere computers verdelen wanneer één machine het volledige model niet kan laden. Daardoor wordt meer hardware bruikbaar. Tegelijk neemt de complexiteit toe: de computers moeten onderling gegevens uitwisselen en hun werk op elkaar afstemmen. Elke extra overdracht kan de responstijd en betrouwbaarheid beïnvloeden.

Far Labs heeft voor interactieve inferentie gesproken over een toekomstige doelstelling van minder dan 100 milliseconden. Dat is een streven, geen bewijs dat die end-to-endprestatie al is bereikt. In de praktijk tellen ook routering, wachtrijen, het laden van het model, communicatie tussen nodes en het terugsturen van het antwoord mee.

Evolving Edge: een runtime op basis van Ray

Evolving Edge wordt beschreven als een platform dat Ray gebruikt, een framework voor gedistribueerde computersystemen. Ray kan taken als beheerde ‘actors’ voorstellen en ze over verschillende computers in een cluster verdelen. 56

Ray levert belangrijke bouwstenen voor gedistribueerde uitvoering, maar lost niet automatisch de moeilijkste problemen van een computermarktplaats op. De exploitant moet nog altijd overbelaste of uitgevallen nodes herkennen, modellen efficiënt plaatsen, omgaan met uiteenlopende hardware en bepalen wanneer een taak opnieuw moet worden uitgevoerd of gedupliceerd.

Evolving Edge werkt volgens de aangeleverde informatie bovendien aan een open bèta. Dat maakt testen mogelijk, maar zegt op zichzelf nog niets over uiteindelijke beschikbaarheid, inkomsten voor hosts of prestaties onder grote belasting.

Hoe veilig is het om externe AI-taken op een thuis-pc te draaien?

Software van derden op een computer van een consument uitvoeren brengt grotere risico’s met zich mee dan het installeren van een game of gewone desktopapplicatie. Een betrouwbaar hostplatform moet daarom beperken welke bestanden, processen en netwerkverbindingen een taak kan benaderen — én hoeveel capaciteit de taak mag gebruiken.

Mogelijke beveiligingsmaatregelen zijn onder meer:

• geïsoleerde of gesandboxte uitvoeromgevingen;
• versleuteling van gegevens tijdens het transport;
• limieten voor cpu, gpu, geheugen, opslag en netwerkgebruik;
• grenzen aan de duur van opdrachten, met automatische beëindiging; en
• controleerbare en veilig bij te werken hostsoftware.

De sandboxarchitectuur van Ray gebruikt lichte, op kernelniveau geïsoleerde omgevingen voor onbetrouwbare code en taken van AI-agents. De experimentele implementatie maakt gebruik van gVisor en OCI-containeromgevingen; door Ray beheerde actors kunnen sandboxbronnen plannen en beheren. 17182021

Dat laat zien dat zulke beveiligingsmechanismen in de bredere softwarestack bestaan. Het bewijst niet dat Far Labs of Evolving Edge deze bescherming op dezelfde manier in productie toepassen, dat de configuratie veilig is op consumentenbesturingssystemen of dat een actieve node daadwerkelijk de code uitvoert die de eigenaar heeft bekeken.

Open-source node-software kan de transparantie verbeteren. Hosts kunnen dan controleren welke rechten het programma heeft en hoe het omgaat met gegevens en systeembronnen. Open source is echter geen volledige veiligheidsgarantie. Daarvoor zijn ook reproduceerbare builds, ondertekende updates, duidelijke toestemmingen, een proces voor kwetsbaarheden en bewijs nodig dat de geïnstalleerde versie overeenkomt met de gepubliceerde broncode.

Hoe verhouden Far Labs en Evolving Edge zich tot Salad?

Salad is de duidelijkste bestaande vergelijking. Het platform koppelt consumentengpu’s aan organisaties die rekenkracht zoeken en exploiteert daarvoor een centraal aangestuurde marktplaats. Het model is niet afhankelijk van een blockchain of token voor de coördinatie. 13

Far Labs legt de nadruk op realtime routering en gedistribueerde inferentie, met de mogelijkheid om modelwerk over meerdere nodes te verdelen. Evolving Edge profileert zich rond een gedistribueerde runtime op basis van Ray en een open bèta. Salad heeft als voordeel dat het al operationele ervaring heeft met een marktplaats voor consumentengpu’s. De nieuwere platforms moeten nog aantonen dat ze een vergelijkbare beschikbaarheid, vraag, ondersteuning en vergoeding voor hosts kunnen realiseren.

Daarbij is een belangrijk onderscheid nodig: decentralisatie is een architectuurkeuze, geen prestatiebewijs. Een netwerk kan uit veel computers bestaan en toch centraal worden beheerd, onbetrouwbaar zijn of financieel niet uit kunnen.

De grootste onopgeloste vraag: wat houdt de host eraan over?

De bruto-uitbetaling is slechts het begin van de berekening. De eigenaar betaalt of deelt ook in de kosten voor elektriciteit, warmte, koeling, internet, onderhoud en hardware-afschrijving. Bovendien is de computer tijdens betaalde taken minder beschikbaar voor persoonlijk gebruik.

Aanmelding is niet hetzelfde als daadwerkelijk gebruik. Een gpu die met het netwerk is verbonden maar weinig betaalde opdrachten krijgt, kan nauwelijks iets opleveren terwijl er wel stroom wordt verbruikt en administratieve of slijtagekosten ontstaan. Zonder transparante tarieven, aannames over benutting, gemiddelde taakduur en schattingen van het stroomverbruik kunnen potentiële hosts hun rendement niet geloofwaardig berekenen.

Langdurige inferentie betekent bovendien meer warmte, draaiende ventilatoren en belasting van geheugen en andere componenten. Of dat economisch verantwoord is, hangt af van de specifieke gpu, de lokale stroomprijs, de intensiteit van de opdrachten, de uptime en de restwaarde van de kaart. De beschikbare informatie bewijst niet dat deelname passief inkomen oplevert of voor de gemiddelde eigenaar winstgevend zal zijn.

Waarom claims over snelheid en kosten nog productiegegevens nodig hebben

Consumentenhardware kan een kostenvoordeel hebben wanneer de capaciteit toch ongebruikt blijft. Maar het netwerk moet ook betalen voor orkestratie, bandbreedte, monitoring, mislukte opdrachten, duplicatie, ondersteuning, beveiliging en de vergoeding van hosts.

Hetzelfde geldt voor latentie. Een sandbox die in een specifieke Kubernetes-omgeving snel opstart, is niet hetzelfde als end-to-endinferentie binnen 100 milliseconden via uiteenlopende residentiële internetverbindingen. Het cijfer van minder dan 100 milliseconden in de Ray-documentatie gaat over het opstarten van een sandbox in een specifieke configuratie, niet over een garantie voor een wereldwijd netwerk van consumentennodes. 17

Gedistribueerde AI-systemen zijn doorgaans ook afhankelijk van berekeningen buiten de blockchain. Algemene blockchains zijn slecht geschikt voor de hoeveelheid data en rekenkracht die machinelearning vereist. Ze fungeren daarom meestal als coördinatie- of betalingslaag, terwijl de modellen off-chain worden uitgevoerd. 1

Kan zo’n netwerk grote node-uitval opvangen?

Een gedistribueerd netwerk kan veerkrachtiger zijn dan één machine als het voldoende reservecapaciteit heeft en taken snel kan verplaatsen wanneer nodes verdwijnen. Onderzoek rond Ray beschrijft hoe verloren taakafhankelijkheden opnieuw kunnen worden opgebouwd wanneer nodes worden verwijderd en hoe de oorspronkelijke doorvoer kan terugkeren wanneer nodes weer beschikbaar komen. 30

Dat voordeel ontstaat niet vanzelf. Een productienetwerk voor inferentie heeft voldoende redundantie, modelreplicatie, slimme plaatsing en snelle foutdetectie nodig. Ook kunnen storingen gelijktijdig optreden: een probleem bij een internetprovider, regionale stroomuitval, een foutieve software-update of dalende hostvergoedingen kan veel machines tegelijk uitschakelen.

Het opsplitsen van een model brengt een extra afweging met zich mee. Door een model over meerdere computers te verdelen, kan hardware die het volledige model niet aankan toch worden gebruikt. Daar staat tegenover dat het netwerkverkeer toeneemt en er meer mogelijke storingspunten ontstaan. De juiste balans hangt af van de taak en van de manier waarop de exploitant plant.

Waar gpu-eigenaren op moeten letten

Zolang deze netwerken geen uitgebreidere bewijzen publiceren, is het verstandig deelname te zien als een experimentele dienst met variabele opbrengsten — niet als gegarandeerd passief inkomen. Controleer vóór installatie van node-software in elk geval:

1. de exacte formule voor uitbetalingen en een aantoonbare betalingshistorie;
2. werkelijk gebruik, in plaats van alleen het aantal geregistreerde machines;
3. realistische schattingen voor elektriciteit en koeling;
4. de gedocumenteerde rechten en resource-limieten van de software;
5. onafhankelijke beveiligingstests of auditresultaten;
6. gemeten latentie, beschikbaarheid en het aantal mislukte opdrachten; en
7. een eenvoudige mogelijkheid om de node te pauzeren of volledig te verwijderen.

Far Labs en Evolving Edge testen een geloofwaardig idee: verspreide consumenthardware kan een aanvulling vormen op gecentraliseerde AI-capaciteit. Voor bepaalde kleinere modellen en workloads kan de techniek werken. De bredere businesscase blijft echter open totdat de bedrijven kunnen aantonen dat hun netwerken veilig, snel, veerkrachtig en voldoende benut zijn om hosts na aftrek van hun werkelijke kosten eerlijk te compenseren.