Startups vill hyra ut oanvända gamingdatorer till AI

En gamingdator som står oanvänd större delen av dagen betraktas vanligtvis som privat hårdvara. En ny grupp AI-startups vill i stället göra den till en del av ett distribuerat infrastrukturnätverk: rekrytera datorägare, köra arbetslaster på deras lediga GPU- eller CPU-kapacitet och betala för verifierad beräkning. Far Labs och Evolving Edge siktar framför allt på inferens – alltså processen där en färdigtränad modell besvarar förfrågningar – snarare än träning av de största AI-modellerna. 26

Idén är enkel att förstå. Det finns redan stora mängder kraftfull hårdvara i hemmen, och en del av kapaciteten står outnyttjad. Men den verkliga frågan är inte om en enskild hemmadator kan köra en öppen AI-modell. Frågan är om tusentals olika datorer, med varierande prestanda och ojämn tillgänglighet, kan leverera en säker, snabb och förutsägbar tjänst till ett pris som fungerar både för kunder och datorägare.

Så är nätverket tänkt att fungera

Ett typiskt system består av tre delar: kundens förfrågan, ett orkestreringslager som bestämmer var den ska köras och programvara på värddatorn som utför arbetet. Operatören måste matcha varje uppgift med tillgänglig hårdvara och samtidigt ta hänsyn till modellens storlek, minnesbehov, svarstid, drifttid och värdens egna begränsningar.

Far Labs: realtidsstyrning och uppdelning av modeller

FAR AI beskriver sig som ett distribuerat inferenslager som kopplar samman vardagliga GPU:er och dirigerar förfrågningar till lämpliga noder i realtid. Målet är att stödja interaktiva AI-funktioner utan att helt förlita sig på centraliserade kluster. 1112

Det material som ligger till grund för rapporteringen beskriver Far Labs schemaläggare som kapabel att dela upp modellarbete mellan flera datorer när en enskild värd inte kan hålla hela modellen. Det kan göra fler typer av hårdvara användbara, men innebär också mer samordning och kommunikation mellan noderna. Varje extra överlämning kan påverka både svarstid och driftsäkerhet.

Far Labs har talat om ett framtida mål på under 100 millisekunder för interaktiv inferens. Det är ett mål, inte ett bevis på uppnådd prestanda från användarens förfrågan till färdigt svar. I praktiken tillkommer tid för dirigering, köbildning, laddning av modellen, kommunikation mellan noder och överföring av resultatet.

Evolving Edge: en Ray-baserad körmiljö

Evolving Edge beskrivs som ett företag som använder Ray, ett ramverk för distribuerad databehandling, för att fördela modellserving mellan deltagande datorer. I Ray kan arbetslaster representeras som hanterade aktörer och schemaläggas över ett kluster. 56

Ray ger användbara byggstenar för distribuerad körning, men tekniken löser inte automatiskt de svårare problemen i en sådan marknadsplats. Operatören måste fortfarande upptäcka noder som fallerat eller är överbelastade, placera modeller effektivt, hantera olika hårdvarukonfigurationer och avgöra när en uppgift ska försöka köras igen eller dupliceras.

Hur kan tredje parts arbetslaster säkras på hemmadatorer?

Att släppa in kod eller data från tredje part på en privat dator är ett större säkerhetsproblem än att installera ett vanligt spel eller skrivbordsprogram. Ett trovärdigt värdsystem måste begränsa vad arbetslasterna får komma åt och hur mycket av datorns resurser de får använda.

Möjliga skydd omfattar bland annat:

• isolerade eller sandlådade körmiljöer;
• krypterad dataöverföring;
• begränsningar för CPU, GPU, minne, lagring och nätverk;
• regler för hur länge en uppgift får köras, med automatisk avslutning; och
• klientprogramvara som går att granska och uppdatera.

Rays dokumenterade sandlådearkitektur använder lätta, kärnisolerade miljöer för otillförlitlig kod och agentarbetslaster. Den experimentella implementationen bygger på gVisor och OCI-container, medan Ray-hanterade aktörer kan schemalägga och kontrollera sandlådans resurser. 17182021

Det visar att relevanta säkerhetsmekanismer finns i det bredare mjukvaruekosystemet. Det bevisar däremot inte att Far Labs eller Evolving Edge använder samma skydd i produktion, att konfigurationen är säker på konsumenternas operativsystem eller att en aktiv nod verkligen kör den kod som datorägaren har granskat.

Öppen källkod för nodprogrammet kan förbättra insynen. Datorägare kan då undersöka resursbegränsningar och hur data hanteras. Men öppen källkod är ingen fullständig säkerhetsgaranti. Operatören behöver också reproducerbara byggen, signerade uppdateringar, tydliga behörigheter, rutiner för sårbarheter och bevis på att den version som körs motsvarar den publicerade koden.

Hur står sig satsningen mot Salad?

Salad är den tydligaste jämförelsen eftersom tjänsten redan driver en marknadsplats som kopplar samman konsumentägda GPU:er med organisationer som behöver beräkningskapacitet. Modellen bygger inte på blockkedja eller tokenbaserad samordning. 13

Far Labs betonar realtidsdirigering och distribuerad inferens, inklusive möjligheten att dela upp modellarbete mellan flera noder. Evolving Edge beskrivs i stället som inriktat på en Ray-baserad distribuerad körmiljö och ett öppet betatest. Salads fördel är den operativa erfarenheten av en marknadsplats för konsument-GPU:er. De nyare aktörerna måste visa att deras arkitekturer kan erbjuda motsvarande tillgänglighet, efterfrågan, support och ekonomi för värdarna.

Skillnaden är viktig: decentralisering är en arkitektur, inte ett prestandabevis. Ett nätverk kan ha många deltagande datorer och ändå vara centralt styrt, opålitligt eller olönsamt.

Den största olösta frågan är värdarnas lönsamhet

Ersättningen från nätverket är bara utgångspunkten när en datorägare räknar på sin avkastning. Ägaren står också för, eller delar på, kostnader för el, värme, kylning, internet, underhåll och värdeminskning. Dessutom kan datorn vara mindre tillgänglig för privat bruk.

Att en dator är registrerad i nätverket betyder inte att den används mycket. En GPU som är ansluten men får få betalda uppgifter kan ge låg intäkt samtidigt som den förbrukar el eller medför administrativt arbete och slitage. Utan öppna uppgifter om ersättning, faktisk nyttjandegrad, arbetslasternas längd och energiförbrukning går det inte att göra en trovärdig investeringskalkyl.

Långvarig inferens kan innebära mer värme, högre fläkthastighet och större belastning på grafikminnet. Om intäkterna kompenserar för detta beror på den specifika GPU:n, lokala elpriser, drifttid, arbetsbelastningens intensitet och kortets andrahandsvärde. Det tillgängliga materialet visar inte att deltagande är passiv inkomst eller att det kommer att vara lönsamt för den typiska datorägaren.

Därför måste påståenden om latens och kostnader testas i produktion

Distribuerad konsumenthårdvara kan ha en kostnadsfördel: datorerna finns redan, och vissa ägare kan vilja tjäna pengar på kapacitet som annars står stilla. Nätverket måste dock fortfarande betala för orkestrering, bandbredd, övervakning, misslyckade jobb, redundans, support, säkerhet och ersättning till värdarna.

Detsamma gäller svarstiden. En snabb uppstart av en sandlåda i en specifik Kubernetes-konfiguration är inte samma sak som inferens under 100 millisekunder från början till slut över privata internetanslutningar. Rays dokumenterade siffra på under 100 millisekunder gäller uppstart av sandlådor i en viss miljö – inte en garanti för ett internetomspännande nätverk av konsumentnoder. 17

Decentraliserade AI-system är dessutom i regel beroende av beräkningar utanför blockkedjan. Allmänna blockkedjor lämpar sig dåligt för den beräkningsmängd och datavolym som maskininlärning kräver. Därför fungerar blockkedjan vanligtvis främst som ett lager för samordning eller betalningar, medan själva modellkörningen sker utanför kedjan. 1

Kan ett stort nätverk överleva omfattande nodbortfall?

Ett distribuerat nätverk kan vara mer motståndskraftigt än en enskild dator om det har tillräcklig reservkapacitet och snabbt kan flytta arbetet när noder försvinner. Forskning om Ray beskriver hur systemet återskapar förlorade uppgiftsberoenden när noder tas bort och återhämtar genomströmningen när noder kommer tillbaka. 30

Fördelen är dock villkorad, inte automatisk. Ett produktionsnätverk för inferens behöver tillräcklig redundans, replikerade modeller, intelligent placering och snabb upptäckt av fel. Korrelerade störningar – exempelvis problem hos en internetleverantör, regionala elavbrott, en felaktig programuppdatering eller minskade värdincitament – kan slå ut många noder samtidigt.

Att dela upp en modell skapar också en avvägning. När modellen fördelas över flera datorer kan hårdvara som annars inte räcker till bli användbar. Samtidigt ökar nätverkstrafiken och antalet möjliga felpunkter. Den praktiska balansen beror på arbetslasten och operatörens schemaläggning.

Det här bör GPU-ägare kontrollera först

Tills nätverken publicerar starkare bevis bör potentiella värdar se deltagandet som en experimentell tjänst med varierande intäkter – inte som passiv inkomst. Innan nodprogramvaran installeras är det klokt att leta efter:

1. en tydlig ersättningsmodell och dokumenterad betalningshistorik;
2. uppmätt nyttjandegrad, inte bara antalet registrerade datorer;
3. realistiska beräkningar för el och kylning;
4. dokumenterade behörigheter och resursbegränsningar;
5. oberoende säkerhetstester eller revisionsrapporter;
6. uppmätt svarstid, tillgänglighet och andel misslyckade jobb; samt
7. ett enkelt sätt att pausa eller ta bort noden.

Far Labs och Evolving Edge testar en idé med tydlig potential: att använda utspridd konsumenthårdvara som komplement till centraliserad AI-kapacitet. Tekniken kan fungera för vissa mindre modeller och arbetslaster. Den bredare affärsmodellen är däremot fortfarande öppen tills företagen kan visa att nätverket är säkert, snabbt, motståndskraftigt och tillräckligt väl utnyttjat för att ersätta värdarna efter deras faktiska kostnader.