Selskapene vil gjøre ledige gaming-PC-er til KI-infrastruktur

En gaming-PC som står ubrukt store deler av dagen, blir vanligvis sett på som privat utstyr. En ny gruppe KI-startups vil heller behandle den som en del av et distribuert datanettverk: Rekruttere eiere, kjøre oppgaver på ledig GPU- eller CPU-kapasitet og betale for verifisert datakraft.

Far Labs og Evolving Edge retter seg mot KI-inferens – altså prosessen der en ferdigtrent modell bruker innlæringen sin til å svare på forespørsler – ikke mot trening av de aller største modellene. 26

Ideen er tiltalende fordi den kan ta i bruk maskinvare som allerede finnes, og spre KI-jobber på tvers av mange steder. Men det avgjørende spørsmålet er ikke om et hjemlig skjermkort kan kjøre en åpen modell. Spørsmålet er om tusenvis av ulike maskiner, som bare er tilgjengelige av og til, kan levere en sikker, rask og forutsigbar tjeneste til en pris som fungerer både for kundene og maskineierne.

Slik er modellen ment å fungere

Et typisk system består av tre deler: en kundeforespørsel, et orkestreringslag som velger hvor jobben skal kjøres, og et program på vertsmaskinen som utfører oppgaven. Operatøren må koble jobber til tilgjengelig maskinvare og samtidig ta hensyn til modellstørrelse, minne, responstid, oppetid og begrensningene på hver enkelt PC.

Far Labs: ruting og distribusjon av modeller

FAR AI beskriver seg som et distribuert inferenslag som kobler sammen hverdagslige GPU-er og sender forespørsler til egnede noder i sanntid. Målet er å støtte interaktive KI-funksjoner uten å være helt avhengig av sentraliserte klynger. 1112

Det leverte kildematerialet beskriver Far Labs’ planlegger som i stand til å dele modellarbeidet mellom flere maskiner når én vert ikke har plass til hele modellen. Det kan gjøre mer maskinvare brukbar, men innebærer også mer koordinering og kommunikasjon mellom nodene. Hver ekstra overføring kan påvirke både responstid og stabilitet.

Far Labs har omtalt et fremtidig mål om responstid under 100 millisekunder for interaktiv inferens. Det er et mål, ikke dokumentasjon på oppnådd ytelse fra ende til ende. I praksis vil forsinkelsen også omfatte ruting av forespørselen, køer, lasting av modellen, kommunikasjon mellom noder og tiden det tar å sende svaret tilbake.

Evolving Edge: kjøretid basert på Ray

Evolving Edge beskrives som en aktør som bruker Ray, et rammeverk for distribuert databehandling, til å fordele modelloppgaver mellom deltakende datamaskiner. I Ray kan arbeidsoppgaver representeres som styrte «actors» og planlegges på tvers av en klynge. 56

Ray gir nyttige byggesteiner for distribuert kjøring, men bruken av Ray løser ikke i seg selv de vanskeligste markedsproblemene. Operatøren må fortsatt oppdage noder som har feilet eller er overbelastet, plassere modeller effektivt, håndtere ulike maskinvareoppsett og avgjøre når en jobb skal startes på nytt eller kopieres.

Hvordan kan slike jobber sikres på hjemmemaskiner?

Å slippe tredjepartskode eller tredjepartsdata inn på en privat datamaskin skaper en langt større sikkerhetsutfordring enn å installere et spill eller et vanlig skrivebordsprogram. Et troverdig vertssystem må begrense hva arbeidsoppgavene får tilgang til, og hvor mye av maskinen de kan bruke.

Mulige sikkerhetstiltak er blant annet:

• isolerte eller sandkassede kjøringsmiljøer;
• kryptert dataoverføring;
• grenser for CPU-, GPU-, minne-, lagrings- og nettverksbruk;
• begrensninger på jobbvarighet og automatisk avslutning; og
• en klient for vertsmaskinen som kan inspiseres og oppdateres.

Rays dokumenterte sandkassearkitektur bruker lette, kjerneløsrevne miljøer for å kjøre upålitelig kode og agentoppgaver. Den eksperimentelle implementeringen bruker gVisor og OCI-container-miljøer, mens Ray-styrte actors kan planlegge og kontrollere ressursene i sandkassen. 17182021

Dette viser at relevante sikkerhetsmekanismer finnes i det bredere programvarestakken. Det beviser ikke at Far Labs eller Evolving Edge bruker de samme beskyttelsene i produksjon, at oppsettet er sikkert på private operativsystemer, eller at en aktiv node faktisk kjører den koden eieren har inspisert.

Programvare med åpen kildekode kan gjøre det lettere for vertene å undersøke ressursbegrensninger og dataadferd. Det er likevel ingen fullstendig sikkerhetsgaranti. Operatørene trenger fortsatt reproduserbare bygg, signerte oppdateringer, tydelige tillatelser, rutiner for sårbarheter og dokumentasjon på at versjonen som er installert, samsvarer med den publiserte kildekoden.

Hvordan skiller dette seg fra Salad?

Salad er den tydeligste sammenligningen fordi selskapet allerede driver en markedsplass som kobler forbruker-GPU-er med organisasjoner som trenger datakapasitet. Modellen er ikke avhengig av en blokkjede eller et tokenbasert koordineringslag. 13

Far Labs legger vekt på sanntidsruting og distribuert inferens, med mulighet for å dele modellarbeid mellom noder. Evolving Edge beskrives som mer orientert mot en Ray-basert distribuert kjøretid og en åpen betaversjon. Salads fordel er operativ erfaring med en markedsplass for forbruker-GPU-er. De nyere aktørene må vise at arkitekturen deres kan levere tilsvarende tilgjengelighet, kundestøtte, etterspørsel og økonomi for vertene.

Forskjellen er viktig: Desentralisering er en arkitektur, ikke et ytelsesresultat. Et nettverk kan ha mange deltakende datamaskiner og likevel være sentralt drevet, ustabilt eller ulønnsomt.

Det største ubesvarte spørsmålet: tjener vertene penger?

En brutto utbetaling er bare utgangspunktet når man skal regne på avkastningen. Eieren må også betale eller dele kostnadene for strøm, varme, kjøling, internett, vedlikehold og verdifall på maskinvaren. I tillegg blir PC-en mindre tilgjengelig til privat bruk.

At en maskin er registrert i nettverket, betyr ikke at den faktisk blir brukt. En GPU som er tilkoblet, men får få betalte jobber, kan gi liten inntekt samtidig som den bruker strøm eller påfører eieren administrasjons- og slitasjekostnader. Uten åpne tall for utbetalinger, utnyttelse, jobbvarighet og strømforbruk kan potensielle verter ikke beregne en troverdig avkastning på investeringen.

Vedvarende inferens kan også bety mer varme, mer viftestøy og større belastning på minnet. Om dette er økonomisk fornuftig, avhenger av GPU-en, lokale strømpriser, oppetid, arbeidsbelastning og bruktverdien på kortet. Materialet som foreligger, dokumenterer ikke at deltakelse er passiv inntekt eller lønnsomt for den typiske PC-eieren.

Derfor må påstander om fart og pris testes i produksjon

Forbrukermaskinvare kan ha et kostnadsfortrinn fordi maskinene allerede finnes, og fordi enkelte eiere kan være villige til å tjene penger på kapasitet de ellers ikke bruker. Nettverket må likevel betale for orkestrering, båndbredde, overvåking, mislykkede jobber, replikering, kundestøtte, sikkerhet og vertskompensasjon.

Det samme gjelder responstid. At en sandkasse starter raskt i en bestemt Kubernetes-distribusjon, er ikke det samme som inferens fra ende til ende på under 100 millisekunder over private nettverk. Tallet i Ray-dokumentasjonen gjelder oppstart av sandkasser i et bestemt oppsett – ikke en garanti for et globalt nettverk av forbrukernoder. 17

Desentraliserte KI-systemer er dessuten vanligvis avhengige av databehandling utenfor blokkjeden. Generelle blokkjeder er dårlig egnet til beregningene og datamengdene som kreves av maskinlæring. Derfor fungerer de som regel først og fremst som lag for koordinering eller betaling, mens selve modellene kjøres utenfor blokkjeden. 1

Kan et stort nettverk tåle at mange noder forsvinner?

Et distribuert nettverk kan være mer robust enn én enkelt maskin dersom det har nok reservekapasitet og kan flytte arbeidet raskt når noder forsvinner. Forskning knyttet til Ray beskriver hvordan tapte avhengigheter mellom oppgaver kan bygges opp igjen når noder fjernes, og hvordan gjennomstrømmingen kan komme tilbake når noder kobles til igjen. 30

Fordelen kommer likevel ikke automatisk. Et produksjonsnettverk for inferens trenger tilstrekkelig redundans, kopier av modellene, intelligent plassering og rask feildeteksjon. Samordnede feil – for eksempel et utfall hos en internettleverandør, strømbrudd i en region, en feilslått programvareoppdatering eller fallende økonomiske insentiver – kan ta mange noder ut samtidig.

Å dele en modell mellom flere datamaskiner skaper også en avveining. Det kan gjøre maskiner som ellers ikke har nok minne, relevante, men samtidig øker nettverkstrafikken og antallet mulige feilkilder. Hva som fungerer best, vil avhenge av arbeidsbelastningen og operatørens planleggingsstrategi.

Dette bør GPU-eiere undersøke først

Frem til nettverkene legger frem sterkere dokumentasjon, bør potensielle verter se på deltakelse som en eksperimentell tjeneste med varierende avkastning – ikke som passiv inntekt. Før du installerer nodeprogramvare, bør du se etter:

1. en tydelig formel for utbetalinger og dokumentert betalingshistorikk;
2. målt utnyttelse, ikke bare antall registrerte maskiner;
3. realistiske beregninger for strøm og kjøling;
4. dokumenterte tillatelser og ressursbegrensninger;
5. uavhengige sikkerhetstester eller revisjoner;
6. målte tall for responstid, tilgjengelighet og mislykkede jobber; og
7. en enkel måte å sette noden på pause eller fjerne den på.

Far Labs og Evolving Edge tester en idé som i prinsippet er troverdig: å bruke spredt forbrukermaskinvare som supplement til sentralisert KI-kapasitet. Teknologien kan fungere for utvalgte mindre modeller og arbeidsoppgaver. Den bredere forretningsmodellen er imidlertid fortsatt uavklart – helt til selskapene kan vise at nettverket er sikkert, raskt, robust og godt nok utnyttet til at vertene får dekket de reelle kostnadene sine.