Voiko joutokäyvä pelitietokone toimia tekoälyn laskentaverkon solmuna?

Joutokäyvä pelitietokone on useimmille vain kallis laite, joka odottaa seuraavaa pelikertaa. Far Labs ja Evolving Edge haluavat nähdä siinä jotain muuta: hajautetun laskentasolmun, joka voi suorittaa tekoälypalveluiden tehtäviä ja tuottaa omistajalleen korvauksen.

Mallissa ei ensisijaisesti kouluteta kaikkein suurimpia tekoälymalleja. Tarkoitus on käyttää kotien ylimääräistä GPU- tai CPU-tehoa päättelyyn – eli siihen, että valmiiksi koulutettu malli käsittelee pyynnön ja tuottaa vastauksen. 26

Ajatus muistuttaa kuluttajien tietokoneita hyödyntäviä vapaaehtoisprojekteja ja laskentatehon vuokrauspalveluita, mutta vaatimustaso on korkeampi. Tuhansien erilaisten, ajoittain verkosta katoavien kotikoneiden pitäisi yhdessä tarjota turvallinen, nopea ja ennakoitava palvelu.

Näin hajautettu päättelyverkko toimisi

Tyypillisessä järjestelmässä on kolme osaa:

1. asiakkaan lähettämä pyyntö;
2. orkestrointikerros, joka päättää, missä tehtävä suoritetaan; ja
3. isäntäkoneelle asennettava ohjelmisto, joka ajaa työkuorman.

Järjestelmän on löydettävä tehtävälle sopiva kone tai koneet ja otettava samalla huomioon muun muassa mallin koko, näytönohjaimen muisti, yhteyden viive, käytettävyys ja tietokoneen omistajan asettamat resurssirajat.

Far Labs jakaa ja reitittää laskentaa

FAR AI kuvaa itseään hajautetuksi päättelykerrokseksi, joka yhdistää tavallisia GPU-laitteita ja reitittää pyynnöt reaaliajassa sopiville solmuille. Tavoitteena on tukea vuorovaikutteisia tekoälytoimintoja ilman, että kaikki laskenta tehdään keskitetyissä palvelinkeskuksissa. 1112

Toimitetun aineiston mukaan Far Labsin ajastin voi jakaa mallin työskentelyä usean koneen kesken, jos yksi isäntäkone ei pysty pitämään koko mallia muistissaan. Tämä voisi tehdä myös vaatimattomammasta laitteistosta käyttökelpoista, mutta samalla koneiden välinen koordinointi lisääntyy.

Jokainen ylimääräinen tiedonsiirto ja työvaiheen luovutus voi kasvattaa viivettä ja lisätä häiriöiden mahdollisuutta. Far Labs on puhunut tulevaisuuden alle 100 millisekunnin tavoitteesta vuorovaikutteisessa päättelyssä. Kyse on tavoitteesta, ei osoitetusta päästä päähän -suorituskyvystä. Todelliseen vasteaikaan kuuluvat myös pyynnön reititys, jonotus, mallin lataaminen, solmujen välinen viestintä ja vastauksen palauttaminen.

Evolving Edge rakentaa Rayn varaan

Evolving Edgen kuvataan käyttävän Rayta, hajautetun laskennan ohjelmistokehystä, joka jakaa mallin tarjoiluun liittyviä tehtäviä osallistuville tietokoneille. Rayn avulla työkuormia voidaan esittää hallittuina toimijoina eli actoreina ja ajoittaa niitä klusterin eri solmuille. 56

Ray tarjoaa hyödyllisiä rakennuspalikoita, mutta sen käyttöönotto ei ratkaise markkinapaikan vaikeimpia ongelmia. Palvelun on edelleen tunnistettava kaatuneet ja ylikuormittuneet koneet, sijoitettava mallit tehokkaasti eri laitteistoille, käsiteltävä erilaisia kokoonpanoja ja päätettävä, milloin tehtävä kannattaa suorittaa uudelleen tai monistaa.

Miten vieras tekoälylaskenta suojataan kotikoneella?

Kolmannen osapuolen koodin tai datan päästäminen kuluttajan omistamalle tietokoneelle on merkittävästi suurempi tietoturvakysymys kuin tavallisen pelin tai työpöytäsovelluksen asentaminen. Uskottavan isäntäjärjestelmän pitäisi rajoittaa sekä työkuorman pääsyä koneen tietoihin että sen kuluttamia resursseja.

Mahdollisia suojauksia ovat esimerkiksi:

• eristetyt tai hiekkalaatikoidut suoritusympäristöt;
• siirrettävän datan salaaminen;
• CPU-, GPU-, muisti-, tallennustila- ja verkkokäytön rajoitukset;
• työtehtävien enimmäiskesto ja automaattinen lopetus; sekä
• tarkasteltavissa ja päivitettävissä oleva isäntäohjelmisto.

Rayn dokumentoitu hiekkalaatikkorakenne käyttää kevyitä, ytimestä eristettyjä ympäristöjä epäluotettavan koodin ja tekoälyagenttien työkuormien ajamiseen. Kokeellinen toteutus perustuu gVisoriin ja OCI-konttiympäristöihin, ja Rayn hallitsemat actorit voivat ajoittaa sekä valvoa hiekkalaatikon resursseja. 17182021

Tämä osoittaa, että hajautetun ohjelmistopinon piirissä on asiaankuuluvia suojausmekanismeja. Se ei kuitenkaan todista, että Far Labs tai Evolving Edge käyttäisi samoja suojauksia tuotannossa, että määritykset olisivat turvallisia kuluttajien käyttöjärjestelmissä tai että aktiivinen solmu ajaisi juuri sitä koodia, jonka omistaja on tarkastanut.

Avoimen lähdekoodin solmuohjelmisto voisi parantaa läpinäkyvyyttä. Isännät voisivat tutkia resurssirajoja ja datan käyttöä sekä osallistua korjausten tekemiseen. Avoin lähdekoodi ei silti yksin takaa turvallisuutta. Tarvitaan myös toistettavat koontiversiot, allekirjoitetut päivitykset, selkeät käyttöoikeudet, toimiva haavoittuvuuksien käsittely ja näyttö siitä, että julkaistu lähdekoodi vastaa koneelle asennettua versiota.

Salad on lähin vertailukohta

Salad on selkein vertailuesimerkki, koska se operoi jo markkinapaikkaa, joka yhdistää kuluttajien GPU-laitteita laskentatehoa tarvitseviin organisaatioihin. Sen toimintamalli ei perustu lohkoketjuun tai tokenipohjaiseen koordinointiin, vaan keskitetysti operoituun markkinapaikkaan. 13

Far Labs korostaa reaaliaikaista reititystä ja hajautettua päättelyä, mukaan lukien mahdollisuutta jakaa mallin työ usealle solmulle. Evolving Edge painottaa Ray-pohjaista hajautettua ajoalustaa ja avointa betaversiota. Saladilla on etunaan käytännön kokemus kuluttajien GPU-markkinapaikan pyörittämisestä. Uusien tulokkaiden on osoitettava, että niiden arkkitehtuuri tuottaa vastaavan käyttövarmuuden, asiakaskysynnän, tuen ja isäntien kannalta toimivan talouden.

On hyvä erottaa toisistaan kaksi asiaa: hajauttaminen on arkkitehtuurivalinta, ei suorituskykytulos. Verkossa voi olla tuhansia tietokoneita ja se voi silti olla keskitetysti hallittu, epäluotettava tai taloudellisesti kannattamaton.

Suurin avoin kysymys on isännän kannattavuus

Koneen omistajalle maksettava bruttokorvaus on vasta laskelman lähtökohta. Omistaja maksaa tai jakaa myös sähkön, lämmön ja jäähdytyksen kustannukset. Lisäksi huomioon tulevat internetyhteys, huolto, laitteiston arvon aleneminen ja se, ettei tietokonetta voi aina käyttää vapaasti omiin tarkoituksiin.

Rekisteröitynyt kone ei ole sama asia kuin aktiivisesti hyödynnetty kone. Verkkoon liitetty GPU voi saada vain vähän maksullisia tehtäviä, vaikka se kuluttaisi edelleen sähköä ja aiheuttaisi hallinnointi- sekä kulumiskustannuksia. Ilman läpinäkyviä tietoja korvaustasosta, käyttöasteesta, työtehtävien kestosta ja energiankulutuksesta mahdollinen isäntä ei pysty laskemaan uskottavaa tuottoa.

Jatkuva päättely voi merkitä enemmän lämpöä, tuulettimien käyttöä ja muistikuormaa. Se, onko kuluminen taloudellisesti järkevää, riippuu näytönohjaimesta, paikallisesta sähkön hinnasta, käyttöasteesta, työkuorman intensiteetistä ja laitteen jälleenmyyntiarvosta. Saatavilla oleva aineisto ei osoita, että osallistuminen olisi passiivista tuloa tai tyypilliselle omistajalle varmasti kannattavaa.

Alle 100 millisekunnin lupaus vaatii tuotantodataa

Kuluttajalaitteisiin perustuvalla verkolla voi olla kustannusetu, jos koneet ovat jo olemassa ja omistajat haluavat kaupallistaa muuten käyttämättömän kapasiteetin. Verkoston on silti rahoitettava orkestrointi, kaistanleveys, valvonta, epäonnistuneet tehtävät, tehtävien monistaminen, asiakastuki, tietoturva ja isännille maksettavat korvaukset.

Sama koskee viivettä. Tietyn Kubernetes-kokoonpanon nopea hiekkalaatikon käynnistyminen ei ole sama asia kuin alle 100 millisekunnin päästä päähän -päättely asuinverkoissa. Rayn dokumentaatiossa mainittu alle 100 millisekunnin luku koskee hiekkalaatikon käynnistymistä tietyssä ympäristössä, ei internetin yli toimivan kuluttajasolmuverkon taattua vasteaikaa. 17

Hajautetut tekoälyjärjestelmät nojaavat yleensä myös ketjun ulkopuoliseen laskentaan. Yleiskäyttöiset lohkoketjut soveltuvat huonosti koneoppimisen laskentaan ja suurten datamäärien käsittelyyn, joten niitä käytetään tavallisesti koordinointi- tai maksukerroksena eikä mallien varsinaiseen suorittamiseen. 1

Kestäisikö verkko suuria solmuhäiriöitä?

Hajautettu verkko voi olla yksittäistä konetta vikasietoisempi, jos sillä on riittävästi ylimääräistä kapasiteettia ja se pystyy siirtämään tehtävät nopeasti jäljelle jääville solmuille. Rayta käsittelevässä tutkimuksessa kuvataan menetelmiä, joilla kadonneiden tehtävien riippuvuuksia rakennetaan uudelleen solmujen poistuessa ja läpimeno palautetaan solmujen palatessa. 30

Hyöty ei kuitenkaan synny automaattisesti. Tuotantokäytössä tarvittaisiin riittävä redundanssi, mallien monistus, älykäs sijoittelu ja nopea vianhavaitseminen. Yhteisvaikutteiset häiriöt voivat pudottaa suuren määrän solmuja kerralla: esimerkiksi internetoperaattorin häiriö, alueellinen sähkökatko, viallinen ohjelmistopäivitys tai isännille liian heikoiksi jäävät kannustimet.

Myös mallin jakaminen tuo kompromissin. Usealle koneelle levitetty malli voi tehdä aiemmin käyttökelvottomasta laitteistosta hyödyllisen, mutta samalla verkkoliikenne lisääntyy ja vikapisteitä tulee enemmän. Käytännön tasapaino riippuu työkuormasta ja operaattorin ajoitusstrategiasta.

Mitä GPU-omistajan kannattaa tarkistaa?

Ennen kuin solmuohjelmisto asennetaan kotikoneelle, osallistumista kannattaa pitää kokeellisena ja vaihtelevan tuoton palveluna – ei varmana passiivisena tulona. Ainakin nämä asiat pitäisi pystyä selvittämään:

1. selkeä korvauskaava ja toteutunut maksuhistoria;
2. mitattu käyttöaste eikä pelkästään rekisteröityjen koneiden määrä;
3. realistiset arviot sähkönkulutuksesta ja jäähdytyksestä;
4. dokumentoidut käyttöoikeudet ja resurssirajat;
5. riippumattomat tietoturvatestit tai auditointitulokset;
6. mitatut vasteajat, käytettävyys ja epäonnistuneiden tehtävien määrä; sekä
7. helppo tapa keskeyttää toiminta tai poistaa solmu verkosta.

Far Labs ja Evolving Edge testaavat uskottavaa perusideaa: hajallaan oleva kuluttajalaitteisto voisi täydentää keskitettyä tekoälykapasiteettia. Tekniikka saattaa sopia tiettyihin pienempiin malleihin ja työkuormiin. Laajempi liiketoimintamalli on kuitenkin vielä avoin, kunnes yhtiöt pystyvät osoittamaan, että verkko on turvallinen, nopea, vikasietoinen ja riittävän tehokkaasti hyödynnetty, jotta isännille voidaan maksaa korvausta myös todellisten kustannusten jälkeen.