Miksi OpenAI hankkii tiettävästi kymmeniätuhansia Mac-tietokoneita tekoälyagenteille

Raportit OpenAI:n kymmenientuhansien Mac mini- ja Mac Studio -laitteiden hankinnasta viittaavat ennen kaikkea tiettyyn infrastruktuuritarpeeseen: yritys haluaa pyörittää suurta määrää itsenäisiä macOS-ympäristöjä tietokonetta käyttävien tekoälyagenttien ja vahvistusoppimiskokeiden tarpeisiin. Saatavilla oleva näyttö ei osoita, että Apple Silicon olisi korvaamassa suuria GPU-klustereita kehittyneimpien mallien koulutuksessa. Myöskään hankittujen laitteiden tarkkaa määrää tai käyttötapaa ei ole vahvistettu. 111

Miksi tekoälyagentti tarvitsee tavallisen tietokoneen?

Tietokonetta käyttävä tekoälyagentti tekee paljon muutakin kuin tuottaa tekstiä. Sen pitää ehkä avata selain, käyttää ohjelmistoja, hallita tiedostoja, reagoida käyttöoikeuspyyntöihin ja selviytyä muuttuvista näkymistä. Tällaisen toiminnan kouluttaminen ja arviointi vaatii toistuvia kokeiluja mahdollisimman todentuntuisessa käyttöjärjestelmässä.

Kompaktien Macien muodostama laitejoukko voi tarjota suuren määrän erillisiä macOS-työskentely-ympäristöjä. Niitä voidaan käyttää agenttien hiekkalaatikoina, arviointikoneina, päättelypisteinä ja vahvistusoppimisen kokeiden suorittajina. Raporttien mukaan Anthropic vuokraa vastaavaa Mac-kapasiteettia Amazon Web Services -pilvipalvelun kautta. 126

Vahvistusoppimisessa tekoälyjärjestelmä tekee ympäristössä suuren määrän yrityksiä eli toimintapolkuja. Tulosten perusteella sen toimintastrategiaa voidaan parantaa. Kun ympäristönä on oikea työpöytä sovelluksineen, käyttöjärjestelmän ja ohjelmien suora saatavuus voi olla käytännöllisempää kuin kaikkien niiden toimintojen jäljittely emuloinnilla tai virtualisoinnilla.

Apple Siliconin tärkein etu on yhtenäinen muisti

Apple Silicon yhdistää suorittimen, grafiikkasuorittimen ja neuroprosessointiin tarkoitetut resurssit yhteisen unified memory -muistin ympärille. Tietoa ei siksi tarvitse siirtää samalla tavalla erillisen keskusmuistin ja näytönohjaimen oman muistin välillä kuin perinteisessä CPU–erillis-GPU-ratkaisussa. 5

Paikallisessa tekoälyssä muistin määrä voi olla tärkeämpi ominaisuus kuin kiihdyttimen näyttävä suorituskykylukema. Suuri yhteinen muistialue voi sisältää mallin painot, sovellusten tilan, aineistot ja päättelyyn liittyvän datan samalla koneella. Tämä tekee tehokkaista Maceista kiinnostavia esimerkiksi seuraaviin käyttötarkoituksiin:

• mallien paikallinen tarjoilu;
• kvantisoitujen suurten kielimallien päättely;
• agenttien arviointi ja orkestrointi;
• datan valmistelu ja esikäsittely; sekä
• yksityiset tai kokonaan offline-toimivat käyttöönotot.

Arkkitehtuuri ei kuitenkaan poista kompromisseja. Apple Silicon ei ole automaattisesti nopein vaihtoehto jokaiseen työkuormaan, eikä suurimuistinen Mac tarjoa samaa ohjelmistoekosysteemiä, palvelinkeskusten verkkoyhteyksiä tai laajamittaisen rinnakkaiskoulutuksen työkaluja kuin GPU-klusteri.

Todennäköisempi lopputulos onkin heterogeeninen infrastruktuuri: GPU:t vastaavat suuren läpimenon hajautetusta koulutuksesta, kun taas Macit ja muut paikalliset järjestelmät hoitavat rinnakkaisia kokeita, testausta ja päätelaitteiden päättelyä.

Mihin uudistuneet Mac-mallit sopivat?

Applen uudistettu pöytäkonevalikoima tarjoaa raportoidulle strategialle kaksi erilaista laitetasoa. Uusi Mac mini alkaa 899 dollarista, ja siihen saa M6- tai M5 Pro -sirun. Mac Studion lähtöhinta on M5 Max -mallina 2 499 dollaria ja M5 Ultra -mallina 5 499 dollaria. Apple ilmoitti laitteiden tulevan saataville 22. syyskuuta. 171826

M6 on Applen ensimmäinen 2 nanometrin prosessilla valmistettu Mac-siru. M5 Ultra puolestaan on valikoiman suurimuistinen vaihtoehto. Applen mukaan M5 Ultra voidaan varustaa enintään 512 gigatavun yhtenäisellä muistilla ja 1,2 teratavun sekuntinopeuteen yltävällä muistikaistalla. Yhtiö asemoi sen sellaisten kielimallien paikalliseen ajamiseen, joissa on satoja miljardeja parametreja. 2133

Laitteille muodostuu siten luonteva työnjako:

• Mac mini: pienempiä ja edullisempia solmuja agenttiympäristöjen skaalaamiseen, testaukseen ja kevyeen päättelyyn.
• Mac Studio: suurimuistisia työasemia kehittäjille ja tutkijoille sekä paikalliseen mallipalveluun ja tehtäviin, jotka eivät mahdu tavanomaisen kuluttajanäytönohjaimen muistiin.

Jos OpenAI:n hankinnat pitävät paikkansa, kokonaisuus näyttää ennen kaikkea laitejoukkostrategialta: suuri määrä pienempiä koneita itsenäisiä ympäristöjä varten ja tehokkaampia järjestelmiä suurempia malleja sekä kehitystyötä varten.

Mitä 256 gigatavun M5 Ultra pystyy ajamaan?

256 gigatavua on huomattava määrä muistia, mutta se ei ole M5 Ultran suurin muistivaihtoehto. Yleisellä tasolla kokoonpanon pitäisi pystyä ajamaan 70 miljardin parametrin malleja mukavasti, myös kvantisoituina, niin että käyttöjärjestelmälle, kontekstille ja päättelyohjelmistolle jää tilaa. Nelibittisesti kvantisoitu 70B-malli vaatii tavallisesti noin 40–48 gigatavua käytettävissä olevaa muistia kvantisoinnista ja toteutuksesta riippuen. 54

Samalle koneelle mahtuu myös joitakin huomattavasti suurempia harvoja eli mixture-of-experts-malleja voimakkaasti kvantisoituina. Alustan perusteella tehdyissä arvioissa 256 gigatavuun mahtuvat tietyt noin 235–284 miljardin parametrin mallit. Nämä ovat kuitenkin arvioita, eivät valmistajan suorituskykytestejä. 405051

Mallikortissa ilmoitettu parametrimäärä ei yksin kerro, toimiiko malli hyvin. Lopputulokseen vaikuttavat muun muassa:

• onko kyseessä tiheä malli vai mixture-of-experts-arkkitehtuuri;
• kvantisoinnin taso;
• kontekstin pituus ja KV-välimuistin vaatima tila;
• päättelykehyksen aiheuttama lisäkuorma; sekä
• se, millaista nopeutta käyttäjä pitää riittävänä.

Malli voi siis mahtua muistiin mutta olla liian hidas vaativaan, vuorovaikutteiseen agenttityöhön. Toisaalta pienempi malli voi olla käytännössä hyödyllisempi, jos se vastaa nopeasti ja pystyy käsittelemään useita tehtäviä samanaikaisesti.

Mitä Mac-hankinnat kertovat – ja mitä eivät?

Vahvin johtopäätös on, että tekoälyinfrastruktuuri laajenee yhden valtavan GPU-klusterityypin ulkopuolelle. Agenttien kehittäminen ja paikallinen päättely synnyttävät kysyntää monille pienemmille ja hallittaville koneille etenkin silloin, kun työkuorma on helposti rinnakkaistettavissa, sidoksissa oikeaan työpöytäkäyttöjärjestelmään tai herkkä yksityisyyden ja viiveen suhteen.

Saatavilla oleva aineisto ei kuitenkaan vahvista kaikkia tarinaan liitettyjä markkinaväitteitä. Väitteet erityisistä saatavuusongelmista, Mac-liiketoiminnan 29 prosentin kasvusta tai siitä, että Nvidia pitäisi Applea tärkeimpänä paikallisen tekoälyn kilpailijanaan, eivät saa supplied materiaalissa riittävää vahvistusta. Niitä on syytä pitää alustavina, ei varmoina johtopäätöksinä.

Applen mahdollisuus on siksi selkein kahdessa markkinakerroksessa: suurimuistisessa paikallisessa päättelyssä sekä agenttien kehittämiseen ja arviointiin tarkoitetuissa laitejoukoissa. Nvidia ja muut palvelinkeskusten kiihdyttimet ovat edelleen keskeisiä tehtävissä, joissa tarvitaan maksimaalista koulutusnopeutta ja valtavia hajautettuja järjestelmiä.

Tulevaisuus ei todennäköisesti ole yksinkertainen “Mac vastaan Nvidia” -asetelma. Pikemminkin eri alustat jakavat työn keskenään: kukin hoitaa ne tekoälykuormat, joissa sen arkkitehtuuri on parhaimmillaan.