Qualcomm ja Cornelis haluavat tehdä AI-verkosta aktiivisen laskentakerroksen

AI-klusterin suorituskyky ei riipu vain GPU:iden tai muiden kiihdyttimien nopeudesta. Kun laskentaa jaetaan useille palvelimille ja kiihdyttimille, niiden on vaihdettava dataa nopeasti ja ennustettavasti. Jos verkko ei pysy mukana, kallis laskentakapasiteetti voi joutua odottamaan syötettä.

Tähän Qualcomm Technologiesin ja Cornelis Networksin julkistama yhteistyö pyrkii vastaamaan. Kyse on kuitenkin strategisesta yhteistyöstä ja yhteisestä esiintymisestä AI Infra Summit -tapahtumassa, ei vielä yhteisestä, toimitettavasta Qualcomm–Cornelis-tuotteesta. Qualcomm katsoo Corneliksen avoimen ja ohjelmoitavan verkkoarkkitehtuurin sopivan tavoitteeseen parantaa AI-infrastruktuurin käyttöastetta ja taloudellisuutta. 57

Ajatus: verkko ei vain kuljeta dataa, vaan osallistuu työhön

Cornelis käyttää ratkaisustaan nimeä Active Compute Fabric. Perinteisesti verkkokytkimet ja verkkoliitännät välittävät paketteja päätelaitteiden välillä. Corneliksen mallissa verkkoon lisätään ohjelmoitavaa laskentaa ja kiihdytystä, jolloin osa viestinnän käsittelystä ja kollektiivioperaatioista voidaan tehdä datan kulkiessa verkon läpi sen sijaan, että työ jäisi palvelimille tai AI-kiihdyttimille. 515

Arkkitehtuuri kattaa kaksi eri tehtävää:

• Scale-out: palvelimien tai solmujen yhdistäminen laajemmaksi klusteriksi.
• Scale-up: kiihdyttimien tiukempi yhteenliittäminen esimerkiksi saman räkkitason järjestelmän sisällä.

Tavoitteena on vähentää tilanteita, joissa GPU:t tai muut kalliit kiihdyttimet odottavat dataa. Tämä on olennainen ongelma hajautetussa AI-laskennassa, jossa kollektiiviviestintä ja monelta yhdelle -tyyppinen liikenne voivat muodostaa pullonkaulan. 121

Häviötön siirto ja verkossa tehtävä laskenta

Active Compute Fabric yhdistää Corneliksen mukaan kolme osaa: häviöttömän tiedonsiirron, verkon sisäisen kiihdytyksen ja ohjelmoitavan laskennan. 5

Omni-Path-pohjaisessa CN5000-alustassa yhtiö käyttää luottopohjaista häviötöntä siirtoa, pakettikohtaista adaptiivista reititystä, vastaanottopään ruuhkatilanteita huomioivaa vuonohjausta sekä linkkitason uudelleenlähetystä. Käytännössä mekanismien tarkoitus on estää puskurien ylivuodot ja ruuhkat, jotka häiritsisivät datan toimitusta. 18

Taloudellinen logiikka on selkeä: jos viestintä valmistuu luotettavammin ja pienemmällä kiihdytinpuolen kuormalla, suurempi osa kiihdyttimen ajasta voidaan käyttää mallin suorittamiseen. Tällöin verkkoinvestointi voi parantaa mallien koulutuksen tai inferenssin kustannustehokkuutta suojaamalla huomattavasti kalliimman laskentalaitteiston käyttöastetta.

Tämä on silti ensisijaisesti arkkitehtuuriväite, ei lopullisesti todistettu yleispätevä tulos. Cornelis julkaisee omia suorituskykyvertailujaan ja käyttöasteväitteitään, mutta operaattorien kannattaa arvioida niitä omilla malleillaan, viestintämalleillaan, ohjelmistopinollaan ja klusteritopologialla. 15

Tuotteet eivät ole samalla kypsyystasolla

Corneliksen nykyiset ja suunnitellut tuotteet on tärkeää erottaa toisistaan:

• CN5000 on jo toimitettava, 400 Gb/s:n päästä päähän toteutettu Omni-Path-pohjainen scale-out-verkko. Kokonaisuuteen kuuluvat SuperNIC-verkkokortit, kytkimet, ohjelmisto ja kaapelointi. Cornelis asemoi sen AI- ja HPC-käyttöön häviöttömäksi ja ruuhkaa hallitsevaksi järjestelmäksi. 17
• CN6000 on seuraavan sukupolven älykäs verkkoalusta AI-koulutukseen, inferenssiin ja HPC-laskentaan. Raportoinnin mukaan se tuo Ethernet-tuen ja sitä valmistellaan laajempaan saatavuuteen; Cornelis kuvaa sitä seuraavan sukupolven scale-out-tuoteperheensä osaksi. 68
• CN7000 on suunnitteilla oleva natiivi scale-up-alusta. Se on tiekartan osa, joka olisi lähimpänä suoraa vaihtoehtoa tiukasti kytketyille, NVLink-tyyppisille räkkitason yhteenliitännöille. Se ei ole vielä laajasti käyttöönotettu korvaaja Nvidian scale-up-teknologialle. 219

Ero on ratkaiseva: Corneliksella on kaupallinen scale-out-tuote, mutta sen kunnianhimoisin scale-up-visio on vielä tulevaisuuteen suuntautuva.

Avoimuus on keskeinen osa tarjousta

Cornelis asemoi Active Compute Fabricin avoimeksi arkkitehtuuriksi sekä scale-up- että scale-out-ympäristöihin. Tiekartassa viitataan Ethertnetiin, Ultra Ethernetiin, RoCE:hen ja UALinkiin liittyviin teknologioihin yhden kiihdytintoimittajan verkon sijaan. 1119

Tämä voi kiinnostaa infrastruktuurin ylläpitäjiä, jotka haluavat joustavuutta: periaatteessa samaan ratkaisuun voisi yhdistää eri valmistajien GPU:ita, CPU:ita, räätälöityjä kiihdyttimiä ja muita komponentteja sen sijaan, että koko laskenta- ja verkkopino valitaan yhdeltä toimittajalta. Cornelis kertoo CN5000:n toimivan AMD:n, Intelin, Nvidian ja muiden valmistajien kiihdyttimien kanssa. 23

Avoimuus ei silti poista toteutusriskiä. Heterogeenisen infrastruktuurin on osoitettava käytännössä yhteentoimivuus, laitteiden saatavuus ja kypsä ohjelmistotuki koko järjestelmätasolla — pelkkä komponenttitason yhteensopivuus ei riitä.

Miten tämä sopii Qualcommin datakeskusstrategiaan?

Cornelis-suhde täydentää Qualcommin laajempaa pyrkimystä nousta AI-datakeskusten laskennan ja yhteyksien toimittajaksi.

Qualcomm ja Amazon ovat julkistaneet usean tuotesukupolven yhteistyön räätälöidyistä AI-inferenssipiireistä ja jopa 1,6 Tb/s:n optisista yhteyksistä. Reutersin mukaan Amazon voisi ostaa pitkän aikavälin järjestelyn ehtojen puitteissa jopa 60 miljardin dollarin arvosta Qualcommin AI-datakeskuspiirejä ja niihin liittyviä tuotteita. 3324

Qualcomm on myös saattanut päätökseen Alphawave Semin yritysoston. Kauppa toi sille nopean langallisen yhteysteknologian, jonka Qualcomm sanoo täydentävän Oryon-suorittimiaan ja Hexagon-NPU:itaan. 44

Yhdessä nämä liikkeet viittaavat strategiaan, jossa Qualcomm haluaa olla mukana AI-infrastruktuurin sekä laskenta- että yhteyskerroksissa. Cornelis tuo siihen mahdollisen avoimen verkottamisen ulottuvuuden, mutta yhtiöt eivät ole julkistaneet valmista, kokonaisvaltaisesti integroitua alustaa.

Uskottava suunta, ei vielä Nvidian syrjäyttäjä

Cornelis toimii alueella, jossa Nvidialla on jo vakiintuneet tuotteet sekä syvästi integroitu kiihdytin-, verkko- ja ohjelmistoekosysteemi. Active Compute Fabricin vetovoima perustuu modulaarisuuteen: verkon olisi tarkoitus osallistua laskentaan ja toimia heterogeenisen laitteiston kanssa sen sijaan, että ostaja sidottaisiin yhden toimittajan suljettuun verkkoon.

Cornelis keräsi 205 miljoonaa dollaria scale-up- ja scale-out-tuotteiden, tuotannon ja käyttöönottojen edistämiseen. Se antaa yhtiölle lisää resursseja toteuttaa suunnitelmaansa. 57

Rahoitus ja arkkitehtuurijulkistus eivät kuitenkaan vielä tee tuotteista markkinoilla samanarvoisia. Corneliksen ja Qualcommin mahdollisuus riippuu toimitetuista CN6000- ja CN7000-tuotteista, ohjelmistotuesta, yhteentoimivuudesta, saatavuudesta ja toistettavista tuotantoympäristön tuloksista. Tällä hetkellä yhteistyötä kannattaa tulkita vetona sen puolesta, että parempi verkko voi nostaa AI-infrastruktuurin käyttöastetta — ja että asiakkaat arvostavat avointa vaihtoehtoa huippusuorituskyvyn rinnalla.