Qualcomm og Cornelis satser på et AI-nettverk som gjør mer enn å flytte data

AI-klynger trenger ikke bare raskere GPU-er og andre akseleratorer. De må også utveksle data raskt og forutsigbart. Det er flaskehalsen Qualcomm og Cornelis Networks retter seg mot med sitt nye samarbeid – særlig når AI-inferens og klynger med flere typer maskinvare vokser.

Det viktige forbeholdet er at dette foreløpig er et strategisk samarbeid og en felles opptreden på AI Infra Summit, ikke lanseringen av et felles produkt som allerede leveres til kundene. Qualcomm sier at Cornelis' visjon om et åpent, programmerbart nettverk passer med målet om bedre utnyttelse og økonomi i AI-infrastruktur. 57

Nettverket skal bli et aktivt beregningslag

Cornelis kaller tilnærmingen Active Compute Fabric. I stedet for å la svitsjer og nettverkskort bare videresende datapakker, legges programmerbar datakraft og akselerasjon inn i selve nettverket. Tanken er at deler av kommunikasjonen og de kollektive operasjonene som AI-jobber krever, kan utføres mens dataene går gjennom nettet – fremfor at alt arbeidet må gjøres på serverne eller akseleratorene. 515

Arkitekturen dekker to ulike nettverksoppgaver:

• Scale-out: å koble sammen servere eller noder på tvers av en klynge.
• Scale-up: å koble akseleratorer tett sammen i systemer på rack-nivå.

Målet er å unngå at kostbare GPU-er og andre akseleratorer blir stående og vente på data. Det er særlig relevant i distribuert AI, der kollektiv kommunikasjon og mange-til-én-trafikk kan bli en betydelig flaskehals. 121

Slik skal tapsfri transport og beregning i nettet hjelpe

Active Compute Fabric kombinerer tre elementer: tapsfri transport, akselerasjon i nettet og programmerbar beregning. 5

For den Omni-Path-baserte CN5000-plattformen beskriver Cornelis en kredittbasert, tapsfri transportmekanisme, finmasket adaptiv ruting, flytkontroll som tar hensyn til «incast»-trafikk og gjenspilling på lenkenivå. Enkelt sagt er dette laget for å hindre at buffere overfylles og at overbelastning forstyrrer dataleveringen. 18

Den økonomiske begrunnelsen er enkel: Dersom kommunikasjonen skjer mer stabilt og med mindre arbeid på akseleratorsiden, kan en større del av akseleratortiden brukes på å kjøre modellen. Nettverket kan dermed bidra til å beskytte utnyttelsen av maskinvare som er langt dyrere enn selve nettverkslaget.

Dette er imidlertid en designpåstand, ikke et endelig fasitsvar fra uavhengige tester. Cornelis publiserer egne ytelsessammenligninger og påstander om bedre utnyttelse, men driftsansvarlige bør teste dem mot egne modeller, kommunikasjonsmønstre, programvare og klyngetopologi. 15

Produktene: Hva finnes nå, og hva er fortsatt på veikartet?

Cornelis' produktplan er viktig, fordi teknologien ikke er like moden på alle områder.

• CN5000 er et kommersielt tilgjengelig ende-til-ende Omni-Path-nettverk på 400 Gb/s for scale-out. Det består av SuperNIC-er, svitsjer, programvare og kabling, og Cornelis posisjonerer det som et tapsfritt system med overbelastningskontroll for AI og HPC. 17
• CN6000 er neste generasjons intelligente nettverksplattform for AI-trening, inferens og HPC. Ifølge omtale får den Ethernet-støtte og forberedes for bredere tilgjengelighet, mens Cornelis beskriver den som del av neste generasjon scale-out-produkter. 68
• CN7000 er den planlagte, opprinnelige scale-up-plattformen. Dette er den delen av veikartet som er mest relevant som et direkte alternativ til tette rack-sammenkoblinger av NVLink-typen. Den er ennå ikke en bredt utplassert erstatter for Nvidias scale-up-teknologi. 219

Skillet er vesentlig: Cornelis har allerede et kommersielt scale-out-produkt, men den mest komplette scale-up-satsingen ligger fortsatt frem i tid.

Åpenhet og blandet maskinvare er en sentral del av budskapet

Cornelis fremstiller Active Compute Fabric som en åpen arkitektur for både scale-up og scale-out. Veikartet viser til Ethernet, Ultra Ethernet, RoCE og UALink-relaterte teknologier, i stedet for et nettverk bundet til én bestemt akseleratorleverandør. 1119

For datasenteroperatører er appellen fleksibilitet: Nettverket kan i prinsippet kombineres med ulike GPU-er, CPU-er, spesialbrikker og andre komponenter, fremfor at hele løsningen må kjøpes som én vertikalt integrert maskin- og nettverksstakk. Cornelis oppgir også at CN5000 samvirker med akseleratorer fra blant andre AMD, Intel og Nvidia. 23

Motstykket er at en åpen og heterogen infrastruktur må bevise at den fungerer robust i hele systemet – med moden programvare, god tilgang på maskinvare og reell interoperabilitet, ikke bare formell komponentkompatibilitet.

Passer inn i Qualcomms datasentersatsing

Samarbeidet med Cornelis utfyller Qualcomms bredere ambisjon om å bli leverandør av både AI-beregning og tilkobling i datasentre.

Qualcomm og Amazon har annonsert et flergenerasjonssamarbeid om skreddersydde brikker for AI-inferens og optisk tilkobling på opptil 1,6 Tb/s. Reuters meldte at Amazon, avhengig av avtalens vilkår, kan kjøpe Qualcomm-produkter for AI-datasentre for opptil 60 milliarder dollar gjennom den langsiktige avtalen. 3324

Qualcomm har også fullført oppkjøpet av Alphawave Semi. Selskapet sier at Alphawaves teknologi for høyhastighets kablet tilkobling kompletterer Qualcomms Oryon-prosessorer og Hexagon NPU-er. 44

Samlet peker dette mot en strategi der Qualcomm vil delta både på beregnings- og tilkoblingssiden av AI-infrastruktur. Cornelis tilfører en mulig åpen nettverksdimensjon, men selskapene har ikke annonsert en komplett integrert plattform.

En troverdig retning – ikke en fortrengning av Nvidia ennå

Cornelis går inn i et område der Nvidia allerede har etablerte produkter og et tett integrert økosystem av akseleratorer, nettverk og programvare. Active Compute Fabric skal skille seg ut med modularitet: et nettverk som både kan bidra med beregning og fungere på tvers av ulike maskinvaretyper, uten å låse kunden til ett proprietært nettverk.

Cornelis har hentet inn 205 millioner dollar for å utvikle scale-up- og scale-out-produktene, bygge opp produksjon og gjennomføre utrullinger. Det gir selskapet større ressurser til å følge opp ambisjonen. 57

Men finansiering og arkitekturannonseringer er ikke det samme som markedsmessig likeverdighet. Hvor sterk saken for Cornelis og Qualcomm blir, avhenger av leverte CN6000- og CN7000-produkter, programvarestøtte, interoperabilitet, leveringskapasitet og resultater som kan gjentas i faktisk produksjon. Foreløpig er samarbeidet best forstått som et veddemål på at bedre nettverk kan løfte utnyttelsen av AI-infrastruktur – og at kundene vil verdsette et åpent alternativ like høyt som maksimal toppytelse.