Qualcomm i Cornelis chcą, by sieć w klastrach AI robiła więcej niż tylko przesyłała dane

Klastry AI potrzebują nie tylko coraz szybszych GPU i innych akceleratorów. Muszą też szybko oraz przewidywalnie wymieniać między sobą ogromne ilości danych. Właśnie ten problem ma adresować ogłoszona współpraca Qualcommu i Cornelis Networks — przede wszystkim w miarę rozwoju systemów inferencyjnych i heterogenicznych klastrów.

Ważne zastrzeżenie: ogłoszenie dotyczy strategicznej współpracy i wspólnego wystąpienia na AI Infra Summit, a nie premiery wspólnie sprzedawanego produktu Qualcommu i Cornelis. Qualcomm ocenia, że wizja otwartej, programowalnej sieci Cornelis pasuje do jego dążeń do poprawy wykorzystania zasobów AI i ekonomiki ich działania. 57

Sieć jako aktywna warstwa obliczeniowa

Cornelis nazywa swoją koncepcję Active Compute Fabric. Zamiast ograniczać przełączniki i interfejsy sieciowe do przekazywania pakietów, architektura dodaje do warstwy sieciowej programowalne obliczenia i akcelerację. Według Cornelis część przetwarzania związanego z komunikacją oraz operacjami zbiorowymi może dzięki temu odbywać się podczas przesyłania danych, a nie wyłącznie na hostach lub akceleratorach AI. 515

Architektura obejmuje dwa powiązane zadania sieciowe:

• scale-out — łączenie serwerów lub węzłów w obrębie klastra;
• scale-up — ściślejsze łączenie akceleratorów w systemie o skali szafy serwerowej.

Cel jest prosty: ograniczyć sytuacje, w których kosztowne GPU lub inne akceleratory czekają na dane wejściowe. To szczególnie istotne w rozproszonych obciążeniach AI, gdzie komunikacja zbiorowa i ruch typu „wiele do jednego” potrafią stać się wąskim gardłem. 121

Jak mają pomagać transport bezstratny i obliczenia w sieci

Active Compute Fabric łączy trzy elementy: bezstratny transport, akcelerację wewnątrz sieci oraz programowalne obliczenia. 5

W przypadku platformy CN5000, opartej na Omni-Path, Cornelis wskazuje na transport bezstratny oparty na kredytach, precyzyjne adaptacyjne trasowanie, kontrolę przepływu uwzględniającą zjawisko incast oraz odtwarzanie na poziomie łącza. W praktyce mechanizmy te mają zapobiegać przepełnianiu buforów i zakłóceniom w dostarczaniu danych wynikającym z przeciążeń. 18

Potencjalna korzyść jest jasna: jeżeli komunikacja kończy się bardziej niezawodnie i wymaga mniej pracy po stronie akceleratora, większa część czasu pracy GPU może zostać przeznaczona na wykonywanie modelu. W efekcie sieć mogłaby poprawić ekonomię trenowania i obsługi modeli, chroniąc wykorzystanie znacznie droższego sprzętu obliczeniowego.

To jednak teza projektowa, a nie rozstrzygnięty wynik niezależnych testów. Cornelis publikuje własne porównania wydajności i deklaracje dotyczące wykorzystania sprzętu, ale operatorzy powinni weryfikować je na własnych modelach, wzorcach komunikacji zbiorowej, stosie oprogramowania i topologii klastra. 15

Co jest dostępne, a co pozostaje planem

Warto odróżnić obecne produkty Cornelis od elementów roadmapy.

• CN5000 to dostarczana już platforma scale-out Omni-Path 400 Gb/s typu end-to-end, obejmująca SuperNIC-i, przełączniki, oprogramowanie i okablowanie. Cornelis przedstawia ją jako system bezstratny, z kontrolą przeciążeń, dla AI i HPC. 17
• CN6000 to następna generacja inteligentnej sieci dla trenowania AI, inferencji i HPC. Według dostępnych informacji ma ona dodać obsługę Ethernetu i jest przygotowywana do szerszej dostępności. 68
• CN7000 to planowana, natywna platforma scale-up. To właśnie element roadmapy najbardziej zbliżony do bezpośredniej alternatywy dla ścisłych połączeń między akceleratorami, takich jak NVLink. Nie jest jednak jeszcze szeroko wdrożonym zamiennikiem technologii Nvidia. 219

Rozróżnienie jest kluczowe: Cornelis ma już komercyjny produkt scale-out, lecz pełna propozycja scale-up pozostaje na razie perspektywą przyszłości.

Otwartość i heterogeniczny sprzęt

Cornelis pozycjonuje Active Compute Fabric jako otwartą architekturę obejmującą środowiska scale-up i scale-out. Roadmapa odwołuje się do technologii Ethernet, Ultra Ethernet, RoCE i UALink, a więc nie zakłada sieci przypisanej do jednego dostawcy akceleratorów. 1119

To może być atrakcyjne dla operatorów szukających elastyczności: w założeniu mogliby łączyć taką sieć z GPU, CPU, układami niestandardowymi i innymi akceleratorami różnych producentów, zamiast wybierać jeden pionowo zintegrowany stos obliczeniowo-sieciowy. Cornelis deklaruje też, że CN5000 współpracuje z akceleratorami AMD, Intel, Nvidia i innych firm. 23

Otwartość wiąże się jednak z wysokimi wymaganiami wykonawczymi. Heterogeniczna infrastruktura musi udowodnić stabilną interoperacyjność, dostępność sprzętu na odpowiednią skalę oraz dojrzałość oprogramowania w całym systemie — nie tylko zgodność pojedynczych komponentów.

Gdzie pasuje Qualcomm

Relacja z Cornelis uzupełnia większą ofensywę Qualcommu w obszarze obliczeń i łączności dla centrów danych AI.

Qualcomm i Amazon ogłosiły wielogeneracyjną współpracę nad niestandardowymi układami dla inferencji AI na dużą skalę oraz łącznością optyczną o przepustowości do 1,6 Tb/s. Reuters podał, że w ramach długoterminowego porozumienia Amazon może kupić produkty Qualcommu dla centrów danych AI o wartości do 60 mld dolarów, z zastrzeżeniem warunków umowy. 3324

Qualcomm sfinalizował również przejęcie Alphawave Semi, pozyskując technologie szybkiej łączności przewodowej, które — jak podaje firma — uzupełniają procesory Oryon CPU i Hexagon NPU. 44

Łącznie te działania wskazują na strategię obecności po obu stronach infrastruktury AI: w obliczeniach i łączności. Cornelis może dodać do niej wymiar otwartego sieciowania, lecz firmy nie ogłosiły kompletnej, zintegrowanej platformy.

Kierunek wiarygodny, ale jeszcze nie zmiana układu sił

Cornelis wchodzi na rynek, na którym Nvidia ma już uznane produkty i głęboko zintegrowany ekosystem akceleratorów, sieci oraz oprogramowania. Atrakcyjność Active Compute Fabric ma opierać się na modułowości: sieci zaprojektowanej tak, aby wnosiła własne możliwości obliczeniowe i działała z heterogenicznym sprzętem, zamiast wiązać klienta z jedną własnościową architekturą.

Cornelis pozyskał 205 mln dolarów na rozwój produktów scale-up i scale-out, produkcję oraz wdrożenia, co daje firmie dodatkowe środki do realizacji tych planów. 57

Samo finansowanie i zapowiedź architektury nie oznaczają jednak rynkowej równoważności. Powodzenie podejścia Cornelis i Qualcommu zależeć będzie od dostarczonych produktów CN6000 i CN7000, wsparcia programowego, interoperacyjności, podaży sprzętu oraz powtarzalnych wyników w środowiskach produkcyjnych. Na dziś tę współpracę najlepiej rozumieć jako zakład o to, że lepsza sieć podniesie wykorzystanie infrastruktury AI — i że klienci będą równie mocno cenić otwartą alternatywę, jak najwyższą wydajność.