Qualcomm і Cornelis хочуть перетворити мережу ШІ-кластера на обчислювальний ресурс

Для великих ШІ-кластерів самих лише потужних GPU чи інших прискорювачів недостатньо. Їм потрібно швидко й передбачувано обмінюватися даними. Саме на це вузьке місце спрямована нова співпраця Qualcomm і Cornelis Networks: компанії хочуть підвищити ефективність ШІ-інфраструктури, передусім зі зростанням систем для інференсу та кластерів із різнорідним обладнанням.

Водночас важливо не перебільшувати масштаб анонсу. Йдеться про стратегічну співпрацю та спільну участь у AI Infra Summit, а не про випуск готового спільного продукту Qualcomm і Cornelis. У Qualcomm зазначили, що бачення Cornelis щодо відкритої програмованої мережевої фабрики відповідає прагненню компанії поліпшити завантаження обчислювальних ресурсів і економіку ШІ. 57

Головна ідея: мережа має не лише передавати дані

Cornelis називає свій підхід Active Compute Fabric («активна обчислювальна фабрика»). У традиційній схемі комутатори та мережеві інтерфейси переважно пересилають пакети. Натомість Cornelis пропонує додати до самої мережі програмовані обчислення й прискорення. Це дозволяє виконувати частину операцій обміну даними та колективних операцій прямо під час проходження даних мережею, а не покладати всю роботу на сервери чи ШІ-прискорювачі. 515

Архітектура охоплює два рівні з’єднання:

• Scale-out — об’єднання серверів або вузлів у межах кластера.
• Scale-up — тісніше з’єднання прискорювачів усередині системи рівня стійки.

Мета полягає в тому, щоб дорогі GPU та інші прискорювачі рідше простоювали, чекаючи на дані. Це особливо важливо для розподілених ШІ-навантажень, де колективний обмін і потоки «багато-до-одного» можуть стати вузьким місцем. 121

Як транспорт без втрат і обчислення в мережі мають допомогти

Active Compute Fabric поєднує три складові: транспорт без втрат, прискорення всередині мережі та програмовані обчислення. 5

Для своєї платформи CN5000 на базі Omni-Path Cornelis описує транспорт без втрат на основі кредитів, детальну адаптивну маршрутизацію, контроль потоків з урахуванням інтенсивного трафіку до одного приймача (incast) і повторну передачу на рівні каналу. За заявою компанії, ці механізми мають не допустити переповнення буферів і проблем із доставкою даних через перевантаження мережі. 18

Логіка вигоди проста: якщо обмін даними відбувається стабільніше й потребує менше роботи з боку прискорювачів, більше їхнього часу можна спрямувати на виконання моделей. Це потенційно покращує економіку навчання та обслуговування моделей, адже мережа допомагає ефективніше використовувати значно дорожче обчислювальне обладнання.

Однак це поки що радше інженерна концепція, ніж остаточно доведений результат незалежних тестів. Cornelis публікує власні порівняння продуктивності та твердження щодо завантаження, але операторам варто перевіряти їх на власних моделях, шаблонах колективних операцій, програмному стеку та топології кластера. 15

Що вже постачається, а що лишається в дорожній карті

Важливо розрізняти продукти Cornelis за ступенем готовності:

• CN5000 — уже доступна 400-гігабітна end-to-end фабрика Omni-Path для scale-out. До неї входять SuperNIC, комутатори, програмне забезпечення та кабелі. Cornelis позиціонує її як систему без втрат і з контролем перевантажень для ШІ та високопродуктивних обчислень (HPC). 17
• CN6000 — інтелектуальна мережна платформа наступного покоління для навчання ШІ, інференсу та HPC. За повідомленнями, вона додає підтримку Ethernet і готується до ширшої доступності; сама Cornelis називає її частиною наступної генерації scale-out-продуктів. 68
• CN7000 — запланована нативна платформа для scale-up. Саме вона найближча за задумом до прямої альтернативи щільним міжз’єднанням рівня стійки на кшталт NVLink, але наразі це компонент дорожньої карти, а не широко розгорнута заміна технології Nvidia. 219

Отже, Cornelis уже має комерційний продукт для з’єднання вузлів кластера, але її повна пропозиція для scale-up поки що орієнтована на майбутнє.

Відкритість і різнорідне обладнання — важлива частина задуму

Cornelis просуває Active Compute Fabric як відкриту архітектуру для середовищ scale-up і scale-out. Дорожня карта згадує Ethernet, Ultra Ethernet, RoCE та технології, пов’язані з UALink, замість мережі, прив’язаної до одного постачальника прискорювачів. 1119

Для операторів інфраструктури це може бути привабливим: теоретично фабрику можна поєднувати з різними GPU, CPU, спеціалізованими прискорювачами й іншими компонентами, не обираючи цілісний вертикально інтегрований стек одного вендора. Cornelis також заявляє про сумісність CN5000 з прискорювачами AMD, Intel, Nvidia та інших виробників. 23

Але відкритість має і практичний бік: різнорідна інфраструктура повинна довести надійну сумісність, доступні обсяги обладнання та зріле програмне забезпечення для всієї системи, а не лише сумісність окремих компонентів.

Як це вписується у стратегію Qualcomm для дата-центрів

Відносини з Cornelis доповнюють ширший курс Qualcomm на постачання обчислювальних і мережевих рішень для ШІ-дата-центрів.

Qualcomm і Amazon оголосили про багатопоколіннєву співпрацю зі створення кастомного кремнію для масштабного ШІ-інференсу та оптичних з’єднань зі швидкістю до 1,6 Тбіт/с. Reuters повідомляло, що за умовами довгострокової домовленості Amazon може придбати ШІ-чипи Qualcomm і пов’язані продукти на суму до 60 млрд доларів США. 3324

Qualcomm також завершила придбання Alphawave Semi, отримавши технології високошвидкісного дротового з’єднання, які, за оцінкою компанії, доповнюють її процесори Oryon CPU та Hexagon NPU. 44

У сукупності ці кроки вказують на ширшу стратегію Qualcomm: бути присутньою і в обчислювальній, і в мережевій частинах ШІ-інфраструктури. Cornelis може додати до неї відкритий мережевий напрям, але повністю інтегрованої спільної платформи компанії не оголошували.

Конкуренція з Nvidia: перспективний напрям, але не витіснення

Cornelis виходить на ринок, де Nvidia вже має зрілі продукти та глибоко інтегровану екосистему прискорювачів, мереж і програмного забезпечення. Привабливість Active Compute Fabric — у модульності: мережа має брати участь в обчисленнях і працювати з різнорідним обладнанням, а не прив’язувати покупця до однієї пропрієтарної фабрики.

Cornelis залучила 205 млн доларів США для розвитку продуктів scale-up і scale-out, виробництва та розгортань. Це дає компанії додаткові ресурси для реалізації планів. 57

Проте фінансування й архітектурні анонси не означають автоматичної ринкової рівноцінності рішенням Nvidia. Перспективи Cornelis і Qualcomm залежатимуть від постачання CN6000 та CN7000, підтримки ПЗ, сумісності, доступності продукції й відтворюваних результатів у промисловій експлуатації. Наразі цю співпрацю варто розглядати як ставку на те, що краща мережа здатна підвищити використання ШІ-обладнання — і що клієнти цінуватимуть відкриту альтернативу не менше, ніж пікову продуктивність.