Cambricon отримала місце в раді PyTorch — і робить ставку на переносимість AI-розробки

Платинове членство Cambricon у PyTorch Foundation варто сприймати насамперед як довгострокову ставку на програмне забезпечення та екосистему, а не як презентацію нового кремнієвого продукту. Компанія прагне зробити свої AI-прискорювачі MLU зручнішою цільовою платформою на всьому шляху створення AI-рішень: від розробки й навчання моделей у PyTorch до промислового інференсу. 5

На PyTorch Conference China у Шанхаї Cambricon та Alibaba Cloud стали платиновими членами фонду, тоді як Ant Group приєдналася на золотому рівні. Платиновий статус дає Cambricon місце в керівній раді фонду — Governing Board — і представництво в Technical Advisory Council (TAC), технічній дорадчій раді. 156

Чому місце в раді має значення

Членство в керівній раді не означає, що всі технічні пропозиції Cambricon автоматично буде схвалено. Проте воно надає компанії формальну роль у дискусіях про місію, межі діяльності, політику та технічний розвиток фонду.

Cambricon у Governing Board представляє Jin Wang, старший директор з AI-фреймворків та інфраструктури. Участь у TAC, своєю чергою, наближає компанію до технічних обговорень, які можуть впливати на те, як у PyTorch інтегрують і підтримують бекенди для прискорювачів. 5

Для поширення прискорювача недостатньо лише характеристик чипа. Розробникам потрібні надійна підтримка фреймворку, сумісні інструменти, зрозуміла документація, стабільні інтерфейси та робочий шлях до продакшен-розгортання. Якщо виробник обладнання змушений підтримувати великий окремий форк PyTorch, кожна зміна в основному проєкті створює нові витрати на сумісність.

«Upstream First»: спроба уникнути проблеми ізольованого стека

Cambricon називає свій підхід Upstream First — тобто орієнтацію на внески безпосередньо в основний відкритий код проєкту. Компанія повідомляє про роботу в torch.compile, Eager Operators, Device Runtime, Distributed Computing, автоматичній змішаній точності (AMP), DataLoader і Profiler. 5

Стратегічний сенс у тому, щоб спиратися на загальні абстракції PyTorch, а не лише на відокремлену реалізацію під конкретного постачальника. Якщо такі зміни будуть прийняті та підтримуватимуться в основній гілці проєкту, це потенційно дасть кілька переваг:

• Менше витрат на підтримку: не потрібно постійно переносити окремий бекенд на кожну нову версію PyTorch.
• Звичніший робочий процес для розробників: можна користуватися знайомими API та інструментами PyTorch, не переходячи на суттєво інший стек.
• Краща переносимість: під час оцінювання підтримуваних платформ командам може знадобитися менше змін у коді моделі та супровідних інструментах.
• Стійкіші інтеграції: стандартні інтерфейси фреймворку зазвичай довговічніші за разові патчі, прив'язані до певного пристрою.

Робота Cambricon над Torch-MLU, зокрема шляхом інтеграції в стилі PrivateUse1, вказує на використання вже передбачених у PyTorch механізмів підтримки додаткових пристроїв. Бажаний результат — менша залежність користувачів від специфічного для прискорювача коду. Але це саме ціль, а не гарантія: усе залежатиме від якості реалізації, перевірки змін спільнотою та їхньої сумісності з майбутніми випусками PyTorch.

Від експерименту в PyTorch до сервінгу через vLLM

Оголошення про членство також демонструє ширшу мету: підтримати весь шлях від експериментів до розгорнутого інференсу.

Виконавчий директор PyTorch Foundation Mark Collier описав завдання так: дати розробникам можливість створювати й оптимізувати моделі у PyTorch, а потім ефективно обслуговувати їх за допомогою vLLM. 5 Для Cambricon це два взаємодоповнювальні рівні:

• Підтримка PyTorch важлива для розробки моделей, навчання, компіляції, налагодження та екосистемних інструментів.
• Підтримка vLLM стосується продакшен-рівня, де критичні ефективний інференс і доступ до популярних відкритих моделей.

Cambricon заявляє, що продовжує співпрацю з vLLM для запуску відкритих моделей на своєму обладнанні та планує подальші інвестиції в інфраструктуру компіляції, CI/CD і незалежну від пристрою підтримку галузевих бібліотек PyTorch. 5 У сукупності це має зробити платформу MLU придатною не лише для бенчмарків або поодиноких портів моделей, а й для повнішого циклу «розробник — продакшен».

На що варто дивитися далі

Найважливіші докази успішності з'являться вже після оголошення про членство. Розробникам та командам інфраструктури варто відстежувати такі сигнали:

1. Злиті зміни в основний код PyTorch. Прийняті внески важливіші за самі наміри.
2. Сумісність від релізу до релізу. Torch-MLU має встигати за оновленнями PyTorch без руйнівних переробок.
3. Покриття реальних навантажень. Підтримка повинна поширюватися на поширені архітектури моделей, сценарії розподіленого навчання, компіляцію та інструменти налагодження.
4. Якість промислового інференсу. Інтеграція з vLLM потребує надійної підтримки моделей і придатних до супроводу процесів розгортання.
5. Зрозумілі правила інтеграції прискорювачів. Обговорення в TAC і майбутні практики PyTorch можуть запропонувати передбачуваніший шлях для апаратних бекендів.

Важливе застереження

Платинове членство Cambricon і представництво в органах управління PyTorch Foundation мають стратегічну вагу. Однак вони не доводять паритет продуктивності з іншими прискорювачами, широке покриття моделей або автоматичне ухвалення бажаних для Cambricon архітектур бекенду.

Усе це визначатиметься тим, які зміни справді буде прийнято в основний код, як технічна спільнота PyTorch і TAC оцінюватимуть запропоновані рішення, а також здатністю Cambricon роками підтримувати надійні інтеграції PyTorch і vLLM. Наразі цей крок найпереконливіше свідчить про конкуренцію за розробників через сумісність з відкритим ПЗ та участь в екосистемі, а не про черговий Day-0 запуск нового обладнання. 5