Cambricon získal místo ve vedení PyTorch Foundation. Sází na přenositelnost AI softwaru, ne na nový čip

Cambricon vstoupil do PyTorch Foundation jako platinový člen. Nejdůležitější na tom není nový křemík ani další produkt uvedený „v den nula“, ale software: firma se snaží, aby její AI akcelerátory MLU byly pro vývojáře přirozeněji použitelné v celém řetězci práce s AI — od tvorby a trénování modelů v PyTorch až po produkční obsluhu inference. 5

Na konferenci PyTorch Conference China v Šanghaji se platinovými členy staly Cambricon a Alibaba Cloud; Ant Group vstoupila na zlaté úrovni. Platinové členství dává Cambriconu místo ve správní radě Foundation (Governing Board) i zastoupení v Technické poradní radě (Technical Advisory Council, TAC). 156

Proč je místo ve správní radě podstatné

Místo ve správní radě nezaručuje, že PyTorch převezme technické návrhy Cambriconu. Dává mu však formální prostor účastnit se debat o poslání, rozsahu, pravidlech i technickém směřování Foundation.

Cambricon ve správní radě zastupuje Jin Wang, seniorní ředitel pro AI frameworky a infrastrukturu. Účast v TAC firmu přibližuje technickým diskusím, které mohou ovlivnit způsob, jakým se backendy pro akcelerátory začleňují do PyTorch a dlouhodobě udržují. 5

Pro adopci akcelerátoru totiž nestačí parametry čipu. Vývojáři potřebují spolehlivou podporu frameworku, kompatibilní nástroje, srozumitelnou dokumentaci, stabilní rozhraní a funkční cestu k nasazení inference. Dodavatel hardwaru, který musí spravovat rozsáhlou vlastní větev PyTorch, navíc při každé změně hlavního projektu znovu řeší kompatibilitu.

„Upstream First“ má omezit problém odděleného softwarového stacku

Cambricon svůj přístup označuje jako „Upstream First“. Uvádí příspěvky do oblastí torch.compile, eager operátorů, device runtime, distribuovaných výpočtů, automatického mixed precision (AMP), DataLoaderu a Profileru. 5

Strategickým cílem je přispívat prostřednictvím obecných abstrakcí PyTorch místo spoléhání na izolovanou implementaci určenou jen pro jednoho dodavatele. Pokud jsou tyto změny přijaty a udržovány přímo v hlavním projektu, mohou přinést několik praktických výhod:

• Nižší náklady na údržbu: méně průběžného přizpůsobování samostatného backendu novým verzím PyTorch.
• Konzistentnější práce vývojářů: možnost používat známá API a nástroje PyTorch, namísto učení výrazně odlišného stacku.
• Lepší přenositelnost: při zvažování podporovaných akcelerátorových platforem může modelový kód i navazující nástroje vyžadovat méně úprav.
• Odolnější integrace: společná rozhraní frameworku mohou být stabilnější než jednorázové záplaty svázané s konkrétním zařízením.

Práce Cambriconu na Torch-MLU, včetně integrační cesty ve stylu PrivateUse1, ukazuje snahu využít zavedené mechanismy PyTorch pro podporu dalších zařízení. Zamýšleným výsledkem je méně kódu specifického pro konkrétní akcelerátor na straně uživatele. Jde však o cíl, nikoli o jistotu: závisí na kvalitě implementace, upstream revizi a trvalé kompatibilitě s budoucími verzemi PyTorch.

Od vývoje v PyTorch až po nasazení přes vLLM

Oznámení zároveň ukazuje širší ambici: pokrýt celou cestu od experimentu po nasazenou inferenci.

Výkonný ředitel PyTorch Foundation Mark Collier popsal výzvu jako schopnost nechat vývojáře modely v PyTorch vytvářet a optimalizovat, a následně je efektivně obsluhovat pomocí vLLM. 5 Pro Cambricon jde o dvě doplňující se vrstvy:

• Podpora PyTorch je zásadní pro vývoj modelů, trénování, kompilaci, ladění a nástroje ekosystému.
• Podpora vLLM míří na produkční vrstvu, kde záleží na efektivní inferenci a dostupnosti populárních otevřených modelů.

Cambricon uvádí, že pokračuje ve spolupráci s vLLM na zpřístupnění otevřených modelů pro svůj hardware. Plánuje také další investice do kompilační infrastruktury, CI/CD a hardwarově nezávislé podpory doménových knihoven PyTorch. 5 Společně mají tyto kroky proměnit platformu MLU v řešení použitelné nejen pro benchmarky či jednotlivé porty modelů, ale pro kompletnější pracovní tok od vývojáře do produkce.

Co sledovat dál

Skutečnou váhu oznámení ukážou až následující kroky. Vývojáři a týmy provozující AI infrastrukturu by měli sledovat především:

1. Sloučené upstream příspěvky: přijaté změny v PyTorch mají větší význam než samotné deklarace.
2. Kompatibilitu mezi verzemi: podpora Torch-MLU musí držet krok s aktualizacemi PyTorch bez nutnosti zásadních přepisů.
3. Pokrytí reálných úloh: podpora by měla zahrnout běžné architektury modelů, distribuované trénování, kompilační cesty i nástroje pro ladění.
4. Kvalitu produkční inference: integrace vLLM potřebuje spolehlivou podporu modelů a udržitelné postupy nasazení.
5. Jasnější pravidla pro integraci akcelerátorů: debaty v TAC a budoucí postupy PyTorch mohou vytvořit předvídatelnější cestu pro hardwarové backendy.

Důležité omezení

Platinové členství Cambriconu a jeho zastoupení v orgánech Foundation jsou strategicky významné. Neprokazují ale výkonovou srovnatelnost s jinými akcelerátory, široké pokrytí modelů ani automatické přijetí preferovaných návrhů backendu.

Rozhodující bude, co se skutečně dostane do upstreamu, jak navrhovaná řešení vyhodnotí technická komunita PyTorch a TAC a zda Cambricon dokáže dlouhodobě udržovat robustní integrace PyTorch a vLLM. V tuto chvíli je oznámení především signálem, že Cambricon soutěží o přízeň vývojářů skrze kompatibilitu s open-source softwarem a aktivní účast v ekosystému — nejen skrze další hardwarový start. 5