Miejsce Cambricon w radzie PyTorch to zakład o przenośność oprogramowania AI

Cambricon należy odczytywać jako inwestycję w oprogramowanie i ekosystem, a nie jako zapowiedź nowego produktu krzemowego. Firma chce, by jej akceleratory MLU były łatwiejszym celem dla całego cyklu pracy z AI: od tworzenia i trenowania modeli w PyTorch po produkcyjne serwowanie inferencji. 5

Podczas PyTorch Conference China w Szanghaju Cambricon i Alibaba Cloud dołączyły do PyTorch Foundation jako członkowie Platinum, a Ant Group uzyskała status Gold. Poziom Platinum daje Cambricon miejsce w Governing Board Fundacji oraz reprezentację w Technical Advisory Council (TAC), czyli technicznej radzie doradczej. 156

Dlaczego miejsce w radzie ma znaczenie

Miejsce w Governing Board nie oznacza, że każde techniczne rozwiązanie proponowane przez Cambricon zostanie przyjęte. Daje jednak firmie formalny udział w rozmowach o misji, zakresie działania, polityce i kierunku technicznym Fundacji.

Cambricon reprezentuje w Governing Board Jin Wang, starszy dyrektor ds. frameworków AI i infrastruktury. Udział w TAC przybliża firmę do dyskusji technicznych, które mogą wpływać na sposób integrowania i utrzymywania backendów akceleratorów w PyTorch. 5

Dla adopcji akceleratora liczą się bowiem nie tylko parametry samego układu. Programiści potrzebują również solidnej obsługi frameworka, zgodnych narzędzi, użytecznej dokumentacji, stabilnych interfejsów i ścieżki do wdrożeń produkcyjnych. Producent sprzętu, który musi utrzymywać duży, osobny fork PyTorch, ponosi za każdym razem koszt zgodności, gdy projekt nadrzędny się zmienia.

„Upstream First”: mniej problemów z osobnym stosem

Cambricon określa swoje podejście jako „Upstream First”. Firma wskazuje wkład w torch.compile, operatory Eager, środowisko wykonawcze urządzeń, obliczenia rozproszone, automatyczną precyzję mieszaną (AMP), DataLoader i Profiler. 5

Strategiczny sens jest prosty: rozwijać wsparcie poprzez ogólne abstrakcje PyTorch, zamiast opierać się wyłącznie na odizolowanej implementacji specyficznej dla jednego dostawcy. Jeśli taki kod zostanie przyjęty i utrzymany w głównym projekcie, może przynieść praktyczne korzyści:

• Niższe koszty utrzymania: mniejsza potrzeba ciągłego dostosowywania osobnego backendu do kolejnych wydań PyTorch.
• Spójniejsza praca programistów: możliwość korzystania ze znanych API i narzędzi PyTorch zamiast uczenia się zasadniczo odmiennego stosu technologicznego.
• Lepsza przenośność: kod modelu i narzędzia wokół niego mogą wymagać mniej zmian, gdy zespół ocenia obsługiwane platformy akceleratorów.
• Trwalsze integracje: wspólne interfejsy frameworka bywają stabilniejsze niż jednorazowe poprawki powiązane z konkretnym stosem urządzenia.

Prace Cambricon nad Torch-MLU, w tym ścieżką integracji w stylu PrivateUse1, wskazują na wykorzystanie istniejących mechanizmów PyTorch do dodawania obsługi kolejnych urządzeń. Zamierzonym efektem jest mniejsza ilość kodu zależnego od konkretnego akceleratora po stronie użytkownika. Nie jest to jednak gwarancja: wynik zależy od jakości implementacji, oceny zmian w projekcie nadrzędnym i dalszej zgodności z przyszłymi wersjami PyTorch.

Od PyTorch do produkcyjnej inferencji w vLLM

Zapowiedź członkostwa wskazuje też na szerszy cel: obsługę pełnej drogi od eksperymentu do wdrożonej inferencji.

Mark Collier, dyrektor wykonawczy PyTorch Foundation, opisał wyzwanie jako umożliwienie programistom budowania i optymalizowania modeli w PyTorch, a następnie ich efektywnego serwowania z wykorzystaniem vLLM. 5 Dla Cambricon są to uzupełniające się warstwy:

• Obsługa PyTorch jest kluczowa dla tworzenia modeli, trenowania, kompilacji, debugowania i narzędzi ekosystemu.
• Obsługa vLLM dotyczy warstwy produkcyjnej, gdzie liczy się wydajna inferencja i dostęp do popularnych otwartych modeli.

Cambricon deklaruje kontynuowanie współpracy z vLLM, by umożliwiać działanie otwartych modeli na swoim sprzęcie, oraz dalsze inwestycje w infrastrukturę kompilacji, CI/CD i niezależne od urządzeń wsparcie dla bibliotek dziedzinowych PyTorch. 5 Łącznie działania te mają uczynić platformę MLU użyteczną nie tylko w benchmarkach lub przy pojedynczych portach modeli, lecz w pełniejszym procesie od pracy deweloperskiej do produkcji.

Co warto obserwować dalej

Najbardziej przekonujące dowody pojawią się dopiero po komunikacie o członkostwie. Zespoły deweloperskie i infrastrukturalne powinny śledzić zwłaszcza:

1. Zmiany włączone do głównego PyTorch: zaakceptowany kod znaczy więcej niż same deklaracje.
2. Zgodność między wydaniami: Torch-MLU powinien nadążać za aktualizacjami PyTorch bez wymuszania kosztownych przeróbek.
3. Obsługę rzeczywistych obciążeń: w tym popularnych architektur modeli, treningu rozproszonego, ścieżek kompilacji i narzędzi debugowania.
4. Jakość inferencji produkcyjnej: integracja z vLLM musi zapewnić niezawodną obsługę modeli i łatwe w utrzymaniu procesy wdrożeniowe.
5. Jasne wskazówki integracji akceleratorów: dyskusje TAC i przyszłe praktyki PyTorch mogą wyznaczyć bardziej przewidywalną drogę dla backendów sprzętowych.

Ważne zastrzeżenie

Członkostwo Platinum i reprezentacja Cambricon w organach Fundacji są strategicznie istotne, lecz nie potwierdzają porównywalnej wydajności względem innych akceleratorów, szerokiego pokrycia modeli ani automatycznej akceptacji preferowanych przez firmę rozwiązań backendowych.

O tym zdecyduje faktycznie włączony do głównego projektu kod, ocena proponowanych podejść przez społeczność techniczną PyTorch i TAC oraz zdolność Cambricon do trwałego utrzymywania integracji z PyTorch i vLLM. Na razie ogłoszenie jest przede wszystkim sygnałem, że firma konkuruje o programistów poprzez kompatybilność z otwartym oprogramowaniem i uczestnictwo w ekosystemie — nie wyłącznie kolejną premierą sprzętu. 5