Cambricon hakee PyTorchista ohjelmistoetua MLU-kiihdyttimilleen

Cambriconin liittyminen PyTorch Foundationiin Platinum-jäsenenä kannattaa nähdä ennen kaikkea pitkän aikavälin ohjelmisto- ja ekosysteemistrategiana. Kyse ei sellaisenaan ole uuden piirituotteen julkistuksesta. Tavoitteena on tehdä yhtiön MLU-laskentakiihdyttimistä luontevampi kohde koko tekoälykehityksen ketjussa: PyTorchilla tehtävästä mallikehityksestä ja koulutuksesta aina tuotannossa ajettavaan inferenssiin asti. 5

Cambricon ja Alibaba Cloud liittyivät Platinum-jäseniksi PyTorch Conference China -tapahtumassa Shanghaissa, ja Ant Group liittyi Gold-tasolla. Platinum-jäsenyys tuo Cambriconille paikan Foundationin Governing Boardissa sekä edustuksen Technical Advisory Councilissa (TAC), eli teknisessä neuvonantajaelimessä. 156

Miksi hallituspaikalla on merkitystä?

Hallituspaikka ei takaa, että Cambriconin tekniset ehdotukset hyväksytään. Se antaa yhtiölle kuitenkin virallisen aseman keskusteluissa, jotka koskevat säätiön tehtävää, toimintapolitiikkaa, laajuutta ja teknistä suuntaa.

Cambriconia edustaa Governing Boardissa Jin Wang, yhtiön AI Frameworks and Infrastructure -yksikön Senior Director. TAC-edustus puolestaan tuo Cambriconin lähemmäs teknisiä keskusteluja, jotka voivat vaikuttaa siihen, miten kiihdytinlaitteiden taustajärjestelmät integroidaan ja pidetään yllä PyTorchissa. 5

Kiihdyttimen käyttöönotto ei ratkea pelkillä sirun teknisillä ominaisuuksilla. Kehittäjät tarvitsevat myös luotettavan kehystuen, yhteensopivat työkalut, käyttökelpoisen dokumentaation, vakaat rajapinnat ja toimivan polun tuotantoinferenssiin. Jos laitevalmistaja joutuu ylläpitämään suurta, erillistä PyTorch-haaraa, yhteensopivuustyötä syntyy uudelleen aina, kun pääprojekti muuttuu.

”Upstream First” pyrkii välttämään erillisen ohjelmistopinon

Cambricon kuvaa toimintatapaansa nimellä ”Upstream First”. Yhtiö kertoo osallistuneensa PyTorchin kehitykseen muun muassa torch.compile-, Eager-operaattori-, laiteajonaikaisen ympäristön, hajautetun laskennan, automaattisen sekatarkkuuden (AMP), DataLoaderin ja Profilerin alueilla. 5

Strateginen ajatus on rakentaa tuki PyTorchin yleisten abstraktioiden varaan sen sijaan, että nojauduttaisiin vain erilliseen, valmistajakohtaiseen toteutukseen. Jos työ hyväksytään ja sitä ylläpidetään pääprojektissa, seurauksena voi käytännössä olla:

• Pienempi ylläpitotaakka: erillistä taustajärjestelmää tarvitsee sovittaa uusiin PyTorch-versioihin vähemmän.
• Yhtenäisemmät kehittäjätyönkulut: tutut PyTorch-rajapinnat ja työkalut säilyvät käytössä ilman olennaisesti erilaista ohjelmistopinoa.
• Parempi siirrettävyys: mallikoodi ja sitä ympäröivät työkalut voivat vaatia vähemmän muutoksia, kun tiimit vertailevat tuettuja kiihdytinalustoja.
• Kestävämmät integraatiot: yhteiset kehysrajapinnat voivat olla vakaampia kuin yksittäiseen laitepinoon sidotut kertaluonteiset korjaukset.

Cambriconin Torch-MLU-työ, mukaan lukien PrivateUse1-tyyppinen integrointipolku, viittaa siihen, että MLU-tuki halutaan sovittaa PyTorchin vakiintuneisiin mekanismeihin uusien laitetyyppien tukemiseksi. Tavoite on vähentää käyttäjiltä vaadittavaa kiihdytinkohtaista koodia. Se ei kuitenkaan ole takuu: lopputulos riippuu toteutuksen laadusta, pääprojektin katselmoinnista ja yhteensopivuuden säilymisestä tulevissa PyTorch-julkaisuissa.

PyTorch-kehityksestä vLLM-tuotantopalveluun

Jäsenyysilmoitus viittaa myös laajempaan tavoitteeseen: tuen tarjoamiseen koko matkalle kokeiluista käyttöön otettuun inferenssiin.

PyTorch Foundationin toiminnanjohtaja Mark Collier kuvasi haasteen siten, että kehittäjien pitää voida rakentaa ja optimoida malleja PyTorchissa sekä tarjoilla niitä tehokkaasti vLLM:n avulla. 5 Cambriconille nämä ovat toisiaan täydentäviä kerroksia:

• PyTorch-tuki on keskeinen mallien kehityksessä, koulutuksessa, kääntämisessä, virheenjäljityksessä ja ekosysteemin työkaluissa.
• vLLM-tuki kohdistuu tuotantopalveluun, jossa tehokas inferenssi ja suosittujen avoimien mallien saatavuus ovat olennaisia.

Cambricon kertoo jatkavansa vLLM-yhteistyötä avointen mallien tuomiseksi laitteistolleen. Se suunnittelee myös lisäpanostuksia käännösinfrastruktuuriin, CI/CD-käytäntöihin sekä PyTorchin sovellusalakohtaisten kirjastojen laiteriippumattomaan tukeen. 5 Yhdessä näiden toimien tarkoituksena on tehdä MLU-alustasta käyttökelpoinen paitsi vertailutesteissä tai yksittäisissä mallisiirroissa myös laajemmassa kehittäjästä tuotantoon -työnkulussa.

Mitä käyttäjien kannattaa seurata seuraavaksi?

Jäsenyysilmoituksen jälkeen painavin näyttö tulee konkreettisesta toteutuksesta. Kehittäjien ja infrastruktuuritiimien kannattaa kiinnittää huomiota erityisesti seuraaviin asioihin:

1. Pääprojektiin yhdistetyt muutokset: PyTorchiin hyväksytyt kontribuutiot merkitsevät enemmän kuin pelkät suunnitelmat.
2. Yhteensopivuus julkaisuversiosta toiseen: Torch-MLU-tuen on pysyttävä PyTorch-päivitysten tahdissa ilman suuria uudelleenkirjoituksia.
3. Todellisten työkuormien kattavuus: Tuen pitäisi ulottua yleisiin malliarkkitehtuureihin, hajautetun koulutuksen malleihin, käännöspolkuihin ja virheenjäljitystyökaluihin.
4. Tuotantoinferenssin laatu: vLLM-integraatio tarvitsee luotettavan mallituen ja ylläpidettävät käyttöönoton työnkulut.
5. Selkeät ohjeet kiihdytinintegraatioille: TAC-keskustelut ja PyTorchin tulevat käytännöt voivat tehdä laitteistotaustajärjestelmien polusta ennakoitavamman.

Olennainen rajoitus

Cambriconin Platinum-jäsenyys ja hallintoedustus ovat strategisesti merkittäviä, mutta ne eivät osoita suorituskyvyn olevan samalla tasolla muiden kiihdyttimien kanssa. Ne eivät myöskään takaa laajaa mallikattavuutta tai Cambriconin suosimien taustajärjestelmäratkaisujen automaattista hyväksyntää.

Tulos riippuu siitä, mitä todella hyväksytään PyTorchin pääprojektiin, miten PyTorchin tekninen yhteisö ja TAC arvioivat ehdotettuja ratkaisuja sekä pystyykö Cambricon ylläpitämään vahvoja PyTorch- ja vLLM-integraatioita ajan mittaan. Toistaiseksi ilmoitus on vahvimmillaan viesti siitä, että Cambricon kilpailee kehittäjistä avoimen lähdekoodin ohjelmistoyhteensopivuudella ja ekosysteemiosallistumisella – ei vain uudella Day-0-laitteistojulkaisulla. 5