Kerusi Cambricon dalam Lembaga PyTorch: Pertaruhan pada Keserasian Perisian AI

Keahlian Cambricon sebagai ahli Platinum PyTorch Foundation lebih tepat dilihat sebagai strategi perisian dan ekosistem jangka panjang, bukannya pengumuman produk silikon baharu. Sasaran syarikat itu ialah menjadikan pemecut MLU sebagai pilihan yang lebih lancar sepanjang kitaran pembangunan AI — daripada membina dan melatih model dalam PyTorch hinggalah menyajikan inferens di persekitaran produksi. 5

Pada PyTorch Conference China di Shanghai, Cambricon dan Alibaba Cloud menyertai yayasan itu pada tahap Platinum, manakala Ant Group menyertai pada tahap Gold. Status Platinum memberikan Cambricon satu kerusi dalam Governing Board PyTorch Foundation serta perwakilan dalam Technical Advisory Council (TAC). 156

Mengapa kerusi lembaga penting

Kerusi dalam lembaga tidak bermaksud cadangan teknikal Cambricon akan diterima secara automatik. Namun, ia memberi syarikat itu tempat rasmi dalam perbincangan tentang misi, skop, dasar dan hala tuju teknikal yayasan.

Wakil Cambricon dalam Governing Board ialah Jin Wang, Pengarah Kanan AI Frameworks and Infrastructure. Penyertaannya dalam TAC pula meletakkan Cambricon lebih dekat dengan perbincangan teknikal yang boleh mempengaruhi cara backend pemecut disepadukan dan diselenggara dalam PyTorch. 5

Ini penting kerana penerimaan pemecut tidak ditentukan oleh spesifikasi cip semata-mata. Pembangun turut memerlukan sokongan rangka kerja yang boleh diharap, alatan yang serasi, dokumentasi yang jelas, antara muka stabil dan laluan yang praktikal untuk penyajian produksi. Vendor perkakasan yang perlu menyelenggara cabang (fork) PyTorch tersendiri yang besar akan menanggung beban keserasian berulang setiap kali projek huluan berubah.

“Upstream First” untuk mengelakkan masalah timbunan perisian berasingan

Cambricon menyifatkan pendekatannya sebagai “Upstream First”. Menurut syarikat itu, sumbangannya merangkumi torch.compile, operator Eager, masa jalan peranti, pengkomputeran teragih, automatic mixed precision (AMP), DataLoader dan Profiler. 5

Tujuan strategiknya ialah menyumbang menerusi abstraksi umum PyTorch, bukan bergantung sepenuhnya pada pelaksanaan khusus vendor yang terasing. Jika usaha ini diterima dan diselenggara dalam projek huluan, beberapa manfaat praktikal mungkin terhasil:

• Beban penyelenggaraan lebih rendah: kurang keperluan untuk terus menyelaraskan backend berasingan dengan setiap versi baharu PyTorch.
• Aliran kerja pembangun yang lebih konsisten: pembangun boleh menggunakan API dan alatan PyTorch yang biasa, tanpa perlu mempelajari timbunan perisian yang jauh berbeza.
• Kebolehalihan lebih baik: kod model dan alatan di sekelilingnya mungkin memerlukan lebih sedikit perubahan apabila pasukan menilai platform pemecut yang disokong.
• Integrasi lebih tahan lama: antara muka rangka kerja yang umum berpotensi lebih stabil berbanding tampalan sekali guna yang terikat pada timbunan peranti tertentu.

Kerja Torch-MLU Cambricon, termasuk laluan integrasi ala PrivateUse1, menunjukkan usaha menggunakan mekanisme sedia ada PyTorch untuk meluaskan sokongan kepada peranti tambahan. Hasil yang diharapkan ialah pengguna perlu menulis kurang kod khusus pemecut. Namun, ini masih sasaran, bukannya jaminan; ia bergantung pada mutu pelaksanaan, semakan komuniti huluan dan keserasian berterusan dengan keluaran PyTorch akan datang.

Strategi melangkaui pembangunan PyTorch ke penyajian vLLM

Pengumuman keahlian ini juga menunjukkan matlamat yang lebih luas: menyokong keseluruhan laluan daripada eksperimen kepada inferens yang digunakan dalam produksi.

Pengarah Eksekutif PyTorch Foundation, Mark Collier, menggariskan cabaran untuk membolehkan pembangun membina serta mengoptimumkan model dalam PyTorch, kemudian menyajikannya dengan cekap melalui vLLM. 5 Bagi Cambricon, kedua-duanya ialah lapisan yang saling melengkapi:

• Sokongan PyTorch penting untuk pembangunan model, latihan, kompilasi, penyahpepijatan dan alatan ekosistem.
• Sokongan vLLM pula menyentuh lapisan penyajian produksi, yang memerlukan inferens cekap serta akses kepada model terbuka yang popular.

Cambricon menyatakan ia meneruskan kerja dengan vLLM bagi membolehkan model terbuka berjalan pada perkakasannya, dan merancang pelaburan lanjut dalam infrastruktur kompilasi, CI/CD serta sokongan bebas peranti untuk pustaka domain PyTorch. 5 Secara bersama, usaha ini bertujuan menjadikan platform MLU sesuai bukan hanya untuk penanda aras atau pemindahan satu-satu model, tetapi untuk aliran kerja yang lebih lengkap daripada pembangun hingga produksi.

Perkara yang patut diperhatikan seterusnya

Bukti paling bermakna akan muncul selepas pengumuman keahlian ini. Pembangun dan pasukan infrastruktur boleh memerhatikan petunjuk nyata berikut:

1. Sumbangan yang digabungkan ke huluan: Perubahan yang benar-benar diterima ke dalam PyTorch lebih penting daripada sekadar hasrat yang diumumkan.
2. Keserasian antara keluaran: Sokongan Torch-MLU perlu seiring dengan kemas kini PyTorch tanpa memaksa penulisan semula yang mengganggu.
3. Liputan beban kerja sebenar: Sokongan perlu merangkumi seni bina model lazim, corak latihan teragih, laluan kompilasi dan alatan penyahpepijatan.
4. Mutu inferens produksi: Integrasi vLLM perlu menawarkan sokongan model yang boleh diharap serta aliran kerja penerapan yang mudah diselenggara.
5. Panduan integrasi pemecut yang jelas: Perbincangan TAC dan amalan PyTorch pada masa hadapan boleh menyediakan laluan yang lebih dapat dijangka untuk backend perkakasan.

Batasan penting

Keahlian Platinum dan perwakilan tadbir urus Cambricon penting dari sudut strategi, tetapi ia tidak membuktikan kesetaraan prestasi dengan pemecut lain, liputan model yang meluas atau penerimaan automatik terhadap reka bentuk backend pilihan Cambricon.

Hasil tersebut bergantung pada sumbangan yang benar-benar digabungkan ke huluan, penilaian komuniti teknikal PyTorch dan TAC terhadap pendekatan yang dicadangkan, serta keupayaan Cambricon mengekalkan integrasi PyTorch dan vLLM yang kukuh dari semasa ke semasa. Buat masa ini, pengumuman itu paling jelas sebagai isyarat bahawa Cambricon mahu bersaing untuk menarik pembangun melalui keserasian perisian sumber terbuka dan penyertaan dalam ekosistem — bukan semata-mata melalui satu lagi pelancaran perkakasan pada hari pertama. 5