Cambricon’ın PyTorch yönetim koltuğu, çipten çok yazılım taşınabilirliği hamlesi

Cambricon’ın PyTorch Foundation’a Platinum üye olarak katılması, tek başına yeni bir yapay zekâ çipi duyurusu değil. Asıl anlamı, şirketin MLU hızlandırıcılarını yapay zekâ geliştirme yaşam döngüsünün tamamında — PyTorch ile model geliştirme ve eğitimden, üretimde çıkarım sunumuna kadar — daha doğal ve daha az uyarlama gerektiren bir hedef hâline getirme çabasıdır. 5

Şanghay’daki PyTorch Conference China kapsamında Cambricon ve Alibaba Cloud Platinum üye olurken, Ant Group Gold düzeyinde katıldı. Platinum üyelik Cambricon’a Foundation Yönetim Kurulu’nda bir koltuk ve Teknik Danışma Konseyi’nde (TAC) temsil hakkı veriyor. 156

Yönetim koltuğu neden önemli?

Yönetim Kurulu’nda yer almak, Cambricon’ın teknik önerilerinin otomatik olarak kabul edileceği anlamına gelmiyor. Ancak şirkete Foundation’ın misyonu, kapsamı, politikaları ve teknik yönü üzerine yürütülen resmî görüşmelerde yer alma imkânı tanıyor.

Cambricon’ı Yönetim Kurulu’nda AI Frameworks and Infrastructure Kıdemli Direktörü Jin Wang temsil ediyor. TAC katılımı ise şirketi, hızlandırıcı arka uçlarının PyTorch’a nasıl eklendiğini ve sürdürüldüğünü etkileyebilecek teknik tartışmalara daha yakın konumlandırıyor. 5

Bu kritik bir nokta; çünkü bir hızlandırıcının benimsenmesi yalnızca çip teknik özelliklerine bağlı değil. Geliştiricilerin güvenilir çerçeve desteğine, uyumlu araçlara, anlaşılır dokümantasyona, kararlı arayüzlere ve üretimde kullanılabilir çıkarım yollarına ihtiyacı var. PyTorch’un büyük ve ayrı bir çatalını sürdürmek zorunda kalan bir donanım üreticisi, ana proje her değiştiğinde yeniden uyumluluk maliyetiyle karşı karşıya kalır.

“Upstream First”: Ayrı yazılım yığını sorunundan kaçınma denemesi

Cambricon yaklaşımını “Upstream First” olarak tanımlıyor. Şirket; torch.compile, Eager operatörleri, cihaz çalışma zamanı, dağıtık hesaplama, otomatik karma hassasiyet (AMP), DataLoader ve Profiler gibi alanlarda katkı sunduğunu belirtiyor. 5

Stratejik amaç, yalnızca üreticiye özgü izole bir uygulamaya yaslanmak yerine PyTorch’un genel soyutlamaları üzerinden katkı yapmak. Bu çalışmalar ana PyTorch kod tabanında kabul edilir ve orada sürdürülürse, pratikte şu faydaları sağlayabilir:

• Daha düşük bakım yükü: Ayrı bir arka ucun her yeni PyTorch sürümüne sürekli yeniden uyarlanması daha az gerekebilir.
• Daha tutarlı geliştirici akışları: Ekipler büyük ölçüde farklı bir yazılım yığını öğrenmek yerine tanıdık PyTorch API’lerini ve araçlarını kullanabilir.
• Daha iyi taşınabilirlik: Desteklenen hızlandırıcı platformları değerlendirilirken model kodunda ve çevresindeki araçlarda daha az değişiklik gerekebilir.
• Daha kalıcı entegrasyonlar: Ortak çerçeve arayüzleri, belirli bir cihaz yığınına bağlı tek seferlik yamalardan daha kararlı olabilir.

Cambricon’ın PrivateUse1 tarzı bir entegrasyon yolunu da içeren Torch-MLU çalışması, PyTorch’un ek cihaz desteği için belirlediği mekanizmalardan yararlanma yönünde bir işaret veriyor. Hedef, kullanıcıların daha az hızlandırıcıya özgü kod yazması. Ancak bu bir garanti değil; uygulamanın kalitesine, üst proje incelemesine ve gelecek PyTorch sürümleriyle uyumluluğun korunmasına bağlı.

Strateji PyTorch geliştirmesinden vLLM sunumuna uzanıyor

Üyelik duyurusu daha geniş bir hedefe de işaret ediyor: Deneysel çalışmadan üretimde çalışan çıkarım sistemine kadar tüm yolu desteklemek.

PyTorch Foundation İcra Direktörü Mark Collier, geliştiricilerin modelleri PyTorch’ta oluşturup optimize edebilmesini, ardından vLLM ile verimli biçimde sunabilmesini temel ihtiyaç olarak çerçeveledi. 5 Cambricon açısından bunlar birbirini tamamlayan katmanlar:

• PyTorch desteği, model geliştirme, eğitim, derleme, hata ayıklama ve ekosistem araçları için merkezi önemde.
• vLLM desteği, verimli çıkarımın ve popüler açık modellerin kullanılabilirliğinin öne çıktığı üretim sunum katmanını hedefliyor.

Cambricon, açık modelleri kendi donanımında çalıştırmak için vLLM ile çalışmalarını sürdürdüğünü; derleme altyapısı, CI/CD ve PyTorch’un alan kütüphaneleri için cihazdan bağımsız desteğe yatırım yapmayı planladığını söylüyor. 5 Bu çalışmalar birlikte, MLU platformunu yalnızca kıyaslama testleri veya tek tek model uyarlamaları için değil, geliştirmeden üretime daha bütünlüklü bir iş akışı için kullanılabilir kılmayı amaçlıyor.

Kullanıcıların bundan sonra izlemesi gerekenler

Üyelik açıklamasının ötesinde, entegrasyonun olgunlaştığını gösterecek somut gelişmeler belirleyici olacak. Geliştiriciler ve altyapı ekipleri özellikle şu başlıklara bakmalı:

1. Ana kod tabanına alınan katkılar: PyTorch’a kabul edilen değişiklikler, açıklanan niyetlerden daha güçlü kanıttır.
2. Sürümler arası uyumluluk: Torch-MLU desteğinin, kesintili ve kapsamlı yeniden yazımlar gerektirmeden PyTorch güncellemelerine ayak uydurması gerekir.
3. Gerçek iş yükü kapsamı: Destek; yaygın model mimarilerine, dağıtık eğitim düzenlerine, derleme yollarına ve hata ayıklama araçlarına uzanmalı.
4. Üretim çıkarım kalitesi: vLLM entegrasyonunun güvenilir model desteği ve sürdürülebilir dağıtım süreçleri sunması gerekir.
5. Açık hızlandırıcı entegrasyonu rehberliği: TAC görüşmeleri ve gelecekteki PyTorch uygulamaları, donanım arka uçları için daha öngörülebilir yollar ortaya koyabilir.

Temel sınırlama

Cambricon’ın Platinum üyeliği ve yönetişimde temsil edilmesi stratejik açıdan önemli. Ancak bunlar, diğer hızlandırıcılarla performans eşitliğini, geniş model kapsamını ya da Cambricon’ın tercih ettiği her arka uç tasarımının kabulünü kanıtlamıyor.

Bu sonuçlar; hangi katkıların ana kod tabanına gerçekten alındığına, PyTorch teknik topluluğu ile TAC’ın önerileri nasıl değerlendirdiğine ve Cambricon’ın PyTorch ile vLLM entegrasyonlarını zaman içinde ne kadar sağlam biçimde sürdürebildiğine bağlı. Şimdilik duyurunun en güçlü mesajı, Cambricon’ın yalnızca yeni donanımla değil; açık kaynak yazılım uyumluluğu ve ekosistem katılımıyla geliştiricilerin tercihleri için rekabet ettiği. 5