Qualcomm’un yeni Hexagon NPU’su cihaz içi yapay zekâ ajanlarına odaklanıyor

Qualcomm’un 9 Eylül tarihli ön gösterimi, şirketin bir sonraki üst seviye Snapdragon platformunda odağı nereye koyduğunu açıkça ortaya koyuyor: Telefonda, buluta sürekli ihtiyaç duymadan çalışabilecek daha uzun süreli ve çok modlu yapay zekâ iş yükleri. Yeni Hexagon NPU’nun hedefinde, uzun konuşma geçmişlerini ve farklı araçları yönetebilen yapay zekâ ajanları var. 1

Hexagon NPU’da neler değişiyor?

Yeni tasarımın merkezinde Element Accelerator adlı özel bir blok bulunuyor. Bu birim, üretken yapay zekâ ve çok modlu modellerin temelini oluşturan transformatör iş yükleri için geliştirildi. Mevcut skaler, vektör ve tensör odaklı işlem kaynaklarının yerine geçmiyor; onlarla birlikte çalışıyor. 111

Qualcomm ayrıca NPU’nun paylaşımlı belleğinin önceki tasarıma göre %50 daha büyük olduğunu belirtiyor. Amaç, sık erişilen model verilerini NPU’ya yakın tutarak sistem belleğinden tekrar tekrar veri çekme ihtiyacını azaltmak. Bu yaklaşım, bir yapay zekâ ajanının daha uzun bağlamlarla, birden fazla araçla ve eşzamanlı görevlerle çalışırken daha akıcı kalmasına yardımcı olmayı hedefliyor. Şirket, bu belleğin mutlak kapasitesini henüz açıklamadı. 15

32 bin token bağlam ve daha hızlı ilk yanıt hazırlığı

Qualcomm’a göre yenilenen Hexagon mimarisi, 32.000 tokene kadar bağlam uzunluğunu ve anahtar-değer önbelleği (KV cache) hızlandırmasını destekliyor. Pratikte daha geniş bağlam, modelin cihaz üzerinde yürütülen bir oturum sırasında konuşmanın, belgenin ya da görevin daha büyük bir bölümünü hatırda tutabilmesi anlamına geliyor. 1112

Şirket ayrıca INT4 modeller için %50’ye kadar daha hızlı prefill süresi iddiasında bulunuyor. Prefill, modelin kullanıcının ilk istemini işleyip yanıt üretmeye başlamadan önce çalışma bağlamını oluşturduğu aşama. Dolayısıyla bu oran, her uygulamada veya her modelde üretilen her yeni tokenın %50 daha hızlı olacağı anlamına gelmiyor. NPU; INT2, INT4, INT8, FP8 ve FP16 dahil geniş bir hassasiyet aralığını destekliyor. 16

“30 milyar parametre” iddiasındaki kritik ayrım

Qualcomm, toplamda 30 milyar parametreye kadar Mixture-of-Experts (MoE; Uzman Karışımı) modellerin telefonda çalıştırılabileceğini öne çıkarıyor. Verilen örnekte her token başına yaklaşık 3 milyar parametre etkinleştiriliyor. 6

Bu ayrım önemli. MoE mimarisinde yönlendirme mekanizması, her token veya görev için modelin yalnızca gerekli bir bölümünü devreye alır. Yani iddia, telefonun her token için 30 milyar parametrenin tamamında çıkarım yaptığı anlamına gelmiyor. Bunun uygulanabilirliği; seçici uzman etkinleştirmesine, kullanılan modele, yazılım uygulamasına ve cihazın yapılandırmasına bağlı. 113

Snapdragon içinde CPU, GPU ve NPU nasıl paylaşım yapacak?

Hexagon duyurusu, Qualcomm’un sıradaki platformun CPU ve GPU tarafına ilişkin önceki tanıtımlarını tamamlıyor. Sekiz çekirdekli yeni Oryon CPU’nun, 5 GHz’e ulaşan iki Prime çekirdeği ile altı Performance çekirdeği içermesi planlanıyor. FlexCache tasarımı, farklı türdeki CPU çekirdeklerinin iş yüküne göre dinamik olarak paylaştırılan ortak bir önbellek havuzuna erişmesini sağlıyor. 2122

Grafik tarafında ise Qualcomm, Adreno Matrix Cores ile 18 MB Adreno High Performance Memory duyurdu. Neural Fusion teknolojisi; sinirsel işleme, yapay zekâ destekli süper çözünürlük ve kare üretimini grafik işlem hattında bir araya getiriyor. Qualcomm, uygun görüntü oluşturma iş yüklerinde güç tüketiminin %40’a kadar azalabileceğini söylüyor; bu oran bağımsız bir kıyaslama sonucu değil, şirketin kendi iddiası. 1723

Bu bilgiler, cihaz içi yapay zekâ için üç motorlu bir yaklaşımı işaret ediyor:

• Hexagon NPU: Yapay zekâ modelleri ve ajan benzeri iş yükleri için verimli çıkarım.
• Oryon CPU: Genel amaçlı işlemler, uygulama mantığı ve hızlandırıcılara uygun düşmeyen görevler.
• Adreno GPU: Paralel görsel işlemler, grafik yapay zekâsı ve yapay zekâ destekli görüntü oluşturma.

Buradaki temel mesaj, telefondaki her yapay zekâ özelliğinin NPU üzerinde çalışmayacağı. Qualcomm; CPU, GPU ve NPU’yu, cihaz üreticilerinin cihaz içi deneyimin farklı bölümlerinde birlikte kullanabileceği tamamlayıcı işlem motorları olarak konumlandırıyor.

Henüz bilinmeyenler neler?

Açıklananlar tam bir platform teknik özellik listesi değil, mimari ön gösterimler niteliğinde. Snapdragon Summit, 22–24 Eylül tarihlerinde Hawaii’deki Maui’de düzenlenecek. 31

Bu nedenle kullanıcılar ve geliştiriciler, şimdilik bilgileri eksiksiz bir performans tablosu olarak değil, Qualcomm’un teknik yönelimi olarak değerlendirmeli. Şirket; ortak belleğin kesin kapasitesini ve yeni NPU’ya ait bağımsız olarak doğrulanmış kapsamlı performans ve verimlilik sonuçlarını henüz paylaşmadı. 5 Bu yeteneklerin gerçek Snapdragon ürünlerinde nasıl yapılandırılacağı ve satışa çıkacak telefonlara ne ölçüde yansıyacağı, sonraki platform duyurularıyla netleşecek.