AnswersPublished13 sources
NVIDIA Jetson AGX Thor ve AGX Orin’de Yerel Akıl Yürütme Yapay Zekâsı Nasıl Çalışıyor?
NVIDIA’ya göre Nemotron 3.5 Lightning ve Qwen3.8 27B, Jetson AGX Orin ile AGX Thor üzerinde yerel olarak çalıştırılabiliyor; Thor’da NVFP4 ve spekülatif kod çözmenin birleşimi BF16’ya kıyasla en fazla 6,28 katlık kod... 30 milyar parametreli MoE modeli Nemotron 3.5 Lightning, her token için 3 milyar parametreyi etki...
YayımlayanGPT-5.6 Terra ile düzenlendiGörseller GPT Image 2 ile oluşturuldu
Research answer
Key takeaways
- NVIDIA’ya göre Nemotron 3.5 Lightning ve Qwen3.8 27B, Jetson AGX Orin ile AGX Thor üzerinde yerel olarak çalıştırılabiliyor; Thor’da NVFP4 ve spekülatif kod çözmenin birleşimi BF16’ya kıyasla en fazla 6,28 katlık kod...
- 30 milyar parametreli MoE modeli Nemotron 3.5 Lightning, her token için 3 milyar parametreyi etkinleştirirken; yoğun yapılı Qwen3.8 27B her token’da 27 milyar parametrenin tamamını kullanıyor.
- Yerel çıkarım, robotlar, araçlar ve endüstriyel sistemlerde ağ gecikmesine ve veri merkezine bağımlılığı azaltabilir; ancak doğru seçim gerçek istemler, araç çağrıları, bellek sınırları ve gecikme hedefleriyle yapılan...
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does NVIDIA’s September 4 developer guide show that Jetson AGX Thor and AGX Orin modules can run compact reasoning and agentic AI models. Article summary: NVIDIA’s September 4 guide argues that recent compact open models, combined with Jetson-optimized serving and decoding techniques, make multi-step reasoning and agent loops practical on-device rather than requiring a rou. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Çok adımlı akıl yürütme modellerini gömülü bir cihazda çalıştırmak, uzun süredir iki seçenek arasında kalmak anlamına geliyordu: model yeteneğinden ya da tepki hızından ödün vermek. NVIDIA’nın 4 Eylül tarihli geliştirici rehberi, bu dengenin değişmeye başladığını savunuyor. Optimize edilmiş açık modeller, düşük hassasiyetli çıkarım ve daha hızlı token üretimi sayesinde akıl yürüten ve araç kullanan yapay zekâ ajanları Jetson AGX Orin ve Jetson AGX Thor modüllerinde doğrudan çalıştırılabiliyor. 1
Rehberde öne çıkan ölçüm, Jetson AGX Thor’da NVFP4 nicemleme ile spekülatif kod çözmenin birlikte kullanılmasıyla BF16’ya göre en fazla 6,28 kat daha yüksek kod çözme verimi. Bu, her model ve her iş yüküsü için geçerli evrensel bir token/saniye vaadi değil; ancak robotik, araçlar ve endüstriyel ekipmanlarda yerel ajanların neden daha uygulanabilir hâle geldiğini gösteren önemli bir işaret. 1
Yerel çıkarım yığını: vLLM, NVFP4 ve spekülatif kod çözme
NVIDIA, Jetson AGX Orin ve Jetson AGX Thor için Nemotron 3.5 Lightning ile Qwen3.8-27B modellerini güçlü seçenekler arasında gösteriyor. Modeller, Jetson üzerinde vLLM ile sunulabiliyor; verimliliği yükseltmek için de birbirini tamamlayan iki yöntem kullanılıyor. 1
NVFP4 nicemleme nedir?
NVFP4, model işlemlerindeki ağırlıkları ve hesaplamaları dört bitlik kayan nokta gösterimleriyle ele alarak bellek gereksinimini ve işlem yükünü azaltmayı hedefliyor. Gömülü cihazlarda bu kritik bir nokta: üretim sırasında dar boğaz yalnızca ham hesaplama gücü değil, ağırlıkların ve aktivasyonların bellek içinde yeterince hızlı taşınabilmesi de olabiliyor. 1
Jetson Thor bu yaklaşım için özellikle uygun. NVIDIA’ya göre Blackwell GPU, Transformer Engine üzerinden yerel FP4 desteği sunuyor. 3
Spekülatif kod çözme nasıl hız kazandırıyor?
Spekülatif kod çözmede küçük bir taslak model, sıradaki birkaç token için öneri üretiyor. Ana model bu önerileri topluca doğruluyor ve nihai kararı yine kendisi veriyor. Birden fazla öneri kabul edilirse üretim, tek tek token ilerlemek yerine aynı doğrulama adımında birkaç token ileri atlayabiliyor. 1
Kazanım, taslak modelin önerilerinin ne ölçüde kabul edildiğine bağlı. Bu nedenle sonuçlar modele, isteme ve kod çözme yapılandırmasına göre değişiyor; yöntem sabit bir hız çarpanı olarak değil, iş yüküsüne bağlı bir optimizasyon olarak değerlendirilmelidir.
Nemotron 3.5 Lightning ve Qwen3.8-27B: Mimari fark neden önemli?
İki model, uç cihazlara dağıtımda farklı ödünleşimleri temsil ediyor.
Nemotron 3.5 Lightning: Daha az etkin parametreyle sürekli ajan yürütme
Nemotron 3.5 Lightning, 30 milyar parametreli bir uzmanlar karışımı (MoE) modeli; ancak her token için yalnızca 3 milyar parametre etkinleşiyor. NVIDIA, modeli uzun süre çalışan, sürekli görev yapan ajanların yürütme katmanı için konumlandırıyor. 2
Bu tasarım; bir olayı yorumlayan, onaylı bir aracı çağıran, sonucu inceleyen ve devam edip etmeyeceğine ya da insan müdahalesi gerekip gerekmediğine karar veren sistemler için elverişli olabilir. Burada yalnızca toplam parametre sayısı değil, token başına etkin parametre sayısı ve sürdürülebilir çıktı üretim hızı da önem taşıyor.
Qwen3.8-27B: Zor kararlar için yoğun hesaplama
Qwen3.8-27B yoğun (dense) bir model; yani her token üretiminde 27 milyar parametrenin tamamı devreye giriyor. NVIDIA, modeli Nemotron 3.5 Lightning’in yanında Jetson için güçlü bir seçenek olarak sunuyor. 1
Daha seyrek fakat daha karmaşık kararlar veren uygulamalarda yoğun model yaklaşımı anlamlı olabilir. Bunun karşılığında, ağın tamamının her token’da etkinleşmesi MoE modellere kıyasla daha yüksek hesaplama gerektirebilir.
Parametre sayısına değil, iş akışına göre seçin
NVIDIA’nın asıl mesajı, gerçek uygulamanın koşullarıyla kıyaslama yapılması gerektiği yönünde: istem ve yanıt uzunlukları, kullanılan araçlar, gecikme bütçesi, bellek sınırları ve kararların sıklığı birlikte değerlendirilmelidir. 1
Sık yanıt üreten bir ajan, hızlı çıktı veren seyrek MoE mimarisinden fayda görebilir. Daha az sayıda ancak daha zor değerlendirme yapan bir sistem ise yoğun modelin davranış kalitesi karşılığında daha yavaş üretimi kabul edebilir. İki mimariden biri her uç cihaz senaryosunda otomatik olarak üstün değildir.
Jetson AGX Thor’daki 6,28 katlık sonuç ne anlatıyor?
NVIDIA, Jetson AGX Thor’da NVFP4 nicemleme ve spekülatif kod çözmeyi birleştirdiğinde BF16’ya kıyasla en fazla 6,28 kat kod çözme verimi artışı bildirdi. En uygun spekülatif kod çözme yapılandırması modele göre değişti: Nemotron 3.5 Lightning için DSpark, Qwen3.8-27B içinse DFlash2 en iyi sonucu verdi. 1
Bu önemli; çünkü kullanıcıların etkileşimli bir ajandaki hız algısını çoğu zaman çıktı token’larının adım adım üretilmesi belirliyor. Ancak ölçüm, her istem, model veya cihaz kurulumu için geçerli genel bir hız iddiası olarak okunmamalı. Taslak modelin kalitesi, token kabul oranı, toplu işleme boyutu, bağlam uzunluğu ve çalışma zamanı yapılandırması gerçek verimi etkiler. 1
Yerel çıkarım, veri merkezi bağımlılığını nasıl azaltıyor?
Cihaz üzerindeki bir model, her akıl yürütme isteğinin uzak bir veri merkezine gidip dönmesini zorunlu olmaktan çıkarır. Fiziksel sistemler açısından bunun anlamı; ağ kaynaklı gecikmenin azalması, bağlantının kesintili olduğu yerlerde çalışmaya devam edebilme ve sensör akışlarıyla operasyon günlüklerini cihazda tutabilme olabilir. NVIDIA, uçta akıl yürütme ve ajan tabanlı yapay zekâyı özellikle veri yerelliği ile gerçek zamanlı tepkinin önemli olduğu senaryolar için değerli görüyor. 1
Bu durum bulutun rolünü ortadan kaldırmıyor. Model eğitimi, cihaz filolarının yönetimi, büyük ölçekli analizler veya cihazın bellek ve hesaplama sınırlarını aşan işler için merkezî altyapı hâlâ kullanılabilir. Değişen nokta, her kararın kritik yolunda veri merkezine bağlantı bulunmasının artık zorunlu olmaması.
Hangi kullanım alanları öne çıkıyor?
NVIDIA; araç içi asistanları, gerçek zamanlı anomali tespitini ve zorlu ya da uzak ortamlarda çalışan robotları öne çıkarıyor. 1
Bu örneklerin ortak noktası, sistemin yerel bağlamı yorumlayıp faydalı olacak kadar hızlı yanıt vermesi gereği. Uygun alanlar arasında şunlar sayılabilir:
- gözlemlerini ve görev durumunu değerlendirmesi gereken robotlar;
- ekipman olaylarını veya operasyon kayıtlarını yorumlayan endüstriyel sistemler;
- araç içi etkileşimde hızlı yanıt vermesi gereken asistanlar;
- güvenilir bağlantıya her zaman sahip olamayacak uzaktan denetim ve izleme ekipmanları.
En iyi adaylar yalnızca büyük dil modeli çalıştırabilen cihazlar değildir. Tepki süresinin, veri yerelliğinin veya çevrimdışı dayanıklılığın doğrudan operasyonel değer yarattığı sistemlerdir.
Jetson AGX Thor, NVIDIA’nın yol haritasında nereye oturuyor?
Jetson AGX Thor, NVIDIA’nın yüksek gereksinimli fiziksel yapay zekâ iş yükleri için üst seviye platformu. NVIDIA, Blackwell GPU ve 128 GB bellek kullanan platformun, 130 W güç zarfı içinde en fazla 2.070 FP4 TFLOPS sunduğunu belirtiyor. 3
Bu donanım profili, rehberin NVFP4, yüksek hızlı kod çözme ve daha büyük yerel akıl yürütme modellerine odaklanmasıyla uyumlu. AGX Orin, yerleşik ve olgun gömülü sistem kurulumları için önemini korurken Thor daha talepkâr üretken yapay zekâ ve çok modlu iş yüklerini hedefliyor.
Giriş seviyesinde ise NVIDIA, robotlar, teslimat ve denetim dronları ile görüntü tabanlı yapay zekâ sistemleri için Jetson Orin Nano 2’yi duyurdu. NVIDIA’ya göre modülün ve geliştirici kitinin 2027’nin ilk yarısında kullanıma sunulması bekleniyor. 1
Bu portföy katmanlı bir yaklaşım ortaya koyuyor: giriş seviyesi uç yapay zekâ için daha küçük sistemler, yerleşik uygulamalar için AGX Orin ve daha fazla bellekle hesaplama gücü gerektiren yerel üretken akıl yürütme için AGX Thor.
Sonuç
NVIDIA’nın rehberi, her üst düzey modelin artık her gömülü modülde rahatça çalışabileceğini iddia etmiyor. Daha dar ama daha yararlı sonuç şu: Daha kompakt akıl yürütme modelleri, vLLM dağıtımı, NVFP4 nicemleme ve spekülatif kod çözme; Jetson sınıfı donanımda yetenekli yerel ajanları uygulanabilir kılabiliyor. 1
Geliştiriciler için sonraki adım teorik değil, deneysel: Hedef modeli hedef Jetson cihazında; ürünün gerçek istemleri, araçları, bağlam pencereleri ve yanıt süresi gereksinimleriyle test etmek. 6,28 katlık sonuç optimizasyonun potansiyelini gösteriyor; bunun kullanılabilir bir uç yapay zekâ sistemine dönüşüp dönüşmeyeceğini ise uygulamaya özgü kıyaslama belirliyor. 1
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "NVIDIA Jetson AGX Thor ve AGX Orin’de Yerel Akıl Yürütme Yapay Zekâsı Nasıl Çalışıyor?"?
NVIDIA’ya göre Nemotron 3.5 Lightning ve Qwen3.8 27B, Jetson AGX Orin ile AGX Thor üzerinde yerel olarak çalıştırılabiliyor; Thor’da NVFP4 ve spekülatif kod çözmenin birleşimi BF16’ya kıyasla en fazla 6,28 katlık kod...
What are the key points to validate first?
NVIDIA’ya göre Nemotron 3.5 Lightning ve Qwen3.8 27B, Jetson AGX Orin ile AGX Thor üzerinde yerel olarak çalıştırılabiliyor; Thor’da NVFP4 ve spekülatif kod çözmenin birleşimi BF16’ya kıyasla en fazla 6,28 katlık kod... 30 milyar parametreli MoE modeli Nemotron 3.5 Lightning, her token için 3 milyar parametreyi etkinleştirirken; yoğun yapılı Qwen3.8 27B her token’da 27 milyar parametrenin tamamını kullanıyor.
What should I do next in practice?
Yerel çıkarım, robotlar, araçlar ve endüstriyel sistemlerde ağ gecikmesine ve veri merkezine bağımlılığı azaltabilir; ancak doğru seçim gerçek istemler, araç çağrıları, bellek sınırları ve gecikme hedefleriyle yapılan...
Sources
developer.nvidia.comFrontier Reasoning Reaches the Edge: How to Deploy and Optimize ...