Jetson AGX Thor dan Orin Bisa Jalankan AI Penalaran Lokal

Menjalankan AI yang mampu melakukan penalaran multi-langkah langsung di perangkat embedded selama ini identik dengan kompromi: model harus diperkecil secara drastis atau respons menjadi lambat. Panduan pengembang NVIDIA yang terbit 4 September menunjukkan pendekatan lain: model terbuka yang telah dioptimalkan, inferensi presisi rendah, dan decoding yang lebih efisien dapat membuat AI penalaran dan agen AI berjalan secara lokal pada modul Jetson AGX Orin maupun Jetson AGX Thor. 1

Angka yang paling menonjol adalah peningkatan throughput decode hingga 6,28 kali dibanding BF16 pada Jetson AGX Thor ketika NVFP4 dipadukan dengan speculative decoding. Ini adalah hasil benchmark NVIDIA untuk model dan beban kerja tertentu, bukan jaminan kecepatan token yang sama untuk seluruh aplikasi. 1

Cara kerja: model disajikan secara lokal dan proses generasi dipercepat

NVIDIA merekomendasikan Nemotron 3.5 Lightning dan Qwen3.8-27B sebagai pilihan untuk Jetson AGX Orin dan Jetson AGX Thor. Keduanya dapat disajikan melalui vLLM di perangkat Jetson, lalu dioptimalkan dengan dua teknik yang saling melengkapi. 1

NVFP4 mengurangi beban memori dan komputasi

NVFP4 adalah format floating point 4-bit yang mengurangi kerja komputasi dan kebutuhan memori dalam operasi model. Pada perangkat embedded, perpindahan bobot dan aktivasi dari memori sering kali menjadi hambatan penting saat model menghasilkan token satu per satu. 1

Jetson AGX Thor dirancang khusus untuk pendekatan ini. GPU Blackwell di dalamnya memiliki dukungan FP4 native melalui Transformer Engine, menurut NVIDIA. 3

Speculative decoding mempercepat pembuatan token

Dalam speculative decoding, model draf yang lebih kecil mengusulkan beberapa token berikutnya. Model utama kemudian memverifikasi usulan tersebut sekaligus dan tetap menjadi pengambil keputusan akhir. Jika sejumlah token diterima, proses generasi bisa melompat beberapa token dalam satu tahap verifikasi, alih-alih maju satu token per tahap. 1

Keuntungannya bergantung pada seberapa sering token dari model draf diterima. Karena itu, hasilnya dapat berubah menurut model, prompt, panjang konteks, ukuran batch, dan konfigurasi decoding. Teknik ini lebih tepat dipandang sebagai optimasi untuk beban kerja tertentu, bukan pengali performa yang pasti.

Nemotron 3.5 Lightning atau Qwen3.8-27B: pilih berdasarkan alur kerja

Kedua model menawarkan karakter yang berbeda untuk penerapan AI di tepi jaringan (edge).

Nemotron 3.5 Lightning: kapasitas besar, parameter aktif lebih sedikit

Nemotron 3.5 Lightning merupakan model mixture-of-experts (MoE) dengan total 30 miliar parameter, tetapi hanya mengaktifkan 3 miliar parameter untuk setiap token. NVIDIA memosisikannya sebagai model untuk lapisan eksekusi pada agen yang bekerja terus-menerus. 2

Arsitektur seperti ini relevan bagi agen yang harus menghasilkan respons berulang dalam siklus operasional: membaca kejadian, menjalankan alat yang diizinkan, memeriksa hasil, lalu memutuskan apakah pekerjaan diteruskan atau dinaikkan ke operator. Dalam skenario tersebut, jumlah parameter aktif per token dan laju generasi berkelanjutan bisa lebih penting daripada angka parameter total.

Qwen3.8-27B: model padat untuk keputusan yang lebih berat

Qwen3.8-27B adalah model padat (dense), sehingga seluruh 27 miliar parameternya terlibat untuk setiap token. NVIDIA menempatkannya sebagai opsi kuat di Jetson, berdampingan dengan Nemotron 3.5 Lightning. 1

Model padat dapat cocok untuk aplikasi yang tidak terlalu sering mengambil keputusan, tetapi membutuhkan pertimbangan lebih mendalam pada tiap respons. Konsekuensinya, mengaktifkan seluruh jaringan per token dapat menuntut komputasi lebih tinggi dibanding model MoE yang jarang (sparse).

Jangan hanya melihat angka parameter

NVIDIA pada dasarnya menyarankan pengembang menguji model memakai kondisi aplikasi nyata: panjang prompt, panjang jawaban, alat yang dipakai agen, batas latensi, kapasitas memori, serta pola pengambilan keputusan. 1

Agen dengan volume respons tinggi mungkin lebih cocok memakai model sparse yang cepat menghasilkan keluaran. Sebaliknya, sistem yang mengambil keputusan lebih jarang tetapi lebih kompleks dapat menerima generasi yang lebih lambat. Tidak ada satu arsitektur yang otomatis unggul untuk semua penggunaan edge AI.

Arti klaim peningkatan 6,28 kali di Jetson AGX Thor

NVIDIA melaporkan peningkatan throughput decode maksimum 6,28 kali dibanding BF16 pada Jetson AGX Thor setelah menggabungkan NVFP4 dan speculative decoding. Konfigurasi decoding terbaik juga berbeda menurut model: DSpark disebut paling efektif untuk Nemotron 3.5 Lightning, sementara DFlash2 paling efektif untuk Qwen3.8-27B. 1

Hasil ini penting karena tahap decoding—pembuatan token keluaran secara bertahap—sering menentukan seberapa responsif agen AI terasa bagi pengguna atau sistem fisik. Namun, angka tersebut tidak boleh dibaca sebagai klaim kecepatan menyeluruh untuk semua prompt dan penerapan. Kualitas model draf, tingkat penerimaan token, konteks, batch, dan pengaturan runtime semuanya ikut menentukan throughput aktual. 1

Mengapa AI lokal mengurangi ketergantungan pada pusat data

Saat model berjalan di perangkat, setiap permintaan penalaran tidak wajib menunggu perjalanan data ke pusat data jarak jauh. Untuk sistem fisik, hal ini berpotensi mengurangi jeda yang terkait jaringan, menjaga operasi ketika konektivitas tidak stabil, serta memungkinkan aliran sensor dan log operasional tetap berada di perangkat. NVIDIA menyoroti nilai AI penalaran di edge terutama ketika lokalitas data dan respons waktu nyata menjadi kebutuhan. 1

Ini bukan berarti cloud tidak lagi diperlukan. Infrastruktur terpusat masih bisa dipakai untuk pelatihan model, pengelolaan armada perangkat, analisis skala besar, atau pekerjaan yang melampaui memori dan kemampuan komputasi perangkat. Perubahan utamanya: koneksi ke pusat data tidak selalu harus menjadi bagian dari jalur kritis setiap keputusan.

Aplikasi yang paling diuntungkan

NVIDIA menyoroti asisten di dalam kabin kendaraan, deteksi anomali waktu nyata, serta robot yang bekerja di lingkungan berat atau terpencil. 1

Pola kebutuhannya serupa: sistem harus memahami konteks lokal dan merespons cukup cepat agar berguna. Contohnya mencakup:

• robot yang perlu menalar berdasarkan pengamatan dan status tugas;
• sistem industri yang menafsirkan kejadian pada peralatan atau log operasional;
• asisten kendaraan yang harus merespons interaksi di kabin;
• perangkat inspeksi atau pemantauan jarak jauh yang tidak bisa mengandalkan koneksi stabil.

Kandidat terbaik bukan sekadar perangkat yang mampu menjalankan LLM. Nilai praktisnya muncul ketika waktu respons, kebutuhan menjaga data tetap lokal, dan ketahanan saat offline punya dampak langsung terhadap operasi.

Posisi AGX Thor dalam lini Jetson

Jetson AGX Thor adalah platform kelas atas NVIDIA untuk beban kerja physical AI yang menuntut. NVIDIA menyebut perangkat ini memadukan GPU Blackwell, memori 128 GB, dan kemampuan hingga 2.070 FP4 TFLOPS dalam batas daya 130 W. 3

Spesifikasi tersebut sejalan dengan fokus pada NVFP4, decoding ber-throughput tinggi, serta model penalaran lokal yang lebih besar. AGX Orin tetap relevan untuk penerapan embedded yang telah matang, sementara Thor ditujukan bagi pekerjaan generatif dan multimodal yang lebih berat.

Di kelas awal, NVIDIA juga telah mengumumkan Jetson Orin Nano 2 untuk robotika, drone pengiriman dan inspeksi, serta sistem vision AI. Modul dan kit pengembangnya diperkirakan tersedia pada paruh pertama 2027. 1

Portofolio ini mengarah pada strategi bertingkat: perangkat lebih kecil untuk edge AI tingkat awal, AGX Orin untuk penerapan embedded yang matang, dan AGX Thor untuk aplikasi yang membutuhkan memori serta komputasi lebih besar guna menjalankan penalaran generatif secara lokal.

Kesimpulan

Panduan NVIDIA tidak menyatakan bahwa setiap model AI paling besar kini dapat berjalan nyaman pada semua modul embedded. Kesimpulannya lebih spesifik: model penalaran yang ringkas, penyajian melalui vLLM, kuantisasi NVFP4, dan speculative decoding dapat membuat agen AI lokal yang mumpuni menjadi realistis pada perangkat kelas Jetson. 1

Langkah berikutnya bagi pengembang tetap berupa pengujian nyata: jalankan model target pada perangkat Jetson target dengan prompt, alat, jendela konteks, batas memori, dan sasaran waktu respons yang benar-benar dipakai produk. Hasil 6,28 kali menunjukkan potensi optimasi; benchmark aplikasi sendirilah yang menentukan apakah potensi itu cukup untuk dipakai di lapangan. 1