AnswersPublished13 sources
NVIDIA Jetson: Cara AI Penaakulan dan Ejen Berjalan Terus di Edge
NVIDIA menyatakan Nemotron 3.5 Lightning dan Qwen3.8 27B boleh dideploy pada Jetson AGX Orin serta Jetson AGX Thor melalui vLLM. Pada AGX Thor, gabungan NVFP4 dan speculative decoding mencatat peningkatan throughput decode sehingga 6.28× berbanding BF16 dalam ujian NVIDIA—bukan jaminan untuk semua beban kerja.
Diterbitkan olehDisunting dengan GPT-5.6 TerraImej dijana dengan GPT Image 2
Research answer
Key takeaways
- NVIDIA menyatakan Nemotron 3.5 Lightning dan Qwen3.8 27B boleh dideploy pada Jetson AGX Orin serta Jetson AGX Thor melalui vLLM.
- Pada AGX Thor, gabungan NVFP4 dan speculative decoding mencatat peningkatan throughput decode sehingga 6.28× berbanding BF16 dalam ujian NVIDIA—bukan jaminan untuk semua beban kerja.
- Pemilihan model perlu dibuat mengikut corak kerja: Nemotron menggunakan reka bentuk MoE dengan 3B parameter aktif bagi setiap token, manakala Qwen3.8 27B ialah model padat yang mengaktifkan semua 27B parameter.
- Inferens tempatan boleh mengurangkan kebergantungan kepada sambungan rangkaian untuk robot, sistem industri dan pembantu dalam kenderaan.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does NVIDIA’s September 4 developer guide show that Jetson AGX Thor and AGX Orin modules can run compact reasoning and agentic AI models. Article summary: NVIDIA’s September 4 guide argues that recent compact open models, combined with Jetson-optimized serving and decoding techniques, make multi-step reasoning and agent loops practical on-device rather than requiring a rou. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
AI penaakulan yang mampu melalui beberapa langkah biasanya sukar dijalankan pada peranti terbenam: pembangun perlu memilih sama ada keupayaan model atau respons yang pantas. Panduan pembangun NVIDIA bertarikh 4 September menyatakan keadaan itu mula berubah. Dengan model terbuka yang dioptimumkan, inferens berketepatan rendah dan teknik penjanaan token yang lebih pantas, AI penaakulan serta ejen boleh dijalankan terus pada modul Jetson AGX Orin dan Jetson AGX Thor. 1
Hasil utama yang dilaporkan ialah peningkatan throughput decode sehingga 6.28× berbanding BF16 pada Jetson AGX Thor apabila kuantisasi NVFP4 digabungkan dengan speculative decoding. Ini ialah keputusan penanda aras bagi model dan beban kerja tertentu, bukannya jaminan kadar token sesaat untuk semua aplikasi. Namun, ia menunjukkan ejen AI tempatan semakin praktikal untuk robotik, kenderaan dan peralatan industri. 1
Tiga komponen untuk menjalankan model secara setempat
NVIDIA menyenaraikan Nemotron 3.5 Lightning dan Qwen3.8-27B sebagai pilihan kukuh untuk Jetson AGX Orin serta Jetson AGX Thor. Model ini boleh disajikan menggunakan vLLM pada Jetson, kemudian dipercepatkan dengan dua teknik yang saling melengkapi. 1
NVFP4: kurang kerja pengiraan dan pergerakan memori
NVFP4 menggunakan representasi titik apungan empat bit untuk mengurangkan kerja pengiraan dan memori yang diperlukan oleh operasi model. Dalam inferens terbenam, pemindahan berat model dan pengaktifan melalui memori sering menjadi kekangan penting ketika model menjana respons. 1
Jetson Thor amat sesuai untuk pendekatan ini kerana GPU Blackwell padanya menyokong FP4 secara natif menerusi Transformer Engine. 3
Speculative decoding: cadang dahulu, sahkan kemudian
Dalam speculative decoding, model draf yang lebih kecil mencadangkan beberapa token seterusnya. Model utama kemudian menyemak token-token itu sekali gus dan tetap membuat keputusan muktamad. Jika beberapa token diterima, penjanaan bergerak beberapa token dalam satu langkah pengesahan, bukan satu demi satu. 1
Kelebihannya bergantung pada kadar token cadangan diterima. Oleh itu, prestasi boleh berubah mengikut model, arahan pengguna, panjang konteks dan konfigurasi decoding. Ia lebih tepat dianggap sebagai pengoptimuman mengikut beban kerja, bukan pengganda kelajuan tetap.
Nemotron 3.5 Lightning atau Qwen3.8-27B?
Dua model ini membawa pertukaran yang berbeza untuk penggunaan AI di edge.
Nemotron 3.5 Lightning: kapasiti besar, parameter aktif lebih kecil
Nemotron 3.5 Lightning ialah model mixture-of-experts (MoE) dengan 30 bilion parameter, tetapi hanya 3 bilion parameter diaktifkan bagi setiap token. NVIDIA menerangkannya sebagai model untuk lapisan pelaksanaan ejen yang berjalan lama dan sentiasa aktif. 2
Reka bentuk ini boleh menarik bagi ejen yang perlu menghasilkan respons dengan kerap atau berulang kali melalui kitaran operasi: mentafsir peristiwa, memanggil alat yang diluluskan, menyemak hasil, kemudian memutuskan sama ada perlu meneruskan tindakan atau mengeskalasi isu.
Qwen3.8-27B: model padat untuk pertimbangan lebih sukar
Qwen3.8-27B ialah model padat (dense), iaitu semua 27 bilion parameternya mengambil bahagian bagi setiap token. NVIDIA meletakkannya sebagai satu lagi pilihan Jetson yang kuat bersama Nemotron 3.5 Lightning. 1
Model padat boleh sesuai jika aplikasi membuat keputusan yang lebih sedikit tetapi setiap keputusan itu memerlukan pertimbangan lebih kompleks. Pertukarannya ialah keseluruhan rangkaian perlu diaktifkan bagi setiap token, yang boleh memerlukan lebih banyak pengiraan berbanding model MoE yang jarang (sparse).
Uji aliran kerja sebenar, bukan angka parameter semata-mata
Panduan NVIDIA pada asasnya menyarankan pembangun menanda aras aplikasi sebenar: panjang arahan dan jawapan, penggunaan alat, sasaran kependaman, had memori serta corak keputusan. 1
Ejen yang banyak mengeluarkan respons mungkin lebih sesuai dengan model jarang yang laju menjana output. Sistem yang membuat keputusan lebih sedikit tetapi lebih rumit pula mungkin sanggup menerima penjanaan yang lebih perlahan. Tiada satu seni bina yang automatik terbaik untuk semua penggunaan edge.
Maksud angka 6.28× pada Jetson AGX Thor
NVIDIA melaporkan peningkatan maksimum 6.28× pada throughput decode berbanding BF16 apabila NVFP4 dan speculative decoding digunakan bersama pada Jetson AGX Thor. Konfigurasi speculative decoding terbaik juga berbeza mengikut model: DSpark didapati paling sesuai untuk Nemotron 3.5 Lightning, manakala DFlash2 paling baik untuk Qwen3.8-27B. 1
Ini penting kerana decode—proses menjana token output langkah demi langkah—sering menentukan sama ada ejen interaktif terasa pantas kepada pengguna. Namun, angka tersebut tidak patut dibaca sebagai tuntutan kelajuan menyeluruh. Kualiti model draf, kadar penerimaan token, saiz kelompok, panjang konteks dan tetapan masa jalan semuanya mempengaruhi throughput sebenar. 1
Mengapa inferens tempatan mengubah reka bentuk AI edge
Model yang berjalan pada peranti tidak perlu membuat setiap permintaan penaakulan bergantung pada pusat data jauh. Bagi sistem fizikal, hal ini berpotensi mengurangkan lengah berkaitan rangkaian, membolehkan operasi diteruskan apabila sambungan tidak stabil, dan mengekalkan aliran sensor serta log operasi pada peranti. NVIDIA menekankan nilai AI penaakulan dan ejen di edge apabila lokasi data serta respons masa nyata menjadi keutamaan. 1
Ini tidak bermakna awan tidak lagi diperlukan. Infrastruktur berpusat masih boleh digunakan untuk latihan model, pengurusan banyak peranti, analisis berskala besar atau tugas yang melebihi memori dan kuasa pengiraan peranti. Perubahannya ialah sambungan ke pusat data tidak semestinya berada pada laluan kritikal bagi setiap keputusan.
Aplikasi yang paling berpotensi mendapat manfaat
NVIDIA menyerlahkan pembantu dalam kabin, pengesanan anomali masa nyata, dan robot yang beroperasi dalam persekitaran lasak atau terpencil. 1
Aplikasi ini berkongsi keperluan yang sama: sistem mesti memahami konteks tempatan dan bertindak balas cukup pantas untuk berguna. Antara padanan yang munasabah ialah:
- robot yang menaakul berdasarkan pemerhatian dan status tugasan;
- sistem industri yang mentafsir kejadian peralatan atau log operasi;
- pembantu kenderaan yang perlu menjawab dalam interaksi di dalam kabin;
- peralatan pemeriksaan atau pemantauan jarak jauh yang tidak boleh menganggap sambungan sentiasa tersedia.
Calon terbaik bukan sekadar peranti yang boleh menjalankan model bahasa besar. Ia ialah sistem yang mendapat nilai operasi jelas daripada masa tindak balas pantas, keperluan data kekal setempat atau daya tahan apabila luar talian.
Kedudukan AGX Thor dalam pelan Jetson
Jetson AGX Thor ialah platform kelas tinggi NVIDIA untuk beban kerja AI fizikal yang lebih menuntut. NVIDIA menyatakan ia menggabungkan GPU Blackwell dengan 128 GB memori dan menawarkan sehingga 2,070 FP4 TFLOPS dalam sampul kuasa 130 W. 3
Profil perkakasan ini selari dengan tumpuan panduan tersebut terhadap NVFP4, decode berthroughput tinggi dan model penaakulan tempatan yang lebih besar. AGX Orin pula kekal relevan bagi penggunaan terbenam yang telah matang, manakala Thor menyasarkan beban kerja generatif dan multimodal yang lebih berat.
Di peringkat permulaan, NVIDIA turut mengumumkan Jetson Orin Nano 2 untuk robotik, dron penghantaran dan pemeriksaan, serta sistem AI penglihatan. Modul dan kit pembangunnya dijangka tersedia pada separuh pertama 2027. 1
Secara keseluruhan, portfolio ini menunjukkan pendekatan berperingkat: sistem lebih kecil untuk AI edge asas, AGX Orin untuk penggunaan terbenam sedia ada, dan AGX Thor untuk aplikasi yang memerlukan lebih banyak memori serta kuasa pengiraan bagi penaakulan generatif setempat.
Kesimpulan
Panduan NVIDIA tidak mendakwa semua model AI paling besar kini boleh berjalan dengan selesa pada setiap modul terbenam. Kesimpulan yang lebih berguna adalah lebih khusus: model penaakulan yang padat, penyajian melalui vLLM, kuantisasi NVFP4 dan speculative decoding boleh menjadikan ejen tempatan berkeupayaan tinggi sesuatu yang boleh dilaksanakan pada perkakasan kelas Jetson. 1
Bagi pembangun, langkah seterusnya ialah menguji, bukan mengandaikan—gunakan model sasaran pada peranti Jetson sasaran dengan arahan, alat, tetingkap konteks dan keperluan masa respons sebenar produk. Angka 6.28× menunjukkan potensi pengoptimuman; penanda aras aplikasi sendiri yang menentukan sama ada potensi itu benar-benar menjadi sistem AI edge yang berguna. 1
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "NVIDIA Jetson: Cara AI Penaakulan dan Ejen Berjalan Terus di Edge"?
NVIDIA menyatakan Nemotron 3.5 Lightning dan Qwen3.8 27B boleh dideploy pada Jetson AGX Orin serta Jetson AGX Thor melalui vLLM.
What are the key points to validate first?
NVIDIA menyatakan Nemotron 3.5 Lightning dan Qwen3.8 27B boleh dideploy pada Jetson AGX Orin serta Jetson AGX Thor melalui vLLM. Pada AGX Thor, gabungan NVFP4 dan speculative decoding mencatat peningkatan throughput decode sehingga 6.28× berbanding BF16 dalam ujian NVIDIA—bukan jaminan untuk semua beban kerja.
What should I do next in practice?
Pemilihan model perlu dibuat mengikut corak kerja: Nemotron menggunakan reka bentuk MoE dengan 3B parameter aktif bagi setiap token, manakala Qwen3.8 27B ialah model padat yang mengaktifkan semua 27B parameter.
Sources
developer.nvidia.comFrontier Reasoning Reaches the Edge: How to Deploy and Optimize ...