Artikel ini mengupas secara terperinci pengoptimuman yang digunakan oleh NVIDIA, spesifikasi keluarga model DeepSeek V4, penyedia inferens yang telah menggunakan penambahbaikan ini, dan bagaimana NVIDIA membingkai logik ekonomi di sebalik tumpuan laser terhadap kos-per-token.

Pengoptimuman Perisian Di Sebalik Pengurangan Kos 5x

NVIDIA menyusun tindanan pengoptimuman inferensnya kepada tiga lapisan: operasi pengeluaran, pecutan aplikasi, dan akses infrastruktur . Merentas lapisan ini, teknik khusus yang memberikan peningkatan 5x termasuk:

Rangka Kerja Inferens NVIDIA Dynamo

Dynamo ialah rangka kerja hidangan teragih sumber terbuka yang memisahkan fasa inferens merentas GPU yang berbeza. Ia mengasingkan prefill daripada decode, menghala permintaan secara pintar ke GPU yang betul untuk mengelakkan pengiraan berlebihan, dan memanjangkan memori GPU melalui caching berasaskan NVLink ke peringkat storan yang lebih kos efektif . Dynamo menyokong SGLang, TensorRT-LLM, dan vLLM, serta disepadukan secara natif dengan enjin sumber terbuka ini . Rangka kerja ini boleh meningkatkan bilangan permintaan yang dihidangkan sehingga 7x pada NVIDIA Blackwell, seperti yang ditunjukkan dalam penanda aras SemiAnalysis InferenceX .

Pengoptimuman TensorRT-LLM

NVIDIA mencapai pengurangan 5x dalam kos-per-token melalui pengoptimuman TensorRT-LLM sahaja dalam tempoh dua bulan selepas pelancaran Blackwell, tanpa sebarang perubahan perkakasan . Pada skala pusat data, pengurangan 5x dalam kos-per-token mewakili peningkatan lima kali ganda dalam kapasiti penjanaan hasil pelaburan infrastruktur yang sama .

Perkhidmatan Disagregat (Disaggregated Serving)

Dengan memisahkan fasa prefill (pemprosesan input) dan decode (penjanaan token) merentas GPU yang berbeza, perkhidmatan disagregat menghapuskan pertikaian sumber dan membolehkan setiap fasa dioptimumkan secara bebas untuk keperluan spesifiknya . Ini adalah ciri teras rangka kerja NVIDIA Dynamo .

Kepakaran Selari Berskala Besar (Large-Scale Expert Parallelism)

DeepSeek V4 menggunakan seni bina Mixture-of-Experts (MoE) dengan 384 pakar teragih . Penghalaan yang dioptimumkan menghantar token merentas pakar ini dengan pengiraan berlebihan yang dikurangkan, meningkatkan kecekapan merentas kluster GPU .

Komunikasi Selari Berasaskan NVLink

Sambung antara GPU berkelajuan tinggi NVIDIA membolehkan komunikasi semua-ke-semua yang cekap merentas pakar, yang penting untuk model MoE di mana kepakaran selari memerlukan pertukaran data yang kerap antara GPU .

Ketepatan NVFP4

Menggunakan ketepatan titik terapung 4-bit untuk inferens mengurangkan lebar jalur memori dan keperluan pengiraan tanpa kehilangan ketepatan yang ketara . Untuk DeepSeek-V3.2, kuantisasi NVFP4 NVIDIA mengurangkan jejak memori sebanyak 1.7x berbanding format FP8 asal (415 GB vs. 690 GB), membawa kepada peningkatan ketara dalam daya pemprosesan dan kecekapan kos .

Ramalan Multi-Token (Multi-Token Prediction - MTP)

MTP menjana pelbagai token setiap laluan ke hadapan, meningkatkan daya pemprosesan. Sokongan MTP pertama untuk DeepSeek V4 datang pada Hari ke-3 daripada SGLang . Menggunakan MTP, SGLang kemudiannya melebihi 12K token/saat setiap GPU pada perkakasan GB300 NVL72 .

Kernel CUDA yang Dioptimumkan

Tidak semua pengoptimuman datang daripada NVIDIA sahaja. SemiAnalysis terpaksa membetulkan kod pelancaran kernel mHC (manifold-constrained hyper-connection) sumber terbuka NVIDIA untuk seni bina novel DeepSeek V4, kerana TensorRT-LLM pada mulanya tidak berfungsi dengan baik dengan model tersebut . Sumbangan komuniti ini penting untuk inferens berkualiti pengeluaran.

Resipi Hidangan SGLang

LMSYS Org mencapai peningkatan daya pemprosesan 5x yang disahkan pada perkakasan NVIDIA GB300 NVL72 menggunakan SGLang, melonjak daripada kira-kira 2,200 kepada 11,200 token sesaat setiap GPU pada kira-kira 50 token sesaat setiap pengguna . Matriks sokongan NVIDIA Dynamo secara khusus menyenaraikan lmsysorg/sglang:deepseek-v4-blackwell sebagai konfigurasi yang disokong .

Secara gabungan, pengoptimuman ini memberikan sehingga 20x daya pemprosesan yang lebih tinggi setiap GPU pada Blackwell .

Spesifikasi Keluarga Model DeepSeek V4

DeepSeek V4 dikeluarkan pada 24 April 2026, di bawah lesen MIT sebagai keluarga model dua peringkat .

Sumber:

Seni bina perhatian hibrid menggabungkan Compressed Sparse Attention (CSA) dan Heavily Compressed Attention (HCA), mencapai hanya 27% daripada FLOPs inferens token tunggal DeepSeek-V3.2 pada konteks 1M token . Kecekapan ini menjadikan konteks ejenik juta token boleh dilaksanakan secara pengiraan.

Penyedia Inferens Yang Sudah Menggunakan Pengoptimuman Ini

Beberapa penyedia dan enjin inferens telah menggunakan pengoptimuman perisian NVIDIA untuk DeepSeek V4 pada Blackwell:

• LMSYS Org (SGLang) — mencapai peningkatan daya pemprosesan 5x yang disahkan pada perkakasan NVIDIA GB300 NVL72 (23 Jun 2026) . Matriks sokongan NVIDIA Dynamo menyenaraikan lmsysorg/sglang:deepseek-v4-blackwell sebagai konfigurasi yang disokong . SGLang juga melebihi 12K tok/s setiap GPU pada perkakasan yang sama .
• NVIDIA NIM — tindanan perkhidmatan mikro inferens NVIDIA sendiri menawarkan titik akhir DeepSeek-V4-Pro melalui katalog API NVIDIA .
• vLLM — enjin inferens sumber terbuka yang menghantar sokongan DeepSeek V4 dalam beberapa hari selepas pelancaran, disepadukan dengan NVIDIA Dynamo untuk inferens teragih pada GB200 .
• TensorRT-LLM — masa jalan dioptimumkan NVIDIA sendiri, walaupun penggunaan awal mempunyai isu dengan kod kernel mHC yang dibantu oleh SemiAnalysis untuk dibetulkan .
• DeepInfra — menawarkan titik akhir DeepSeek V4 Pro pada $0.435/M input dan $0.87/M output token .
• Together AI, Fireworks AI, Baseten — blog NVIDIA mencatat penggunaan meluas melalui titik akhir awan dipercepatkan GPU, dengan penyedia ini mengurangkan kos-per-token sehingga 10x berbanding Hopper .

Penyedia seperti Together AI dan Baseten mengurangkan kos-per-token sehingga 90% berbanding Hopper selepas menggunakan Blackwell, menurut NVIDIA .

Rangka Ekonomi NVIDIA untuk Beban Kerja AI Ejenik

NVIDIA meletakkan kos-per-token sebagai metrik paling penting untuk jumlah kos pemilikan (TCO) inferens — secara jelas menolak metrik lama seperti kos-per-jam-GPU atau FLOPS-per-dolar . Jensen Huang mengisytiharkan bahawa "kos per token NVIDIA adalah yang terendah di dunia" pada April 2026, membingkainya sebagai "hasil langsung kecemerlangan seni bina dan reka bentuk bersama yang ekstrem" .

Alasan di sebalik peralihan metrik ini secara langsung dikaitkan dengan AI ejenik:

Beban Kerja Ejenik Adalah Letupan-Komput pada Inferens

Apabila AI beralih daripada jawapan satu-sentuhan kepada penaakulan pelbagai langkah — merancang, mendapatkan konteks, memanggil alat, merenung, dan membetulkan diri — bilangan token yang dijana setiap pertanyaan boleh berganda sebanyak 100x hingga 1,000x . Satu tugas ejen pelbagai langkah boleh menelan kos $0.10 hingga $1.00 dalam pengiraan inferens . Analisis Gartner Mac 2026 mengesahkan bahawa model AI ejenik memerlukan 5–30x lebih token setiap tugas berbanding chatbots standard .

Inferens Kini Menjadi Pusat Kos Dominan

Anggaran industri mencadangkan 55–80% perbelanjaan GPU AI perusahaan digunakan untuk inferens, bukan latihan . Deloitte menganggarkan bahawa inferens menyumbang kira-kira dua pertiga daripada semua pengiraan AI pada 2026, meningkat daripada satu pertiga pada 2023 . Inferens juga menyumbang 80 hingga 90 peratus daripada kos seumur hidup sistem AI pengeluaran .

Pengoptimuman Perisian Membuka Nilai Besar Tanpa Perkakasan Baharu

NVIDIA secara eksplisit membingkai ini sebagai kelebihan strategik: "NVIDIA mencapai pengurangan 5x dalam kos per token melalui pengoptimuman TensorRT-LLM sahaja dalam tempoh dua bulan selepas pelancaran Blackwell, tanpa perubahan perkakasan" . Pada skala pusat data, pengurangan 5x dalam kos-per-token secara langsung menentukan sama ada beban kerja AI ejenik menjadi berdaya maju dari segi ekonomi . Perisian inferens NVIDIA terus menurunkan kos token lama selepas infrastruktur AI digunakan .

Kos-per-Token Adalah "Satu-satunya Metrik TCO Yang Penting"

NVIDIA berhujah bahawa kos-per-token adalah satu-satunya metrik yang secara langsung mengambil kira prestasi perkakasan, pengoptimuman perisian, sokongan ekosistem, dan penggunaan dunia sebenar . Syarikat itu menerbitkan "kos token terendah" sebagai cadangan nilai Blackwell utamanya . NVIDIA B200 mencapai dua sen per juta token pada GPT-OSS-120B, dan seni bina itu menurunkan kos-per-juta-token sebanyak 15x berbanding generasi sebelumnya .

Kesimpulannya, mesej NVIDIA adalah jelas: AI ejenik memerlukan token inferens yang lebih dramatik setiap tugas; pengoptimuman inferens peringkat perisian pada Blackwell boleh memotong kos token tersebut sebanyak 5x tanpa perkakasan baharu, secara langsung menentukan sama ada penggunaan ejenik berskala besar menguntungkan .

Artikel ini mengupas secara terperinci pengoptimuman yang digunakan oleh NVIDIA, spesifikasi keluarga model DeepSeek V4, penyedia inferens yang telah menggunakan penambahbaikan ini, dan bagaimana NVIDIA membingkai logik ekonomi di sebalik tumpuan laser terhadap kos-per-token.

Pengoptimuman Perisian Di Sebalik Pengurangan Kos 5x

NVIDIA menyusun tindanan pengoptimuman inferensnya kepada tiga lapisan: operasi pengeluaran, pecutan aplikasi, dan akses infrastruktur . Merentas lapisan ini, teknik khusus yang memberikan peningkatan 5x termasuk:

Rangka Kerja Inferens NVIDIA Dynamo

Dynamo ialah rangka kerja hidangan teragih sumber terbuka yang memisahkan fasa inferens merentas GPU yang berbeza. Ia mengasingkan prefill daripada decode, menghala permintaan secara pintar ke GPU yang betul untuk mengelakkan pengiraan berlebihan, dan memanjangkan memori GPU melalui caching berasaskan NVLink ke peringkat storan yang lebih kos efektif . Dynamo menyokong SGLang, TensorRT-LLM, dan vLLM, serta disepadukan secara natif dengan enjin sumber terbuka ini . Rangka kerja ini boleh meningkatkan bilangan permintaan yang dihidangkan sehingga 7x pada NVIDIA Blackwell, seperti yang ditunjukkan dalam penanda aras SemiAnalysis InferenceX .

Pengoptimuman TensorRT-LLM

NVIDIA mencapai pengurangan 5x dalam kos-per-token melalui pengoptimuman TensorRT-LLM sahaja dalam tempoh dua bulan selepas pelancaran Blackwell, tanpa sebarang perubahan perkakasan . Pada skala pusat data, pengurangan 5x dalam kos-per-token mewakili peningkatan lima kali ganda dalam kapasiti penjanaan hasil pelaburan infrastruktur yang sama .

Perkhidmatan Disagregat (Disaggregated Serving)

Dengan memisahkan fasa prefill (pemprosesan input) dan decode (penjanaan token) merentas GPU yang berbeza, perkhidmatan disagregat menghapuskan pertikaian sumber dan membolehkan setiap fasa dioptimumkan secara bebas untuk keperluan spesifiknya . Ini adalah ciri teras rangka kerja NVIDIA Dynamo .

Kepakaran Selari Berskala Besar (Large-Scale Expert Parallelism)

DeepSeek V4 menggunakan seni bina Mixture-of-Experts (MoE) dengan 384 pakar teragih . Penghalaan yang dioptimumkan menghantar token merentas pakar ini dengan pengiraan berlebihan yang dikurangkan, meningkatkan kecekapan merentas kluster GPU .

Komunikasi Selari Berasaskan NVLink

Sambung antara GPU berkelajuan tinggi NVIDIA membolehkan komunikasi semua-ke-semua yang cekap merentas pakar, yang penting untuk model MoE di mana kepakaran selari memerlukan pertukaran data yang kerap antara GPU .

Ketepatan NVFP4

Menggunakan ketepatan titik terapung 4-bit untuk inferens mengurangkan lebar jalur memori dan keperluan pengiraan tanpa kehilangan ketepatan yang ketara . Untuk DeepSeek-V3.2, kuantisasi NVFP4 NVIDIA mengurangkan jejak memori sebanyak 1.7x berbanding format FP8 asal (415 GB vs. 690 GB), membawa kepada peningkatan ketara dalam daya pemprosesan dan kecekapan kos .

Ramalan Multi-Token (Multi-Token Prediction - MTP)

MTP menjana pelbagai token setiap laluan ke hadapan, meningkatkan daya pemprosesan. Sokongan MTP pertama untuk DeepSeek V4 datang pada Hari ke-3 daripada SGLang . Menggunakan MTP, SGLang kemudiannya melebihi 12K token/saat setiap GPU pada perkakasan GB300 NVL72 .

Kernel CUDA yang Dioptimumkan

Tidak semua pengoptimuman datang daripada NVIDIA sahaja. SemiAnalysis terpaksa membetulkan kod pelancaran kernel mHC (manifold-constrained hyper-connection) sumber terbuka NVIDIA untuk seni bina novel DeepSeek V4, kerana TensorRT-LLM pada mulanya tidak berfungsi dengan baik dengan model tersebut . Sumbangan komuniti ini penting untuk inferens berkualiti pengeluaran.

Resipi Hidangan SGLang

LMSYS Org mencapai peningkatan daya pemprosesan 5x yang disahkan pada perkakasan NVIDIA GB300 NVL72 menggunakan SGLang, melonjak daripada kira-kira 2,200 kepada 11,200 token sesaat setiap GPU pada kira-kira 50 token sesaat setiap pengguna . Matriks sokongan NVIDIA Dynamo secara khusus menyenaraikan lmsysorg/sglang:deepseek-v4-blackwell sebagai konfigurasi yang disokong .

Secara gabungan, pengoptimuman ini memberikan sehingga 20x daya pemprosesan yang lebih tinggi setiap GPU pada Blackwell .

Spesifikasi Keluarga Model DeepSeek V4

DeepSeek V4 dikeluarkan pada 24 April 2026, di bawah lesen MIT sebagai keluarga model dua peringkat .

Sumber:

Seni bina perhatian hibrid menggabungkan Compressed Sparse Attention (CSA) dan Heavily Compressed Attention (HCA), mencapai hanya 27% daripada FLOPs inferens token tunggal DeepSeek-V3.2 pada konteks 1M token . Kecekapan ini menjadikan konteks ejenik juta token boleh dilaksanakan secara pengiraan.

Penyedia Inferens Yang Sudah Menggunakan Pengoptimuman Ini

Beberapa penyedia dan enjin inferens telah menggunakan pengoptimuman perisian NVIDIA untuk DeepSeek V4 pada Blackwell:

• LMSYS Org (SGLang) — mencapai peningkatan daya pemprosesan 5x yang disahkan pada perkakasan NVIDIA GB300 NVL72 (23 Jun 2026) . Matriks sokongan NVIDIA Dynamo menyenaraikan lmsysorg/sglang:deepseek-v4-blackwell sebagai konfigurasi yang disokong . SGLang juga melebihi 12K tok/s setiap GPU pada perkakasan yang sama .
• NVIDIA NIM — tindanan perkhidmatan mikro inferens NVIDIA sendiri menawarkan titik akhir DeepSeek-V4-Pro melalui katalog API NVIDIA .
• vLLM — enjin inferens sumber terbuka yang menghantar sokongan DeepSeek V4 dalam beberapa hari selepas pelancaran, disepadukan dengan NVIDIA Dynamo untuk inferens teragih pada GB200 .
• TensorRT-LLM — masa jalan dioptimumkan NVIDIA sendiri, walaupun penggunaan awal mempunyai isu dengan kod kernel mHC yang dibantu oleh SemiAnalysis untuk dibetulkan .
• DeepInfra — menawarkan titik akhir DeepSeek V4 Pro pada $0.435/M input dan $0.87/M output token .
• Together AI, Fireworks AI, Baseten — blog NVIDIA mencatat penggunaan meluas melalui titik akhir awan dipercepatkan GPU, dengan penyedia ini mengurangkan kos-per-token sehingga 10x berbanding Hopper .

Penyedia seperti Together AI dan Baseten mengurangkan kos-per-token sehingga 90% berbanding Hopper selepas menggunakan Blackwell, menurut NVIDIA .

Rangka Ekonomi NVIDIA untuk Beban Kerja AI Ejenik

NVIDIA meletakkan kos-per-token sebagai metrik paling penting untuk jumlah kos pemilikan (TCO) inferens — secara jelas menolak metrik lama seperti kos-per-jam-GPU atau FLOPS-per-dolar . Jensen Huang mengisytiharkan bahawa "kos per token NVIDIA adalah yang terendah di dunia" pada April 2026, membingkainya sebagai "hasil langsung kecemerlangan seni bina dan reka bentuk bersama yang ekstrem" .

Alasan di sebalik peralihan metrik ini secara langsung dikaitkan dengan AI ejenik:

Beban Kerja Ejenik Adalah Letupan-Komput pada Inferens

Apabila AI beralih daripada jawapan satu-sentuhan kepada penaakulan pelbagai langkah — merancang, mendapatkan konteks, memanggil alat, merenung, dan membetulkan diri — bilangan token yang dijana setiap pertanyaan boleh berganda sebanyak 100x hingga 1,000x . Satu tugas ejen pelbagai langkah boleh menelan kos $0.10 hingga $1.00 dalam pengiraan inferens . Analisis Gartner Mac 2026 mengesahkan bahawa model AI ejenik memerlukan 5–30x lebih token setiap tugas berbanding chatbots standard .

Inferens Kini Menjadi Pusat Kos Dominan

Anggaran industri mencadangkan 55–80% perbelanjaan GPU AI perusahaan digunakan untuk inferens, bukan latihan . Deloitte menganggarkan bahawa inferens menyumbang kira-kira dua pertiga daripada semua pengiraan AI pada 2026, meningkat daripada satu pertiga pada 2023 . Inferens juga menyumbang 80 hingga 90 peratus daripada kos seumur hidup sistem AI pengeluaran .

Pengoptimuman Perisian Membuka Nilai Besar Tanpa Perkakasan Baharu

NVIDIA secara eksplisit membingkai ini sebagai kelebihan strategik: "NVIDIA mencapai pengurangan 5x dalam kos per token melalui pengoptimuman TensorRT-LLM sahaja dalam tempoh dua bulan selepas pelancaran Blackwell, tanpa perubahan perkakasan" . Pada skala pusat data, pengurangan 5x dalam kos-per-token secara langsung menentukan sama ada beban kerja AI ejenik menjadi berdaya maju dari segi ekonomi . Perisian inferens NVIDIA terus menurunkan kos token lama selepas infrastruktur AI digunakan .

Kos-per-Token Adalah "Satu-satunya Metrik TCO Yang Penting"

NVIDIA berhujah bahawa kos-per-token adalah satu-satunya metrik yang secara langsung mengambil kira prestasi perkakasan, pengoptimuman perisian, sokongan ekosistem, dan penggunaan dunia sebenar . Syarikat itu menerbitkan "kos token terendah" sebagai cadangan nilai Blackwell utamanya . NVIDIA B200 mencapai dua sen per juta token pada GPT-OSS-120B, dan seni bina itu menurunkan kos-per-juta-token sebanyak 15x berbanding generasi sebelumnya .

Kesimpulannya, mesej NVIDIA adalah jelas: AI ejenik memerlukan token inferens yang lebih dramatik setiap tugas; pengoptimuman inferens peringkat perisian pada Blackwell boleh memotong kos token tersebut sebanyak 5x tanpa perkakasan baharu, secara langsung menentukan sama ada penggunaan ejenik berskala besar menguntungkan .