บทความนี้จะเจาะลึกว่า NVIDIA ใช้เทคนิคการปรับแต่งใดบ้าง, โมเดลในตระกูล DeepSeek V4 มีสเปกอย่างไร, ผู้ให้บริการ Inference ไหนบ้างที่ใช้ประโยชน์จากการปรับปรุงเหล่านี้แล้ว, และ NVIDIA มีมุมมองทางเศรษฐกิจอย่างไรเกี่ยวกับการโฟกัสที่ cost-per-token

เทคนิคซอฟต์แวร์เบื้องหลังการลดต้นทุน 5 เท่า

NVIDIA จัดกลุ่มสแต็กการปรับแต่ง Inference ออกเป็นสามเลเยอร์: ด้านปฏิบัติการผลิต (Production Operations), ด้านเร่งความเร็วแอปพลิเคชัน (Application Acceleration), และด้านการเข้าถึงโครงสร้างพื้นฐาน (Infrastructure Access) โดยเทคนิคเฉพาะที่ทำให้ลดต้นทุนลง 5 เท่ามีดังนี้:

เฟรมเวิร์ก NVIDIA Dynamo

Dynamo เป็นเฟรมเวิร์กการให้บริการแบบกระจาย (distributed serving framework) แบบโอเพนซอร์สที่แยกเฟส Inference ออกจากกันบน GPU ที่แตกต่างกัน มันแยกส่วน Prefill ออกจาก Decode, จัดเส้นทางคำขอไปยัง GPU ที่เหมาะสมเพื่อหลีกเลี่ยงการคำนวณซ้ำซ้อน, และขยายหน่วยความจำ GPU ผ่านแคชบน NVLink ไปยังพื้นที่จัดเก็บที่มีต้นทุนต่ำกว่า Dynamo รองรับ SGLang, TensorRT-LLM, และ vLLM และทำงานร่วมกับเอนจินโอเพนซอร์สเหล่านี้ได้อย่างเป็นธรรมชาติ เฟรมเวิร์กนี้สามารถเพิ่มจำนวนคำขอที่ให้บริการได้ถึง 7 เท่าบน NVIDIA Blackwell ตามที่แสดงในเกณฑ์มาตรฐาน SemiAnalysis InferenceX

การปรับแต่ง TensorRT-LLM

NVIDIA สามารถลด cost-per-token ลง 5 เท่าผ่านการปรับแต่ง TensorRT-LLM เพียงอย่างเดียวภายในสองเดือนหลังการเปิดตัว Blackwell โดยไม่ต้องเปลี่ยนฮาร์ดแวร์ ในระดับดาต้าเซ็นเตอร์ การลด cost-per-token ลง 5 เท่าหมายถึงความสามารถในการสร้างรายได้เพิ่มขึ้นห้าเท่าจากการลงทุนในโครงสร้างพื้นฐานเดียวกัน

Disaggregated Serving

ด้วยการแยกเฟส Prefill (ประมวลผลข้อมูลนำเข้า) และ Decode (สร้างโทเค็น) ออกจากกันบน GPU ที่แตกต่างกัน ทำให้ Disaggregated Serving ขจัดการแย่งชิงทรัพยากรและช่วยให้แต่ละเฟสได้รับการปรับแต่งอย่างอิสระตามความต้องการเฉพาะของตนเอง นี่คือฟีเจอร์หลักของเฟรมเวิร์ก NVIDIA Dynamo

Expert Parallelism ขนาดใหญ่

DeepSeek V4 ใช้สถาปัตยกรรม Mixture-of-Experts (MoE) ที่มี 384 expert แบบกระจาย การจัดเส้นทางที่ปรับแต่งแล้วจะส่งโทเค็นไปยัง expert เหล่านี้โดยลดการคำนวณที่ซ้ำซ้อน ทำให้มีประสิทธิภาพเพิ่มขึ้นทั่วทั้งคลัสเตอร์ GPU

การสื่อสารแบบขนานผ่าน NVLink

อินเทอร์คอนเนกต์ GPU ความเร็วสูงของ NVIDIA ช่วยให้การสื่อสารแบบ all-to-all ระหว่าง expert มีประสิทธิภาพ ซึ่งเป็นสิ่งสำคัญสำหรับโมเดล MoE ที่การขนานแบบ Expert ต้องมีการแลกเปลี่ยนข้อมูลระหว่าง GPU บ่อยครั้ง

ความแม่นยำ NVFP4

การใช้ความแม่นยำแบบ floating-point ขนาด 4 บิตสำหรับ Inference ช่วยลดความต้องการแบนด์วิดท์หน่วยความจำและการคำนวณโดยไม่สูญเสียความแม่นยำมากนัก สำหรับ DeepSeek-V3.2 การควอนไทซ์ NVFP4 ของ NVIDIA ลดขนาดหน่วยความจำลง 1.7 เท่าเมื่อเทียบกับรูปแบบ FP8 ดั้งเดิม (415 GB เทียบกับ 690 GB) ทำให้ throughput และประสิทธิภาพด้านต้นทุนดีขึ้นอย่างมาก

Multi-Token Prediction (MTP)

MTP สร้างโทเค็นหลายตัวต่อการ forward pass หนึ่งครั้ง ทำให้ throughput เพิ่มขึ้น การรองรับ MTP ครั้งแรกสำหรับ DeepSeek V4 มาจาก SGLang ในวันที่ 3 ด้วย MTP ทำให้ SGLang สามารถทำความเร็วเกิน 12,000 โทเค็นต่อวินาทีต่อ GPU บนฮาร์ดแวร์ GB300 NVL72

CUDA Kernels ที่ปรับแต่งแล้ว

การปรับแต่งไม่ได้มาจาก NVIDIA เพียงฝ่ายเดียว SemiAnalysis ต้องแก้ไขโค้ดของ NVIDIA สำหรับการเปิดใช้ mHC kernel (manifold-constrained hyper-connection) สำหรับสถาปัตยกรรมใหม่ของ DeepSeek V4 เนื่องจาก TensorRT-LLM ในตอนแรกทำงานกับโมเดลนี้ได้ไม่ดีนัก การมีส่วนร่วมจากชุมชนนี้มีความจำเป็นต่อการทำ Inference ในระดับการผลิต

สูตรการให้บริการ SGLang

LMSYS Org ทำการเพิ่ม throughput ถึง 5 เท่า (ได้รับการยืนยันแล้ว) บนฮาร์ดแวร์ NVIDIA GB300 NVL72 โดยใช้ SGLang โดยกระโดดจากประมาณ 2,200 โทเค็นต่อวินาทีต่อ GPU เป็น 11,200 โทเค็นต่อวินาทีต่อ GPU ที่ความเร็วประมาณ 50 โทเค็นต่อวินาทีต่อผู้ใช้ ตารางสนับสนุนของ NVIDIA Dynamo ระบุ lmsysorg/sglang:deepseek-v4-blackwell เป็นคอนฟิกูเรชันที่รองรับ

เมื่อรวมกันแล้ว การปรับแต่งเหล่านี้ทำให้ throughput ต่อ GPU เพิ่มขึ้นสูงสุดถึง 20 เท่าบน Blackwell

สเปกของตระกูลโมเดล DeepSeek V4

DeepSeek V4 เปิดตัวเมื่อวันที่ 24 เมษายน 2026 ภายใต้สัญญาอนุญาต MIT ในรูปแบบโมเดลสองระดับ

ที่มา:

สถาปัตยกรรม Hybrid Attention ผสมผสาน Compressed Sparse Attention (CSA) และ Heavily Compressed Attention (HCA) ซึ่งใช้ FLOPs สำหรับ Inference เพียง 27% ของที่ DeepSeek-V3.2 ใช้สำหรับบริบท 1 ล้านโทเค็น ประสิทธิภาพนี้เองที่ทำให้การทำงานแบบ Agentic ที่มีบริบทยาวถึงล้านโทเค็นนั้นเป็นไปได้ในเชิงคำนวณ

ผู้ให้บริการ Inference ที่ใช้งานการปรับแต่งเหล่านี้แล้ว

ผู้ให้บริการและเอนจิน Inference หลายรายได้นำการปรับแต่งซอฟต์แวร์ของ NVIDIA สำหรับ DeepSeek V4 บน Blackwell มาใช้แล้ว:

• LMSYS Org (SGLang) — เพิ่ม throughput 5 เท่า (ได้รับการยืนยันแล้ว) บนฮาร์ดแวร์ NVIDIA GB300 NVL72 (23 มิถุนายน 2026) NVIDIA Dynamo รองรับ lmsysorg/sglang:deepseek-v4-blackwell และ SGLang ก็ทำความเร็วเกิน 12K tok/s/GPU บนฮาร์ดแวร์เดียวกัน
• NVIDIA NIM — สแต็ก Inference microservice ของ NVIDIA มีเอนด์พอยต์ DeepSeek-V4-Pro ผ่านทาง API Catalog
• vLLM — เอนจิน Inference โอเพนซอร์สที่รองรับ DeepSeek V4 ภายในไม่กี่วันหลังเปิดตัว และทำงานร่วมกับ NVIDIA Dynamo สำหรับ Inference แบบกระจายบน GB200
• TensorRT-LLM — รันไทม์ที่ปรับแต่งโดย NVIDIA แม้ในช่วงแรกจะมีปัญหากับโค้ด mHC kernel ที่ SemiAnalysis ช่วยแก้ไข
• DeepInfra — ให้บริการเอนด์พอยต์ DeepSeek V4 Pro ในราคา $0.435/ล้านโทเค็นสำหรับ Input และ $0.87/ล้านโทเค็นสำหรับ Output
• Together AI, Fireworks AI, Baseten — บล็อกของ NVIDIA ระบุว่ามีการปรับใช้อย่างกว้างขวางผ่านคลาวด์เอนด์พอยต์ที่เร่งด้วย GPU โดยผู้ให้บริการเหล่านี้ลดต้นทุนต่อโทเค็นลงได้ถึง 10 เท่าเมื่อเทียบกับ Hopper

ผู้ให้บริการอย่าง Together AI และ Baseten สามารถลดต้นทุนต่อโทเค็นลงได้ถึง 90% เมื่อเทียบกับรุ่น Hopper หลังจากนำ Blackwell มาใช้ ตามข้อมูลของ NVIDIA

มุมมองทางเศรษฐกิจของ NVIDIA สำหรับงาน AI เชิง Agent

NVIDIA วางตำแหน่ง cost-per-token เป็นตัวชี้วัดที่สำคัญที่สุดสำหรับต้นทุนรวมในการเป็นเจ้าของ (TCO) ของ Inference — โดยปฏิเสธตัวชี้วัดเก่าอย่าง cost-per-GPU-hour หรือ FLOPS-per-dollar อย่างชัดเจน Jensen Huang ประกาศว่า "ต้นทุนต่อโทเค็นของ NVIDIA ต่ำที่สุดในโลก" ในเดือนเมษายน 2026 โดยชี้ว่ามันเป็น "ผลโดยตรงจากความเป็นเลิศทางสถาปัตยกรรมและการออกแบบร่วมกันอย่างสุดขั้ว"

เหตุผลเบื้องหลังการเปลี่ยนตัวชี้วัดนี้เชื่อมโยงโดยตรงกับ AI เชิง Agent (Agentic AI):

ภาระงานแบบ Agentic ทำให้ค่า Inference พุ่งสูง

ในขณะที่ AI เปลี่ยนจากการตอบแบบครั้งเดียวไปสู่การใช้เหตุผลแบบหลายขั้นตอน — การวางแผน, การดึงบริบท, การเรียกใช้เครื่องมือ, การสะท้อนผล, และการแก้ไขตนเอง — จำนวนโทเค็นที่สร้างต่อหนึ่งคำถามสามารถคูณเพิ่มขึ้น 100 เท่าถึง 1,000 เท่า ภารกิจของ Agent เพียงงานเดียวอาจมีค่าใช้จ่ายในการ Inference ตั้งแต่ $0.10 ถึง $1.00 การวิเคราะห์ของ Gartner ในเดือนมีนาคม 2026 ยืนยันว่าโมเดล AI เชิง Agent ต้องการโทเค็นมากกว่า chatbot ทั่วไปถึง 5–30 เท่าต่อหนึ่งภารกิจ

ปัจจุบัน Inference คือศูนย์กลางต้นทุนหลัก

การประมาณการในอุตสาหกรรมชี้ว่า 55–80% ของค่าใช้จ่าย GPU ด้าน AI ขององค์กรใช้ไปกับ Inference ไม่ใช่การฝึก Deloitte ประมาณการว่า Inference คิดเป็นประมาณสองในสามของพลังการประมวลผล AI ทั้งหมดในปี 2026 เพิ่มขึ้นจากหนึ่งในสามในปี 2023 นอกจากนี้ Inference ยังคิดเป็น 80 ถึง 90 เปอร์เซ็นต์ของต้นทุนตลอดอายุการใช้งานของระบบ AI ที่ใช้งานจริง

การปรับแต่งซอฟต์แวร์ปลดล็อกมูลค่ามหาศาลโดยไม่ต้องใช้ฮาร์ดแวร์ใหม่

NVIDIA วางตำแหน่งนี้เป็นข้อได้เปรียบเชิงกลยุทธ์: "NVIDIA บรรลุการลดต้นทุนต่อโทเค็น 5 เท่าผ่านการปรับแต่ง TensorRT-LLM เพียงอย่างเดียวภายในสองเดือนหลังการเปิดตัว Blackwell โดยไม่ต้องเปลี่ยนฮาร์ดแวร์" ในระดับดาต้าเซ็นเตอร์ การลดต้นทุนต่อโทเค็น 5 เท่าเป็นตัวกำหนดโดยตรงว่างาน AI เชิง Agent จะมีความเป็นไปได้ทางเศรษฐกิจหรือไม่ ซอฟต์แวร์ Inference ของ NVIDIA ยังคงลดต้นทุนโทเค็นลงเรื่อย ๆ แม้หลังจากที่ปรับใช้โครงสร้างพื้นฐาน AI ไปแล้ว

Cost-per-Token คือ "ตัวชี้วัด TCO เพียงอย่างเดียวที่สำคัญ"

NVIDIA โต้แย้งว่า cost-per-token เป็นตัวชี้วัดเดียวที่คำนึงถึงประสิทธิภาพของฮาร์ดแวร์, การปรับแต่งซอฟต์แวร์, การสนับสนุนจากระบบนิเวศ, และการใช้งานจริงโดยตรง บริษัทเผยแพร่ "ต้นทุนโทเค็นต่ำที่สุด" เป็นคุณค่าหลักของ Blackwell NVIDIA B200 ทำได้สองเซนต์ต่อล้านโทเค็นบน GPT-OSS-120B และสถาปัตยกรรมนี้ลดต้นทุนต่อล้านโทเค็นลง 15 เท่าเมื่อเทียบกับรุ่นก่อนหน้า

โดยสรุป ข้อความของ NVIDIA ชัดเจน: AI เชิง Agent ต้องการโทเค็น Inference มากขึ้นอย่างมากต่อภารกิจ; การปรับแต่ง Inference ในระดับซอฟต์แวร์บน Blackwell สามารถลดต้นทุนโทเค็นเหล่านั้นลง 5 เท่าโดยไม่ต้องใช้ฮาร์ดแวร์ใหม่ ซึ่งเป็นตัวกำหนดโดยตรงว่าการปรับใช้ AI แบบ Agentic ในวงกว้างนั้นจะทำกำไรได้หรือไม่

บทความนี้จะเจาะลึกว่า NVIDIA ใช้เทคนิคการปรับแต่งใดบ้าง, โมเดลในตระกูล DeepSeek V4 มีสเปกอย่างไร, ผู้ให้บริการ Inference ไหนบ้างที่ใช้ประโยชน์จากการปรับปรุงเหล่านี้แล้ว, และ NVIDIA มีมุมมองทางเศรษฐกิจอย่างไรเกี่ยวกับการโฟกัสที่ cost-per-token

เทคนิคซอฟต์แวร์เบื้องหลังการลดต้นทุน 5 เท่า

NVIDIA จัดกลุ่มสแต็กการปรับแต่ง Inference ออกเป็นสามเลเยอร์: ด้านปฏิบัติการผลิต (Production Operations), ด้านเร่งความเร็วแอปพลิเคชัน (Application Acceleration), และด้านการเข้าถึงโครงสร้างพื้นฐาน (Infrastructure Access) โดยเทคนิคเฉพาะที่ทำให้ลดต้นทุนลง 5 เท่ามีดังนี้:

เฟรมเวิร์ก NVIDIA Dynamo

Dynamo เป็นเฟรมเวิร์กการให้บริการแบบกระจาย (distributed serving framework) แบบโอเพนซอร์สที่แยกเฟส Inference ออกจากกันบน GPU ที่แตกต่างกัน มันแยกส่วน Prefill ออกจาก Decode, จัดเส้นทางคำขอไปยัง GPU ที่เหมาะสมเพื่อหลีกเลี่ยงการคำนวณซ้ำซ้อน, และขยายหน่วยความจำ GPU ผ่านแคชบน NVLink ไปยังพื้นที่จัดเก็บที่มีต้นทุนต่ำกว่า Dynamo รองรับ SGLang, TensorRT-LLM, และ vLLM และทำงานร่วมกับเอนจินโอเพนซอร์สเหล่านี้ได้อย่างเป็นธรรมชาติ เฟรมเวิร์กนี้สามารถเพิ่มจำนวนคำขอที่ให้บริการได้ถึง 7 เท่าบน NVIDIA Blackwell ตามที่แสดงในเกณฑ์มาตรฐาน SemiAnalysis InferenceX

การปรับแต่ง TensorRT-LLM

NVIDIA สามารถลด cost-per-token ลง 5 เท่าผ่านการปรับแต่ง TensorRT-LLM เพียงอย่างเดียวภายในสองเดือนหลังการเปิดตัว Blackwell โดยไม่ต้องเปลี่ยนฮาร์ดแวร์ ในระดับดาต้าเซ็นเตอร์ การลด cost-per-token ลง 5 เท่าหมายถึงความสามารถในการสร้างรายได้เพิ่มขึ้นห้าเท่าจากการลงทุนในโครงสร้างพื้นฐานเดียวกัน

Disaggregated Serving

ด้วยการแยกเฟส Prefill (ประมวลผลข้อมูลนำเข้า) และ Decode (สร้างโทเค็น) ออกจากกันบน GPU ที่แตกต่างกัน ทำให้ Disaggregated Serving ขจัดการแย่งชิงทรัพยากรและช่วยให้แต่ละเฟสได้รับการปรับแต่งอย่างอิสระตามความต้องการเฉพาะของตนเอง นี่คือฟีเจอร์หลักของเฟรมเวิร์ก NVIDIA Dynamo

Expert Parallelism ขนาดใหญ่

DeepSeek V4 ใช้สถาปัตยกรรม Mixture-of-Experts (MoE) ที่มี 384 expert แบบกระจาย การจัดเส้นทางที่ปรับแต่งแล้วจะส่งโทเค็นไปยัง expert เหล่านี้โดยลดการคำนวณที่ซ้ำซ้อน ทำให้มีประสิทธิภาพเพิ่มขึ้นทั่วทั้งคลัสเตอร์ GPU

การสื่อสารแบบขนานผ่าน NVLink

อินเทอร์คอนเนกต์ GPU ความเร็วสูงของ NVIDIA ช่วยให้การสื่อสารแบบ all-to-all ระหว่าง expert มีประสิทธิภาพ ซึ่งเป็นสิ่งสำคัญสำหรับโมเดล MoE ที่การขนานแบบ Expert ต้องมีการแลกเปลี่ยนข้อมูลระหว่าง GPU บ่อยครั้ง

ความแม่นยำ NVFP4

การใช้ความแม่นยำแบบ floating-point ขนาด 4 บิตสำหรับ Inference ช่วยลดความต้องการแบนด์วิดท์หน่วยความจำและการคำนวณโดยไม่สูญเสียความแม่นยำมากนัก สำหรับ DeepSeek-V3.2 การควอนไทซ์ NVFP4 ของ NVIDIA ลดขนาดหน่วยความจำลง 1.7 เท่าเมื่อเทียบกับรูปแบบ FP8 ดั้งเดิม (415 GB เทียบกับ 690 GB) ทำให้ throughput และประสิทธิภาพด้านต้นทุนดีขึ้นอย่างมาก

Multi-Token Prediction (MTP)

MTP สร้างโทเค็นหลายตัวต่อการ forward pass หนึ่งครั้ง ทำให้ throughput เพิ่มขึ้น การรองรับ MTP ครั้งแรกสำหรับ DeepSeek V4 มาจาก SGLang ในวันที่ 3 ด้วย MTP ทำให้ SGLang สามารถทำความเร็วเกิน 12,000 โทเค็นต่อวินาทีต่อ GPU บนฮาร์ดแวร์ GB300 NVL72

CUDA Kernels ที่ปรับแต่งแล้ว

การปรับแต่งไม่ได้มาจาก NVIDIA เพียงฝ่ายเดียว SemiAnalysis ต้องแก้ไขโค้ดของ NVIDIA สำหรับการเปิดใช้ mHC kernel (manifold-constrained hyper-connection) สำหรับสถาปัตยกรรมใหม่ของ DeepSeek V4 เนื่องจาก TensorRT-LLM ในตอนแรกทำงานกับโมเดลนี้ได้ไม่ดีนัก การมีส่วนร่วมจากชุมชนนี้มีความจำเป็นต่อการทำ Inference ในระดับการผลิต

สูตรการให้บริการ SGLang

LMSYS Org ทำการเพิ่ม throughput ถึง 5 เท่า (ได้รับการยืนยันแล้ว) บนฮาร์ดแวร์ NVIDIA GB300 NVL72 โดยใช้ SGLang โดยกระโดดจากประมาณ 2,200 โทเค็นต่อวินาทีต่อ GPU เป็น 11,200 โทเค็นต่อวินาทีต่อ GPU ที่ความเร็วประมาณ 50 โทเค็นต่อวินาทีต่อผู้ใช้ ตารางสนับสนุนของ NVIDIA Dynamo ระบุ lmsysorg/sglang:deepseek-v4-blackwell เป็นคอนฟิกูเรชันที่รองรับ

เมื่อรวมกันแล้ว การปรับแต่งเหล่านี้ทำให้ throughput ต่อ GPU เพิ่มขึ้นสูงสุดถึง 20 เท่าบน Blackwell

สเปกของตระกูลโมเดล DeepSeek V4

DeepSeek V4 เปิดตัวเมื่อวันที่ 24 เมษายน 2026 ภายใต้สัญญาอนุญาต MIT ในรูปแบบโมเดลสองระดับ

ที่มา:

สถาปัตยกรรม Hybrid Attention ผสมผสาน Compressed Sparse Attention (CSA) และ Heavily Compressed Attention (HCA) ซึ่งใช้ FLOPs สำหรับ Inference เพียง 27% ของที่ DeepSeek-V3.2 ใช้สำหรับบริบท 1 ล้านโทเค็น ประสิทธิภาพนี้เองที่ทำให้การทำงานแบบ Agentic ที่มีบริบทยาวถึงล้านโทเค็นนั้นเป็นไปได้ในเชิงคำนวณ

ผู้ให้บริการ Inference ที่ใช้งานการปรับแต่งเหล่านี้แล้ว

ผู้ให้บริการและเอนจิน Inference หลายรายได้นำการปรับแต่งซอฟต์แวร์ของ NVIDIA สำหรับ DeepSeek V4 บน Blackwell มาใช้แล้ว:

• LMSYS Org (SGLang) — เพิ่ม throughput 5 เท่า (ได้รับการยืนยันแล้ว) บนฮาร์ดแวร์ NVIDIA GB300 NVL72 (23 มิถุนายน 2026) NVIDIA Dynamo รองรับ lmsysorg/sglang:deepseek-v4-blackwell และ SGLang ก็ทำความเร็วเกิน 12K tok/s/GPU บนฮาร์ดแวร์เดียวกัน
• NVIDIA NIM — สแต็ก Inference microservice ของ NVIDIA มีเอนด์พอยต์ DeepSeek-V4-Pro ผ่านทาง API Catalog
• vLLM — เอนจิน Inference โอเพนซอร์สที่รองรับ DeepSeek V4 ภายในไม่กี่วันหลังเปิดตัว และทำงานร่วมกับ NVIDIA Dynamo สำหรับ Inference แบบกระจายบน GB200
• TensorRT-LLM — รันไทม์ที่ปรับแต่งโดย NVIDIA แม้ในช่วงแรกจะมีปัญหากับโค้ด mHC kernel ที่ SemiAnalysis ช่วยแก้ไข
• DeepInfra — ให้บริการเอนด์พอยต์ DeepSeek V4 Pro ในราคา $0.435/ล้านโทเค็นสำหรับ Input และ $0.87/ล้านโทเค็นสำหรับ Output
• Together AI, Fireworks AI, Baseten — บล็อกของ NVIDIA ระบุว่ามีการปรับใช้อย่างกว้างขวางผ่านคลาวด์เอนด์พอยต์ที่เร่งด้วย GPU โดยผู้ให้บริการเหล่านี้ลดต้นทุนต่อโทเค็นลงได้ถึง 10 เท่าเมื่อเทียบกับ Hopper

ผู้ให้บริการอย่าง Together AI และ Baseten สามารถลดต้นทุนต่อโทเค็นลงได้ถึง 90% เมื่อเทียบกับรุ่น Hopper หลังจากนำ Blackwell มาใช้ ตามข้อมูลของ NVIDIA

มุมมองทางเศรษฐกิจของ NVIDIA สำหรับงาน AI เชิง Agent

NVIDIA วางตำแหน่ง cost-per-token เป็นตัวชี้วัดที่สำคัญที่สุดสำหรับต้นทุนรวมในการเป็นเจ้าของ (TCO) ของ Inference — โดยปฏิเสธตัวชี้วัดเก่าอย่าง cost-per-GPU-hour หรือ FLOPS-per-dollar อย่างชัดเจน Jensen Huang ประกาศว่า "ต้นทุนต่อโทเค็นของ NVIDIA ต่ำที่สุดในโลก" ในเดือนเมษายน 2026 โดยชี้ว่ามันเป็น "ผลโดยตรงจากความเป็นเลิศทางสถาปัตยกรรมและการออกแบบร่วมกันอย่างสุดขั้ว"

เหตุผลเบื้องหลังการเปลี่ยนตัวชี้วัดนี้เชื่อมโยงโดยตรงกับ AI เชิง Agent (Agentic AI):

ภาระงานแบบ Agentic ทำให้ค่า Inference พุ่งสูง

ในขณะที่ AI เปลี่ยนจากการตอบแบบครั้งเดียวไปสู่การใช้เหตุผลแบบหลายขั้นตอน — การวางแผน, การดึงบริบท, การเรียกใช้เครื่องมือ, การสะท้อนผล, และการแก้ไขตนเอง — จำนวนโทเค็นที่สร้างต่อหนึ่งคำถามสามารถคูณเพิ่มขึ้น 100 เท่าถึง 1,000 เท่า ภารกิจของ Agent เพียงงานเดียวอาจมีค่าใช้จ่ายในการ Inference ตั้งแต่ $0.10 ถึง $1.00 การวิเคราะห์ของ Gartner ในเดือนมีนาคม 2026 ยืนยันว่าโมเดล AI เชิง Agent ต้องการโทเค็นมากกว่า chatbot ทั่วไปถึง 5–30 เท่าต่อหนึ่งภารกิจ

ปัจจุบัน Inference คือศูนย์กลางต้นทุนหลัก

การประมาณการในอุตสาหกรรมชี้ว่า 55–80% ของค่าใช้จ่าย GPU ด้าน AI ขององค์กรใช้ไปกับ Inference ไม่ใช่การฝึก Deloitte ประมาณการว่า Inference คิดเป็นประมาณสองในสามของพลังการประมวลผล AI ทั้งหมดในปี 2026 เพิ่มขึ้นจากหนึ่งในสามในปี 2023 นอกจากนี้ Inference ยังคิดเป็น 80 ถึง 90 เปอร์เซ็นต์ของต้นทุนตลอดอายุการใช้งานของระบบ AI ที่ใช้งานจริง

การปรับแต่งซอฟต์แวร์ปลดล็อกมูลค่ามหาศาลโดยไม่ต้องใช้ฮาร์ดแวร์ใหม่

NVIDIA วางตำแหน่งนี้เป็นข้อได้เปรียบเชิงกลยุทธ์: "NVIDIA บรรลุการลดต้นทุนต่อโทเค็น 5 เท่าผ่านการปรับแต่ง TensorRT-LLM เพียงอย่างเดียวภายในสองเดือนหลังการเปิดตัว Blackwell โดยไม่ต้องเปลี่ยนฮาร์ดแวร์" ในระดับดาต้าเซ็นเตอร์ การลดต้นทุนต่อโทเค็น 5 เท่าเป็นตัวกำหนดโดยตรงว่างาน AI เชิง Agent จะมีความเป็นไปได้ทางเศรษฐกิจหรือไม่ ซอฟต์แวร์ Inference ของ NVIDIA ยังคงลดต้นทุนโทเค็นลงเรื่อย ๆ แม้หลังจากที่ปรับใช้โครงสร้างพื้นฐาน AI ไปแล้ว

Cost-per-Token คือ "ตัวชี้วัด TCO เพียงอย่างเดียวที่สำคัญ"

NVIDIA โต้แย้งว่า cost-per-token เป็นตัวชี้วัดเดียวที่คำนึงถึงประสิทธิภาพของฮาร์ดแวร์, การปรับแต่งซอฟต์แวร์, การสนับสนุนจากระบบนิเวศ, และการใช้งานจริงโดยตรง บริษัทเผยแพร่ "ต้นทุนโทเค็นต่ำที่สุด" เป็นคุณค่าหลักของ Blackwell NVIDIA B200 ทำได้สองเซนต์ต่อล้านโทเค็นบน GPT-OSS-120B และสถาปัตยกรรมนี้ลดต้นทุนต่อล้านโทเค็นลง 15 เท่าเมื่อเทียบกับรุ่นก่อนหน้า

โดยสรุป ข้อความของ NVIDIA ชัดเจน: AI เชิง Agent ต้องการโทเค็น Inference มากขึ้นอย่างมากต่อภารกิจ; การปรับแต่ง Inference ในระดับซอฟต์แวร์บน Blackwell สามารถลดต้นทุนโทเค็นเหล่านั้นลง 5 เท่าโดยไม่ต้องใช้ฮาร์ดแวร์ใหม่ ซึ่งเป็นตัวกำหนดโดยตรงว่าการปรับใช้ AI แบบ Agentic ในวงกว้างนั้นจะทำกำไรได้หรือไม่