การให้โมเดล AI ที่ต้อง “คิดเป็นหลายขั้นตอน” ทำงานบนฮาร์ดแวร์ฝังตัว เคยต้องแลกระหว่างความสามารถของโมเดลกับความเร็วตอบสนอง แต่คู่มือนักพัฒนาของ NVIDIA เมื่อวันที่ 4 กันยายน ชี้ว่าข้อจำกัดนี้เริ่มผ่อนคลายลงแล้ว โมเดลเปิดที่ผ่านการปรับแต่ง การอนุมานแบบความละเอียดต่ำ และเทคนิคเร่งการสร้างโทเค็น ทำให้ Jetson AGX Orin และ Jetson AGX Thor รัน reasoning AI และ agentic AI ได้โดยตรงบนอุปกรณ์ 1

ตัวเลขสำคัญคือ NVIDIA รายงานว่า Jetson AGX Thor ทำ decode throughput ได้สูงขึ้นสูงสุด 6.28 เท่าเมื่อเทียบกับ BF16 หากใช้ NVFP4 ร่วมกับ speculative decoding อย่างไรก็ดี นี่เป็นผลทดสอบเฉพาะโมเดลและเวิร์กโหลด ไม่ใช่การรับประกันความเร็ว tokens per second สำหรับทุกงาน แต่สะท้อนว่าเอเจนต์ AI บนหุ่นยนต์ รถยนต์ และเครื่องจักรอุตสาหกรรมเริ่มใช้งานจริงได้มากขึ้น 1

ชุดเทคโนโลยีสำหรับรัน AI ในอุปกรณ์

NVIDIA แนะนำ Nemotron 3.5 Lightning และ Qwen3.8-27B สำหรับ Jetson AGX Orin และ Jetson AGX Thor โดยนักพัฒนาสามารถให้บริการโมเดลผ่าน vLLM บน Jetson แล้วใช้สองเทคนิคควบคู่กันเพื่อเพิ่มประสิทธิภาพการอนุมาน ได้แก่ NVFP4 และ speculative decoding 1

NVFP4: ลดภาระคำนวณและการย้ายข้อมูลในหน่วยความจำ

NVFP4 ใช้ตัวแทนเลขทศนิยมแบบ 4 บิต เพื่อลดงานคำนวณและหน่วยความจำที่ต้องใช้กับการทำงานของโมเดล เรื่องนี้สำคัญเป็นพิเศษกับอุปกรณ์ฝังตัว เพราะระหว่างการสร้างคำตอบ คอขวดในทางปฏิบัติมักไม่ได้อยู่ที่พลังประมวลผลเพียงอย่างเดียว แต่รวมถึงการย้าย weights และ activations ผ่านหน่วยความจำให้ทันด้วย 1

Jetson Thor เหมาะกับแนวทางนี้เป็นพิเศษ เนื่องจาก NVIDIA ระบุว่า GPU สถาปัตยกรรม Blackwell มีการรองรับ FP4 โดยตรงผ่าน Transformer Engine 3

Speculative decoding: ให้โมเดลเล็กช่วยเสนอ แล้วโมเดลหลักตรวจ

เทคนิค speculative decoding แยกขั้น “เสนอ” ออกจาก “ตรวจสอบ” โดยโมเดลร่างขนาดเล็กจะเสนอหลายโทเค็นถัดไป ขณะที่โมเดลหลักตรวจสอบชุดโทเค็นนั้นพร้อมกัน และยังเป็นผู้ตัดสินผลสุดท้ายเสมอ หากโทเค็นที่เสนอได้รับการยอมรับหลายตัว ระบบก็เดินหน้าสร้างข้อความได้หลายโทเค็นต่อการตรวจหนึ่งครั้ง แทนที่จะทำทีละโทเค็น 1

ประโยชน์ที่ได้ขึ้นกับอัตราการยอมรับโทเค็นจากโมเดลร่าง จึงเปลี่ยนไปตามโมเดล พรอมป์ต์ และการตั้งค่าการถอดรหัส ควรมองเทคนิคนี้เป็นการปรับให้เหมาะกับเวิร์กโหลด ไม่ใช่ตัวคูณความเร็วที่ตายตัว

Nemotron 3.5 Lightning กับ Qwen3.8-27B: ต่างกันที่รูปแบบงาน

Nemotron 3.5 Lightning: โมเดลใหญ่ แต่ใช้พารามิเตอร์จริงน้อยกว่าในแต่ละโทเค็น

Nemotron 3.5 Lightning เป็นโมเดล mixture-of-experts (MoE) ขนาด 30,000 ล้านพารามิเตอร์ แต่เปิดใช้เพียง 3,000 ล้านพารามิเตอร์ต่อโทเค็น NVIDIA วางตำแหน่งโมเดลนี้สำหรับชั้นการลงมือทำงานของเอเจนต์ที่ทำงานต่อเนื่องตลอดเวลา 2

โครงสร้างดังกล่าวน่าสนใจสำหรับเอเจนต์ที่ต้องสร้างคำตอบบ่อย หรือวนทำงานปฏิบัติการซ้ำ ๆ เช่น รับรู้เหตุการณ์ เรียกใช้เครื่องมือที่ได้รับอนุญาต ตรวจผลลัพธ์ แล้วตัดสินใจว่าจะดำเนินการต่อหรือส่งต่อให้มนุษย์ดูแล สิ่งที่ควรพิจารณาจึงไม่ใช่จำนวนพารามิเตอร์ทั้งหมดเท่านั้น แต่คือพารามิเตอร์ที่ถูกเปิดใช้ต่อโทเค็นและความเร็วในการสร้างคำตอบอย่างต่อเนื่อง

Qwen3.8-27B: แบบ dense สำหรับการตัดสินใจที่ซับซ้อนกว่า

Qwen3.8-27B เป็นโมเดลแบบ dense หมายความว่าพารามิเตอร์ทั้ง 27,000 ล้านตัวทำงานในทุกโทเค็น NVIDIA จัดให้เป็นอีกตัวเลือกสำคัญบน Jetson ควบคู่กับ Nemotron 3.5 Lightning 1

โมเดล dense อาจเหมาะกับแอปพลิเคชันที่มีจำนวนครั้งในการตัดสินใจไม่มากนัก แต่ให้ความสำคัญกับการตัดสินใจแต่ละครั้งมากกว่า ข้อแลกเปลี่ยนคือการเปิดใช้เครือข่ายทั้งหมดในทุกโทเค็นอาจต้องการกำลังประมวลผลมากกว่าโมเดล MoE แบบ sparse

เลือกจากเวิร์กโฟลว์จริง ไม่ใช่ตัวเลขพารามิเตอร์บนฉลาก

สาระของคำแนะนำจาก NVIDIA คือควรทดสอบกับรูปแบบงานจริงของแอปพลิเคชัน ทั้งความยาวพรอมป์ต์ ความยาวคำตอบ เครื่องมือที่เอเจนต์ต้องเรียกใช้ งบเวลาแฝง ข้อจำกัดหน่วยความจำ และลักษณะการตัดสินใจ 1

เอเจนต์ที่ต้องตอบหรือสร้างผลลัพธ์ถี่ ๆ อาจเหมาะกับโมเดล sparse ที่สร้างข้อความเร็ว ขณะที่ระบบที่ตัดสินใจน้อยครั้งแต่ซับซ้อนกว่าอาจยอมรับการสร้างคำตอบที่ช้าลง เพื่อแลกกับพฤติกรรมของโมเดล dense ไม่มีสถาปัตยกรรมใดดีกว่าโดยอัตโนมัติสำหรับงาน edge AI ทุกแบบ

ตัวเลข 6.28 เท่าบน Jetson AGX Thor บอกอะไร

NVIDIA รายงานว่าการรวม NVFP4 กับ speculative decoding บน Jetson AGX Thor ทำให้ decode throughput สูงขึ้นได้สูงสุด 6.28 เท่าเมื่อเทียบกับ BF16 โดยการตั้งค่า speculative decoding ที่เหมาะที่สุดต่างกันตามโมเดล: DSpark ให้ผลดีที่สุดกับ Nemotron 3.5 Lightning ส่วน DFlash2 ให้ผลดีที่สุดกับ Qwen3.8-27B 1

ผลนี้มีความหมายเพราะขั้น decode หรือการสร้างโทเค็นออกมาทีละส่วน มักเป็นตัวกำหนดความรู้สึกว่าระบบโต้ตอบตอบสนองเร็วเพียงใด แต่ไม่ควรตีความว่าเป็นคำเคลมความเร็วเดียวกันสำหรับทุกพรอมป์ต์ ทุกโมเดล หรือทุกการติดตั้งจริง คุณภาพของโมเดลร่าง อัตราการยอมรับโทเค็น ขนาดแบตช์ ความยาวคอนเท็กซ์ และการตั้งค่ารันไทม์ ล้วนส่งผลต่อ throughput ที่ได้ 1

เหตุใดการรันในอุปกรณ์จึงลดการพึ่งพาดาต้าเซ็นเตอร์

เมื่อโมเดลทำงานบนอุปกรณ์ คำขอที่ต้องใช้การให้เหตุผลไม่จำเป็นต้องรอส่งไปยังดาต้าเซ็นเตอร์ทุกครั้ง สำหรับระบบในโลกกายภาพ นั่นอาจหมายถึงความหน่วงจากเครือข่ายที่ลดลง การทำงานต่อได้แม้สัญญาณเชื่อมต่อไม่สม่ำเสมอ และการเก็บข้อมูลจากเซ็นเซอร์หรือบันทึกการปฏิบัติงานไว้บนอุปกรณ์ NVIDIA ชี้ว่า reasoning AI และ agentic AI ที่ขอบเครือข่ายมีคุณค่าในสถานการณ์ที่ต้องคำนึงถึงที่ตั้งของข้อมูลและการตอบสนองแบบเรียลไทม์ 1

ไม่ได้หมายความว่าคลาวด์หมดความจำเป็น องค์กรยังอาจใช้ระบบส่วนกลางสำหรับฝึกโมเดล บริหารอุปกรณ์จำนวนมาก วิเคราะห์ข้อมูลในวงกว้าง หรืองานที่เกินขีดจำกัดหน่วยความจำและกำลังประมวลผลของอุปกรณ์ แต่ประเด็นสำคัญคือการเชื่อมต่อดาต้าเซ็นเตอร์ไม่จำเป็นต้องเป็นเส้นทางบังคับของทุกการตัดสินใจอีกต่อไป

งานที่ได้ประโยชน์มากที่สุด

NVIDIA ยกตัวอย่างผู้ช่วยในห้องโดยสาร ระบบตรวจจับความผิดปกติแบบเรียลไทม์ และหุ่นยนต์ที่ปฏิบัติงานในสภาพแวดล้อมหนักหรือพื้นที่ห่างไกล 1

ลักษณะร่วมของงานเหล่านี้คือ ระบบต้องตีความบริบท ณ จุดปฏิบัติงานและตอบสนองได้เร็วพอจะเกิดประโยชน์ ตัวอย่างการใช้งานที่สอดคล้องกัน ได้แก่

• หุ่นยนต์ที่ต้องให้เหตุผลจากสิ่งที่สังเกตและสถานะของภารกิจ
• ระบบอุตสาหกรรมที่ตีความเหตุการณ์จากเครื่องจักรหรือบันทึกการทำงาน
• ผู้ช่วยในรถที่ต้องตอบโต้ภายในจังหวะการสนทนาในห้องโดยสาร
• อุปกรณ์ตรวจสอบหรือเฝ้าระวังในพื้นที่ห่างไกลที่ไม่อาจสมมติว่ามีเครือข่ายเสถียรตลอดเวลา

ผู้ที่เหมาะกับแนวทางนี้จึงไม่ใช่เพียงอุปกรณ์ที่ “รัน LLM ได้” แต่เป็นระบบที่เวลาในการตอบสนอง ความต้องการให้ข้อมูลอยู่ในพื้นที่ควบคุม และความทนทานต่อการออฟไลน์ มีคุณค่าต่อการปฏิบัติงานโดยตรง

AGX Thor อยู่ตรงไหนในแผน Jetson ของ NVIDIA

Jetson AGX Thor คือแพลตฟอร์มระดับสูงของ NVIDIA สำหรับงาน physical AI ที่ต้องการทรัพยากรมาก บริษัทระบุว่าแพลตฟอร์มนี้ผสาน GPU Blackwell กับหน่วยความจำ 128 GB ให้พลังประมวลผล AI สูงสุด 2,070 FP4 TFLOPS ภายในกรอบการใช้พลังงาน 130 W 3

คุณสมบัติฮาร์ดแวร์นี้สอดคล้องกับแนวทางในคู่มือที่เน้น NVFP4 การถอดรหัสแบบ throughput สูง และโมเดล reasoning ขนาดใหญ่บนอุปกรณ์ ขณะที่ AGX Orin ยังมีบทบาทกับการติดตั้งระบบฝังตัวที่ใช้งานอยู่เดิม ส่วน Thor มุ่งสู่งานสร้างสรรค์และมัลติโหมดที่ต้องการทรัพยากรมากขึ้น

ในระดับเริ่มต้น NVIDIA ประกาศ Jetson Orin Nano 2 สำหรับหุ่นยนต์ โดรนส่งของและตรวจสอบ รวมถึงระบบ vision AI โดยระบุว่าโมดูลและชุดพัฒนาจะพร้อมในช่วงครึ่งแรกของปี 2027 1

ภาพรวมจึงเป็นพอร์ตโฟลิโอแบบแบ่งระดับ: ระบบขนาดเล็กสำหรับ edge AI ระดับเริ่มต้น, AGX Orin สำหรับงานฝังตัวที่เติบโตเต็มที่ และ AGX Thor สำหรับแอปพลิเคชันที่ต้องใช้หน่วยความจำและพลังประมวลผลมากขึ้นเพื่อให้เหตุผลเชิงสร้างสรรค์ในเครื่อง

สรุป

คู่มือของ NVIDIA ไม่ได้อ้างว่าโมเดลระดับแนวหน้าทุกตัวจะรันได้อย่างสบายบนโมดูลฝังตัวทุกชนิด ข้อสรุปที่ใช้งานได้จริงกว่านั้นคือ โมเดล reasoning ที่กะทัดรัด การให้บริการผ่าน vLLM การควอนไทซ์แบบ NVFP4 และ speculative decoding สามารถทำให้เอเจนต์ AI ที่มีความสามารถเพียงพอรันบนฮาร์ดแวร์กลุ่ม Jetson ได้ 1

สำหรับนักพัฒนา ขั้นถัดไปจึงเป็นการพิสูจน์ด้วยงานจริง: ทดสอบโมเดลเป้าหมายบน Jetson รุ่นที่จะใช้ ด้วยพรอมป์ต์ เครื่องมือ หน้าต่างคอนเท็กซ์ และข้อกำหนดเวลาตอบสนองของผลิตภัณฑ์จริง ตัวเลข 6.28 เท่าแสดงศักยภาพของการปรับแต่ง แต่ผลทดสอบของแอปพลิเคชันคือสิ่งที่จะตัดสินว่านำไปเป็นระบบ edge AI ที่ใช้งานได้หรือไม่ 1

การให้โมเดล AI ที่ต้อง “คิดเป็นหลายขั้นตอน” ทำงานบนฮาร์ดแวร์ฝังตัว เคยต้องแลกระหว่างความสามารถของโมเดลกับความเร็วตอบสนอง แต่คู่มือนักพัฒนาของ NVIDIA เมื่อวันที่ 4 กันยายน ชี้ว่าข้อจำกัดนี้เริ่มผ่อนคลายลงแล้ว โมเดลเปิดที่ผ่านการปรับแต่ง การอนุมานแบบความละเอียดต่ำ และเทคนิคเร่งการสร้างโทเค็น ทำให้ Jetson AGX Orin และ Jetson AGX Thor รัน reasoning AI และ agentic AI ได้โดยตรงบนอุปกรณ์ 1

ตัวเลขสำคัญคือ NVIDIA รายงานว่า Jetson AGX Thor ทำ decode throughput ได้สูงขึ้นสูงสุด 6.28 เท่าเมื่อเทียบกับ BF16 หากใช้ NVFP4 ร่วมกับ speculative decoding อย่างไรก็ดี นี่เป็นผลทดสอบเฉพาะโมเดลและเวิร์กโหลด ไม่ใช่การรับประกันความเร็ว tokens per second สำหรับทุกงาน แต่สะท้อนว่าเอเจนต์ AI บนหุ่นยนต์ รถยนต์ และเครื่องจักรอุตสาหกรรมเริ่มใช้งานจริงได้มากขึ้น 1

ชุดเทคโนโลยีสำหรับรัน AI ในอุปกรณ์

NVIDIA แนะนำ Nemotron 3.5 Lightning และ Qwen3.8-27B สำหรับ Jetson AGX Orin และ Jetson AGX Thor โดยนักพัฒนาสามารถให้บริการโมเดลผ่าน vLLM บน Jetson แล้วใช้สองเทคนิคควบคู่กันเพื่อเพิ่มประสิทธิภาพการอนุมาน ได้แก่ NVFP4 และ speculative decoding 1

NVFP4: ลดภาระคำนวณและการย้ายข้อมูลในหน่วยความจำ

NVFP4 ใช้ตัวแทนเลขทศนิยมแบบ 4 บิต เพื่อลดงานคำนวณและหน่วยความจำที่ต้องใช้กับการทำงานของโมเดล เรื่องนี้สำคัญเป็นพิเศษกับอุปกรณ์ฝังตัว เพราะระหว่างการสร้างคำตอบ คอขวดในทางปฏิบัติมักไม่ได้อยู่ที่พลังประมวลผลเพียงอย่างเดียว แต่รวมถึงการย้าย weights และ activations ผ่านหน่วยความจำให้ทันด้วย 1

Jetson Thor เหมาะกับแนวทางนี้เป็นพิเศษ เนื่องจาก NVIDIA ระบุว่า GPU สถาปัตยกรรม Blackwell มีการรองรับ FP4 โดยตรงผ่าน Transformer Engine 3

Speculative decoding: ให้โมเดลเล็กช่วยเสนอ แล้วโมเดลหลักตรวจ

เทคนิค speculative decoding แยกขั้น “เสนอ” ออกจาก “ตรวจสอบ” โดยโมเดลร่างขนาดเล็กจะเสนอหลายโทเค็นถัดไป ขณะที่โมเดลหลักตรวจสอบชุดโทเค็นนั้นพร้อมกัน และยังเป็นผู้ตัดสินผลสุดท้ายเสมอ หากโทเค็นที่เสนอได้รับการยอมรับหลายตัว ระบบก็เดินหน้าสร้างข้อความได้หลายโทเค็นต่อการตรวจหนึ่งครั้ง แทนที่จะทำทีละโทเค็น 1

ประโยชน์ที่ได้ขึ้นกับอัตราการยอมรับโทเค็นจากโมเดลร่าง จึงเปลี่ยนไปตามโมเดล พรอมป์ต์ และการตั้งค่าการถอดรหัส ควรมองเทคนิคนี้เป็นการปรับให้เหมาะกับเวิร์กโหลด ไม่ใช่ตัวคูณความเร็วที่ตายตัว

Nemotron 3.5 Lightning กับ Qwen3.8-27B: ต่างกันที่รูปแบบงาน

Nemotron 3.5 Lightning: โมเดลใหญ่ แต่ใช้พารามิเตอร์จริงน้อยกว่าในแต่ละโทเค็น

Nemotron 3.5 Lightning เป็นโมเดล mixture-of-experts (MoE) ขนาด 30,000 ล้านพารามิเตอร์ แต่เปิดใช้เพียง 3,000 ล้านพารามิเตอร์ต่อโทเค็น NVIDIA วางตำแหน่งโมเดลนี้สำหรับชั้นการลงมือทำงานของเอเจนต์ที่ทำงานต่อเนื่องตลอดเวลา 2

โครงสร้างดังกล่าวน่าสนใจสำหรับเอเจนต์ที่ต้องสร้างคำตอบบ่อย หรือวนทำงานปฏิบัติการซ้ำ ๆ เช่น รับรู้เหตุการณ์ เรียกใช้เครื่องมือที่ได้รับอนุญาต ตรวจผลลัพธ์ แล้วตัดสินใจว่าจะดำเนินการต่อหรือส่งต่อให้มนุษย์ดูแล สิ่งที่ควรพิจารณาจึงไม่ใช่จำนวนพารามิเตอร์ทั้งหมดเท่านั้น แต่คือพารามิเตอร์ที่ถูกเปิดใช้ต่อโทเค็นและความเร็วในการสร้างคำตอบอย่างต่อเนื่อง

Qwen3.8-27B: แบบ dense สำหรับการตัดสินใจที่ซับซ้อนกว่า

Qwen3.8-27B เป็นโมเดลแบบ dense หมายความว่าพารามิเตอร์ทั้ง 27,000 ล้านตัวทำงานในทุกโทเค็น NVIDIA จัดให้เป็นอีกตัวเลือกสำคัญบน Jetson ควบคู่กับ Nemotron 3.5 Lightning 1

โมเดล dense อาจเหมาะกับแอปพลิเคชันที่มีจำนวนครั้งในการตัดสินใจไม่มากนัก แต่ให้ความสำคัญกับการตัดสินใจแต่ละครั้งมากกว่า ข้อแลกเปลี่ยนคือการเปิดใช้เครือข่ายทั้งหมดในทุกโทเค็นอาจต้องการกำลังประมวลผลมากกว่าโมเดล MoE แบบ sparse

เลือกจากเวิร์กโฟลว์จริง ไม่ใช่ตัวเลขพารามิเตอร์บนฉลาก

สาระของคำแนะนำจาก NVIDIA คือควรทดสอบกับรูปแบบงานจริงของแอปพลิเคชัน ทั้งความยาวพรอมป์ต์ ความยาวคำตอบ เครื่องมือที่เอเจนต์ต้องเรียกใช้ งบเวลาแฝง ข้อจำกัดหน่วยความจำ และลักษณะการตัดสินใจ 1

เอเจนต์ที่ต้องตอบหรือสร้างผลลัพธ์ถี่ ๆ อาจเหมาะกับโมเดล sparse ที่สร้างข้อความเร็ว ขณะที่ระบบที่ตัดสินใจน้อยครั้งแต่ซับซ้อนกว่าอาจยอมรับการสร้างคำตอบที่ช้าลง เพื่อแลกกับพฤติกรรมของโมเดล dense ไม่มีสถาปัตยกรรมใดดีกว่าโดยอัตโนมัติสำหรับงาน edge AI ทุกแบบ

ตัวเลข 6.28 เท่าบน Jetson AGX Thor บอกอะไร

NVIDIA รายงานว่าการรวม NVFP4 กับ speculative decoding บน Jetson AGX Thor ทำให้ decode throughput สูงขึ้นได้สูงสุด 6.28 เท่าเมื่อเทียบกับ BF16 โดยการตั้งค่า speculative decoding ที่เหมาะที่สุดต่างกันตามโมเดล: DSpark ให้ผลดีที่สุดกับ Nemotron 3.5 Lightning ส่วน DFlash2 ให้ผลดีที่สุดกับ Qwen3.8-27B 1

ผลนี้มีความหมายเพราะขั้น decode หรือการสร้างโทเค็นออกมาทีละส่วน มักเป็นตัวกำหนดความรู้สึกว่าระบบโต้ตอบตอบสนองเร็วเพียงใด แต่ไม่ควรตีความว่าเป็นคำเคลมความเร็วเดียวกันสำหรับทุกพรอมป์ต์ ทุกโมเดล หรือทุกการติดตั้งจริง คุณภาพของโมเดลร่าง อัตราการยอมรับโทเค็น ขนาดแบตช์ ความยาวคอนเท็กซ์ และการตั้งค่ารันไทม์ ล้วนส่งผลต่อ throughput ที่ได้ 1

เหตุใดการรันในอุปกรณ์จึงลดการพึ่งพาดาต้าเซ็นเตอร์

เมื่อโมเดลทำงานบนอุปกรณ์ คำขอที่ต้องใช้การให้เหตุผลไม่จำเป็นต้องรอส่งไปยังดาต้าเซ็นเตอร์ทุกครั้ง สำหรับระบบในโลกกายภาพ นั่นอาจหมายถึงความหน่วงจากเครือข่ายที่ลดลง การทำงานต่อได้แม้สัญญาณเชื่อมต่อไม่สม่ำเสมอ และการเก็บข้อมูลจากเซ็นเซอร์หรือบันทึกการปฏิบัติงานไว้บนอุปกรณ์ NVIDIA ชี้ว่า reasoning AI และ agentic AI ที่ขอบเครือข่ายมีคุณค่าในสถานการณ์ที่ต้องคำนึงถึงที่ตั้งของข้อมูลและการตอบสนองแบบเรียลไทม์ 1

ไม่ได้หมายความว่าคลาวด์หมดความจำเป็น องค์กรยังอาจใช้ระบบส่วนกลางสำหรับฝึกโมเดล บริหารอุปกรณ์จำนวนมาก วิเคราะห์ข้อมูลในวงกว้าง หรืองานที่เกินขีดจำกัดหน่วยความจำและกำลังประมวลผลของอุปกรณ์ แต่ประเด็นสำคัญคือการเชื่อมต่อดาต้าเซ็นเตอร์ไม่จำเป็นต้องเป็นเส้นทางบังคับของทุกการตัดสินใจอีกต่อไป

งานที่ได้ประโยชน์มากที่สุด

NVIDIA ยกตัวอย่างผู้ช่วยในห้องโดยสาร ระบบตรวจจับความผิดปกติแบบเรียลไทม์ และหุ่นยนต์ที่ปฏิบัติงานในสภาพแวดล้อมหนักหรือพื้นที่ห่างไกล 1

ลักษณะร่วมของงานเหล่านี้คือ ระบบต้องตีความบริบท ณ จุดปฏิบัติงานและตอบสนองได้เร็วพอจะเกิดประโยชน์ ตัวอย่างการใช้งานที่สอดคล้องกัน ได้แก่

• หุ่นยนต์ที่ต้องให้เหตุผลจากสิ่งที่สังเกตและสถานะของภารกิจ
• ระบบอุตสาหกรรมที่ตีความเหตุการณ์จากเครื่องจักรหรือบันทึกการทำงาน
• ผู้ช่วยในรถที่ต้องตอบโต้ภายในจังหวะการสนทนาในห้องโดยสาร
• อุปกรณ์ตรวจสอบหรือเฝ้าระวังในพื้นที่ห่างไกลที่ไม่อาจสมมติว่ามีเครือข่ายเสถียรตลอดเวลา

ผู้ที่เหมาะกับแนวทางนี้จึงไม่ใช่เพียงอุปกรณ์ที่ “รัน LLM ได้” แต่เป็นระบบที่เวลาในการตอบสนอง ความต้องการให้ข้อมูลอยู่ในพื้นที่ควบคุม และความทนทานต่อการออฟไลน์ มีคุณค่าต่อการปฏิบัติงานโดยตรง

AGX Thor อยู่ตรงไหนในแผน Jetson ของ NVIDIA

Jetson AGX Thor คือแพลตฟอร์มระดับสูงของ NVIDIA สำหรับงาน physical AI ที่ต้องการทรัพยากรมาก บริษัทระบุว่าแพลตฟอร์มนี้ผสาน GPU Blackwell กับหน่วยความจำ 128 GB ให้พลังประมวลผล AI สูงสุด 2,070 FP4 TFLOPS ภายในกรอบการใช้พลังงาน 130 W 3

คุณสมบัติฮาร์ดแวร์นี้สอดคล้องกับแนวทางในคู่มือที่เน้น NVFP4 การถอดรหัสแบบ throughput สูง และโมเดล reasoning ขนาดใหญ่บนอุปกรณ์ ขณะที่ AGX Orin ยังมีบทบาทกับการติดตั้งระบบฝังตัวที่ใช้งานอยู่เดิม ส่วน Thor มุ่งสู่งานสร้างสรรค์และมัลติโหมดที่ต้องการทรัพยากรมากขึ้น

ในระดับเริ่มต้น NVIDIA ประกาศ Jetson Orin Nano 2 สำหรับหุ่นยนต์ โดรนส่งของและตรวจสอบ รวมถึงระบบ vision AI โดยระบุว่าโมดูลและชุดพัฒนาจะพร้อมในช่วงครึ่งแรกของปี 2027 1

ภาพรวมจึงเป็นพอร์ตโฟลิโอแบบแบ่งระดับ: ระบบขนาดเล็กสำหรับ edge AI ระดับเริ่มต้น, AGX Orin สำหรับงานฝังตัวที่เติบโตเต็มที่ และ AGX Thor สำหรับแอปพลิเคชันที่ต้องใช้หน่วยความจำและพลังประมวลผลมากขึ้นเพื่อให้เหตุผลเชิงสร้างสรรค์ในเครื่อง

สรุป

คู่มือของ NVIDIA ไม่ได้อ้างว่าโมเดลระดับแนวหน้าทุกตัวจะรันได้อย่างสบายบนโมดูลฝังตัวทุกชนิด ข้อสรุปที่ใช้งานได้จริงกว่านั้นคือ โมเดล reasoning ที่กะทัดรัด การให้บริการผ่าน vLLM การควอนไทซ์แบบ NVFP4 และ speculative decoding สามารถทำให้เอเจนต์ AI ที่มีความสามารถเพียงพอรันบนฮาร์ดแวร์กลุ่ม Jetson ได้ 1

สำหรับนักพัฒนา ขั้นถัดไปจึงเป็นการพิสูจน์ด้วยงานจริง: ทดสอบโมเดลเป้าหมายบน Jetson รุ่นที่จะใช้ ด้วยพรอมป์ต์ เครื่องมือ หน้าต่างคอนเท็กซ์ และข้อกำหนดเวลาตอบสนองของผลิตภัณฑ์จริง ตัวเลข 6.28 เท่าแสดงศักยภาพของการปรับแต่ง แต่ผลทดสอบของแอปพลิเคชันคือสิ่งที่จะตัดสินว่านำไปเป็นระบบ edge AI ที่ใช้งานได้หรือไม่ 1