คำตอบการวิจัย
ประเด็นสำคัญ จีนมีปริมาณการเรียกใช้โทเคน AI เฉลี่ยต่อวันเกิน 140 ล้านล้านโทเคนในเดือนมีนาคม 2026 เพิ่มจากราว 1 แสนล้านโทเคนในช่วงต้นปี 2024 หรือมากกว่า 1,000 เท่า ซอฟต์แวร์สำหรับ inference กลายเป็นคันโยกที่เร็วที่สุดในการเพิ่มผลงานจากฮาร์ดแวร์ที่มีจำกัด โดยส่งคำขอทั่วไปไปยังชิปในประเทศและเก็บ Nvidia GPU ไว้สำหรับงานซับซ้อน แรงกดดันทางธุรกิจรุนแรงขึ้น เพราะงาน inference คุณภาพสูงใช้กำลังประมวลผลมาก ขณะที่ราคาโทเคนของโมเดลจีนถูกประเมินว่าเฉลี่ยเพียงราวหนึ่งในหกของบริษัทชั้นนำในสหรัฐฯ Why are Chinese AI companies optimizing inference software and stretching scarce Nvidia GPU capacity as AI shifts from model training to lar China’s AI companies are optimizing inference to stretch a constrained mix of Nvidia and domestic computing hardware. AI พรอมต์ Create a landscape editorial hero image for this Studio Global article: Why are Chinese AI companies optimizing inference software and stretching scarce Nvidia GPU capacity as AI shifts from model training to lar. Article summary: Chinese AI companies are shifting effort from training ever-larger models to serving huge volumes of real-time requests. They are optimizing inference software—such as scheduling workloads across mixed hardware, improvin. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
openai.com คอขวดของอุตสาหกรรม AI จีนกำลังปรากฏชัดขึ้นในช่วงหลังการฝึกโมเดล เมื่อแอปพลิเคชันสำหรับผู้บริโภคและองค์กรเริ่มให้บริการในวงกว้าง บริษัทต่าง ๆ ต้องรองรับคำขอจำนวนมหาศาล โดยเฉพาะคำขอจากเอเจนต์ AI ที่สามารถคิดเป็นขั้นตอน เรียกใช้เครื่องมือ และทำงานต่อเนื่องหลายลำดับ ทำให้ กำลังประมวลผลสำหรับ inference หรือการให้โมเดลตอบสนองผู้ใช้ กลายเป็นข้อจำกัดสำคัญไม่แพ้กำลังประมวลผลสำหรับการฝึกโมเดล
จากการฝึกโมเดลสู่การให้บริการผู้ใช้
การฝึกโมเดลคือขั้นตอนสร้างความสามารถให้ระบบ ส่วน inference คือช่วงหลังจากนั้นที่โมเดลนำความรู้ไปสร้างคำตอบให้ผู้ใช้ แม้งาน inference บางประเภทจะปรับให้ทำงานบนฮาร์ดแวร์จีนได้ แต่การทดแทนไม่ได้เกิดขึ้นอย่างสมบูรณ์ เพราะแอปพลิเคชันที่ต้องการคุณภาพสูงยังต้องอาศัยทั้งประสิทธิภาพการคำนวณ หน่วยความจำ ความเสถียร และซอฟต์แวร์ที่พัฒนาเต็มระบบ
บริษัท AI จีนจึงต้องบริหารโครงสร้างพื้นฐานแบบผสม ชิปเร่งความเร็วในประเทศสามารถรับงาน inference ได้บางส่วน ขณะที่ Nvidia รุ่นประสิทธิภาพสูงซึ่งมีจำนวนจำกัดต้องสงวนไว้สำหรับงานที่เปลี่ยนไปใช้ฮาร์ดแวร์อื่นได้ยาก รายงานในอุตสาหกรรมระบุว่า งานเขียนโค้ดที่ซับซ้อนเป็นหนึ่งในจุดที่สร้างแรงกดดันมากที่สุด
ทำไมงานเขียนโค้ดและเอเจนต์ AI จึงใช้ทรัพยากรมาก
การถาม-ตอบง่าย ๆ อาจใช้การคำนวณไม่มากนัก แต่ผู้ช่วยเขียนโค้ดหรือเอเจนต์อัตโนมัติมีภาระมากกว่า เพราะต้องจำบริบทยาว สร้างโค้ด เรียกใช้เครื่องมือภายนอก ตรวจสอบผลลัพธ์ และแก้ไขคำตอบซ้ำหลายรอบ
ดังนั้น ตัวชี้วัดสำคัญจึงไม่ใช่แค่บริษัทมีชิปกี่ตัว แต่คือชิปเหล่านั้นสามารถทำงานที่มีคุณภาพและเชื่อถือได้มากเพียงใด หากชิปในประเทศทำงานด้านการเขียนโค้ดและการใช้เหตุผลที่ซับซ้อนได้ด้อยกว่าหรือไม่มีประสิทธิภาพเท่า Nvidia การย้ายงานทั้งหมดไปยังชิปในประเทศอาจทำให้คุณภาพหรือประสิทธิภาพลดลง บริษัทจึงต้องจัดสรร Nvidia GPU ที่มีจำกัดให้กับงานซึ่งความแตกต่างนี้มีผลมากที่สุด
คนยังถาม คำตอบสั้น ๆ สำหรับ "ทำไมบริษัท AI จีนต้องรีดประสิทธิภาพ Nvidia GPU ทุกตัว" คืออะไร จีนมีปริมาณการเรียกใช้โทเคน AI เฉลี่ยต่อวันเกิน 140 ล้านล้านโทเคนในเดือนมีนาคม 2026 เพิ่มจากราว 1 แสนล้านโทเคนในช่วงต้นปี 2024 หรือมากกว่า 1,000 เท่า
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร? จีนมีปริมาณการเรียกใช้โทเคน AI เฉลี่ยต่อวันเกิน 140 ล้านล้านโทเคนในเดือนมีนาคม 2026 เพิ่มจากราว 1 แสนล้านโทเคนในช่วงต้นปี 2024 หรือมากกว่า 1,000 เท่า ซอฟต์แวร์สำหรับ inference กลายเป็นคันโยกที่เร็วที่สุดในการเพิ่มผลงานจากฮาร์ดแวร์ที่มีจำกัด โดยส่งคำขอทั่วไปไปยังชิปในประเทศและเก็บ Nvidia GPU ไว้สำหรับงานซับซ้อน
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ? แรงกดดันทางธุรกิจรุนแรงขึ้น เพราะงาน inference คุณภาพสูงใช้กำลังประมวลผลมาก ขณะที่ราคาโทเคนของโมเดลจีนถูกประเมินว่าเฉลี่ยเพียงราวหนึ่งในหกของบริษัทชั้นนำในสหรัฐฯ
คำตอบการวิจัย
ประเด็นสำคัญ จีนมีปริมาณการเรียกใช้โทเคน AI เฉลี่ยต่อวันเกิน 140 ล้านล้านโทเคนในเดือนมีนาคม 2026 เพิ่มจากราว 1 แสนล้านโทเคนในช่วงต้นปี 2024 หรือมากกว่า 1,000 เท่า ซอฟต์แวร์สำหรับ inference กลายเป็นคันโยกที่เร็วที่สุดในการเพิ่มผลงานจากฮาร์ดแวร์ที่มีจำกัด โดยส่งคำขอทั่วไปไปยังชิปในประเทศและเก็บ Nvidia GPU ไว้สำหรับงานซับซ้อน แรงกดดันทางธุรกิจรุนแรงขึ้น เพราะงาน inference คุณภาพสูงใช้กำลังประมวลผลมาก ขณะที่ราคาโทเคนของโมเดลจีนถูกประเมินว่าเฉลี่ยเพียงราวหนึ่งในหกของบริษัทชั้นนำในสหรัฐฯ Why are Chinese AI companies optimizing inference software and stretching scarce Nvidia GPU capacity as AI shifts from model training to lar China’s AI companies are optimizing inference to stretch a constrained mix of Nvidia and domestic computing hardware. AI พรอมต์ Create a landscape editorial hero image for this Studio Global article: Why are Chinese AI companies optimizing inference software and stretching scarce Nvidia GPU capacity as AI shifts from model training to lar. Article summary: Chinese AI companies are shifting effort from training ever-larger models to serving huge volumes of real-time requests. They are optimizing inference software—such as scheduling workloads across mixed hardware, improvin. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
openai.com คอขวดของอุตสาหกรรม AI จีนกำลังปรากฏชัดขึ้นในช่วงหลังการฝึกโมเดล เมื่อแอปพลิเคชันสำหรับผู้บริโภคและองค์กรเริ่มให้บริการในวงกว้าง บริษัทต่าง ๆ ต้องรองรับคำขอจำนวนมหาศาล โดยเฉพาะคำขอจากเอเจนต์ AI ที่สามารถคิดเป็นขั้นตอน เรียกใช้เครื่องมือ และทำงานต่อเนื่องหลายลำดับ ทำให้ กำลังประมวลผลสำหรับ inference หรือการให้โมเดลตอบสนองผู้ใช้ กลายเป็นข้อจำกัดสำคัญไม่แพ้กำลังประมวลผลสำหรับการฝึกโมเดล
จากการฝึกโมเดลสู่การให้บริการผู้ใช้
การฝึกโมเดลคือขั้นตอนสร้างความสามารถให้ระบบ ส่วน inference คือช่วงหลังจากนั้นที่โมเดลนำความรู้ไปสร้างคำตอบให้ผู้ใช้ แม้งาน inference บางประเภทจะปรับให้ทำงานบนฮาร์ดแวร์จีนได้ แต่การทดแทนไม่ได้เกิดขึ้นอย่างสมบูรณ์ เพราะแอปพลิเคชันที่ต้องการคุณภาพสูงยังต้องอาศัยทั้งประสิทธิภาพการคำนวณ หน่วยความจำ ความเสถียร และซอฟต์แวร์ที่พัฒนาเต็มระบบ
บริษัท AI จีนจึงต้องบริหารโครงสร้างพื้นฐานแบบผสม ชิปเร่งความเร็วในประเทศสามารถรับงาน inference ได้บางส่วน ขณะที่ Nvidia รุ่นประสิทธิภาพสูงซึ่งมีจำนวนจำกัดต้องสงวนไว้สำหรับงานที่เปลี่ยนไปใช้ฮาร์ดแวร์อื่นได้ยาก รายงานในอุตสาหกรรมระบุว่า งานเขียนโค้ดที่ซับซ้อนเป็นหนึ่งในจุดที่สร้างแรงกดดันมากที่สุด
ทำไมงานเขียนโค้ดและเอเจนต์ AI จึงใช้ทรัพยากรมาก
การถาม-ตอบง่าย ๆ อาจใช้การคำนวณไม่มากนัก แต่ผู้ช่วยเขียนโค้ดหรือเอเจนต์อัตโนมัติมีภาระมากกว่า เพราะต้องจำบริบทยาว สร้างโค้ด เรียกใช้เครื่องมือภายนอก ตรวจสอบผลลัพธ์ และแก้ไขคำตอบซ้ำหลายรอบ
ดังนั้น ตัวชี้วัดสำคัญจึงไม่ใช่แค่บริษัทมีชิปกี่ตัว แต่คือชิปเหล่านั้นสามารถทำงานที่มีคุณภาพและเชื่อถือได้มากเพียงใด หากชิปในประเทศทำงานด้านการเขียนโค้ดและการใช้เหตุผลที่ซับซ้อนได้ด้อยกว่าหรือไม่มีประสิทธิภาพเท่า Nvidia การย้ายงานทั้งหมดไปยังชิปในประเทศอาจทำให้คุณภาพหรือประสิทธิภาพลดลง บริษัทจึงต้องจัดสรร Nvidia GPU ที่มีจำกัดให้กับงานซึ่งความแตกต่างนี้มีผลมากที่สุด
คนยังถาม คำตอบสั้น ๆ สำหรับ "ทำไมบริษัท AI จีนต้องรีดประสิทธิภาพ Nvidia GPU ทุกตัว" คืออะไร จีนมีปริมาณการเรียกใช้โทเคน AI เฉลี่ยต่อวันเกิน 140 ล้านล้านโทเคนในเดือนมีนาคม 2026 เพิ่มจากราว 1 แสนล้านโทเคนในช่วงต้นปี 2024 หรือมากกว่า 1,000 เท่า
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร? จีนมีปริมาณการเรียกใช้โทเคน AI เฉลี่ยต่อวันเกิน 140 ล้านล้านโทเคนในเดือนมีนาคม 2026 เพิ่มจากราว 1 แสนล้านโทเคนในช่วงต้นปี 2024 หรือมากกว่า 1,000 เท่า ซอฟต์แวร์สำหรับ inference กลายเป็นคันโยกที่เร็วที่สุดในการเพิ่มผลงานจากฮาร์ดแวร์ที่มีจำกัด โดยส่งคำขอทั่วไปไปยังชิปในประเทศและเก็บ Nvidia GPU ไว้สำหรับงานซับซ้อน
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ? แรงกดดันทางธุรกิจรุนแรงขึ้น เพราะงาน inference คุณภาพสูงใช้กำลังประมวลผลมาก ขณะที่ราคาโทเคนของโมเดลจีนถูกประเมินว่าเฉลี่ยเพียงราวหนึ่งในหกของบริษัทชั้นนำในสหรัฐฯ
โทเคนแต่ละตัวไม่ได้มีมูลค่าเท่ากัน จำนวนโทเคนเป็นตัวชี้วัดความต้องการที่มีประโยชน์ แต่ไม่ได้หมายความว่าโทเคนทุกตัวเกิดจากงานประเภทเดียวกัน คำตอบสั้น ๆ สำหรับการสนทนาทั่วไปอาจส่งไปประมวลผลบนฮาร์ดแวร์ราคาถูกกว่าได้ ขณะที่คำตอบจากโมเดลที่มีความสามารถสูง กระบวนการใช้เหตุผลที่ยาวกว่า หรือคำตอบที่ต้องเรียกใช้เครื่องมือหลายครั้ง ล้วนต้องใช้กำลังประมวลผลมากกว่าและอาจมีมูลค่าต่อลูกค้าสูงกว่า
นี่คือเหตุผลที่ตัวเลขโทเคนรวมอาจทำให้มองไม่เห็นการขาดแคลน inference ระดับพรีเมียม ตลาดอาจผลิตโทเคนได้มากขึ้นโดยรวม แต่กลับขาดแคลนฮาร์ดแวร์ที่จำเป็นต่อการสร้างผลลัพธ์น่าเชื่อถือสำหรับงานซับซ้อน การลงทุนเพื่อเพิ่มกำลังผลิตโทเคนคุณภาพสูงและการผสานทรัพยากรประมวลผลจากชิปหลายสถาปัตยกรรมจึงได้รับความสนใจมากขึ้น
ความต้องการโตเร็วกว่ากำลังประมวลผล ปริมาณการเรียกใช้โทเคน AI เฉลี่ยต่อวันของจีนเกิน 140 ล้านล้านโทเคนในเดือนมีนาคม 2026 เทียบกับราว 1 แสนล้านโทเคนในช่วงต้นปี 2024 เพิ่มขึ้นมากกว่า 1,000 เท่า ตามตัวเลขที่มีการรายงานโดยอ้างข้อมูลจากสำนักงานบริหารข้อมูลแห่งชาติจีน
การเพิ่มขึ้นนี้สะท้อนว่า AI กำลังเปลี่ยนจากการทดลองหรือการป้อนคำสั่งเป็นครั้ง ๆ ไปสู่ผู้ช่วย ซอฟต์แวร์สำหรับองค์กร และเอเจนต์ที่ทำงานจริงในกระบวนการต่าง ๆ เมื่อเป็นเช่นนั้น inference จึงกลายเป็นแรงขับเคลื่อนหลักของการใช้ทรัพยากรคอมพิวต์ ไม่ใช่เพียงขั้นตอนรองจากการฝึกโมเดลอีกต่อไป
ทำไมการปรับซอฟต์แวร์จึงเป็นทางออกที่เร็วที่สุด การเพิ่มโปรเซสเซอร์ประสิทธิภาพสูงทำได้ยาก เมื่อการควบคุมการส่งออกจำกัดการเข้าถึงผลิตภัณฑ์ Nvidia รุ่นก้าวหน้า อุปทานมีจำกัด และการเปลี่ยนระบบฮาร์ดแวร์มีต้นทุนสูง นอกจากนี้ โมเดล เครื่องมือ และกระบวนการทำงานเดิมของนักพัฒนา AI จีนยังผูกอยู่กับแพลตฟอร์มซอฟต์แวร์ที่ใช้งานมานาน ทำให้การย้ายระบบมีต้นทุนทั้งด้านวิศวกรรมและเวลา
ซอฟต์แวร์อาจสร้างซิลิคอนเพิ่มไม่ได้ แต่ช่วยให้บริษัทดึงงานที่มีประโยชน์ออกจากโปรเซสเซอร์แต่ละตัวได้มากขึ้น แนวทางสำคัญ ได้แก่
การจัดเส้นทางงาน: ส่งคำขอที่ง่ายกว่าไปยังชิปต้นทุนต่ำหรือชิปในประเทศ และเก็บ Nvidia GPU ไว้สำหรับงานซับซ้อนการให้บริการที่มีประสิทธิภาพขึ้น: ปรับวิธีรวมกลุ่มและจัดคิวคำขอ เพื่อให้ฮาร์ดแวร์มีเวลาว่างโดยเปล่าประโยชน์น้อยลงการจัดสรรทรัพยากรตามลักษณะงาน: เลือกขนาดโมเดล ความยาวบริบท และวิธีสร้างคำตอบให้เหมาะกับมูลค่าและความยากของคำขอโครงสร้างพื้นฐานแบบผสม: เชื่อมการทำงานของชิปหลายสถาปัตยกรรม แทนที่จะบังคับให้ทุกงานทำงานบนแพลตฟอร์มเดียว มาตรการเหล่านี้เป็นสะพานเชื่อมระหว่างความต้องการที่เพิ่มขึ้นกับอุปทานที่จำกัด แต่ยังไม่ใช่สิ่งทดแทนฮาร์ดแวร์ระดับแนวหน้าได้ทั้งหมด โดยเฉพาะงานที่ให้ความสำคัญกับคุณภาพและยังต้องพึ่งพาโปรเซสเซอร์จำนวนไม่มาก
แรงบีบจากราคาบริการ การแก้ปัญหายิ่งยากขึ้นเมื่อราคาบริการ inference ถูกกดดันจากการแข่งขัน นักวิเคราะห์ Jefferies ประเมินว่า โมเดลจีนมีต้นทุนเฉลี่ยต่อโทเคนอยู่ที่ประมาณหนึ่งในหกของบริการจากบริษัทชั้นนำในสหรัฐฯ
ราคาที่ต่ำช่วยเร่งการใช้งาน แต่ก็จำกัดรายได้ที่จะนำไปจัดหากำลังประมวลผลระดับพรีเมียมที่มีราคาแพง ขณะเดียวกัน ผลิตภัณฑ์อย่างผู้ช่วยเขียนโค้ดและเอเจนต์ AI ใช้ทรัพยากรมากกว่าการสนทนาทั่วไป บริษัท AI จีนจึงเผชิญโจทย์ที่ตึงตัวพร้อมกันหลายด้าน ได้แก่ ความต้องการที่ขยายตัวอย่างรวดเร็ว ลูกค้าที่คาดหวังบริการราคาถูก และกำลังประมวลผลระดับสูงที่ไม่สามารถเพิ่มหรือตั้งทดแทนได้ง่าย
แรงกดดันดังกล่าวเริ่มสะท้อนในความพร้อมให้บริการแล้ว รายงานตลาดระบุว่า ผู้พัฒนาโมเดลจีนรายใหญ่และผู้ให้บริการคลาวด์บางรายต้องลดความเร็วบริการ จำกัดสิทธิ์การเข้าถึง หรือปรับขึ้นราคา เมื่อความต้องการสูงกว่าทรัพยากรคอมพิวต์ที่มี โดยเฉพาะในกรณีผู้ช่วยเขียนโค้ดที่ใช้ทรัพยากรมาก
ความหมายที่ใหญ่กว่าวิกฤตชิป ความท้าทายด้านโครงสร้างพื้นฐาน AI ของจีนจึงไม่ใช่เพียงการขาดแคลนชิป แต่เป็นการขาดแคลน “ชุดความพร้อม” ที่ประกอบด้วยโปรเซสเซอร์ประสิทธิภาพสูง ซอฟต์แวร์ที่เข้ากันได้ และกำลังประมวลผลสำหรับ inference มูลค่าสูงในต้นทุนที่คุ้มค่า
ฮาร์ดแวร์ในประเทศสามารถรับภาระงานได้มากขึ้นเมื่อซอฟต์แวร์พัฒนาและการออกแบบระบบถูกปรับให้สอดคล้องกับจุดแข็งของชิปแต่ละประเภท แต่หลักฐานในปัจจุบันชี้ว่า จีนกำลังอยู่ในช่วงเปลี่ยนผ่าน: ต้องเพิ่มประสิทธิภาพ inference ทุกชั้น ใช้ชิปในประเทศกับงานที่เหมาะสม และเก็บ Nvidia GPU ที่มีจำกัดไว้สำหรับงานยากที่สุด
กลยุทธ์นี้ช่วยยืดอายุทรัพยากรที่มีอยู่ได้ แต่การเติบโตอย่างต่อเนื่องของ AI แบบเอเจนต์จะขึ้นอยู่กับว่า จีนสามารถเพิ่มทั้งอุปทานฮาร์ดแวร์และระบบนิเวศซอฟต์แวร์ที่ทำให้ชิปหลากหลายประเภททำงานร่วมกันได้จริงหรือไม่
scmp.com China's top AI is still trained on Nvidia chips. What is delaying a ...
โทเคนแต่ละตัวไม่ได้มีมูลค่าเท่ากัน จำนวนโทเคนเป็นตัวชี้วัดความต้องการที่มีประโยชน์ แต่ไม่ได้หมายความว่าโทเคนทุกตัวเกิดจากงานประเภทเดียวกัน คำตอบสั้น ๆ สำหรับการสนทนาทั่วไปอาจส่งไปประมวลผลบนฮาร์ดแวร์ราคาถูกกว่าได้ ขณะที่คำตอบจากโมเดลที่มีความสามารถสูง กระบวนการใช้เหตุผลที่ยาวกว่า หรือคำตอบที่ต้องเรียกใช้เครื่องมือหลายครั้ง ล้วนต้องใช้กำลังประมวลผลมากกว่าและอาจมีมูลค่าต่อลูกค้าสูงกว่า
นี่คือเหตุผลที่ตัวเลขโทเคนรวมอาจทำให้มองไม่เห็นการขาดแคลน inference ระดับพรีเมียม ตลาดอาจผลิตโทเคนได้มากขึ้นโดยรวม แต่กลับขาดแคลนฮาร์ดแวร์ที่จำเป็นต่อการสร้างผลลัพธ์น่าเชื่อถือสำหรับงานซับซ้อน การลงทุนเพื่อเพิ่มกำลังผลิตโทเคนคุณภาพสูงและการผสานทรัพยากรประมวลผลจากชิปหลายสถาปัตยกรรมจึงได้รับความสนใจมากขึ้น
ความต้องการโตเร็วกว่ากำลังประมวลผล ปริมาณการเรียกใช้โทเคน AI เฉลี่ยต่อวันของจีนเกิน 140 ล้านล้านโทเคนในเดือนมีนาคม 2026 เทียบกับราว 1 แสนล้านโทเคนในช่วงต้นปี 2024 เพิ่มขึ้นมากกว่า 1,000 เท่า ตามตัวเลขที่มีการรายงานโดยอ้างข้อมูลจากสำนักงานบริหารข้อมูลแห่งชาติจีน
การเพิ่มขึ้นนี้สะท้อนว่า AI กำลังเปลี่ยนจากการทดลองหรือการป้อนคำสั่งเป็นครั้ง ๆ ไปสู่ผู้ช่วย ซอฟต์แวร์สำหรับองค์กร และเอเจนต์ที่ทำงานจริงในกระบวนการต่าง ๆ เมื่อเป็นเช่นนั้น inference จึงกลายเป็นแรงขับเคลื่อนหลักของการใช้ทรัพยากรคอมพิวต์ ไม่ใช่เพียงขั้นตอนรองจากการฝึกโมเดลอีกต่อไป
ทำไมการปรับซอฟต์แวร์จึงเป็นทางออกที่เร็วที่สุด การเพิ่มโปรเซสเซอร์ประสิทธิภาพสูงทำได้ยาก เมื่อการควบคุมการส่งออกจำกัดการเข้าถึงผลิตภัณฑ์ Nvidia รุ่นก้าวหน้า อุปทานมีจำกัด และการเปลี่ยนระบบฮาร์ดแวร์มีต้นทุนสูง นอกจากนี้ โมเดล เครื่องมือ และกระบวนการทำงานเดิมของนักพัฒนา AI จีนยังผูกอยู่กับแพลตฟอร์มซอฟต์แวร์ที่ใช้งานมานาน ทำให้การย้ายระบบมีต้นทุนทั้งด้านวิศวกรรมและเวลา
ซอฟต์แวร์อาจสร้างซิลิคอนเพิ่มไม่ได้ แต่ช่วยให้บริษัทดึงงานที่มีประโยชน์ออกจากโปรเซสเซอร์แต่ละตัวได้มากขึ้น แนวทางสำคัญ ได้แก่
การจัดเส้นทางงาน: ส่งคำขอที่ง่ายกว่าไปยังชิปต้นทุนต่ำหรือชิปในประเทศ และเก็บ Nvidia GPU ไว้สำหรับงานซับซ้อนการให้บริการที่มีประสิทธิภาพขึ้น: ปรับวิธีรวมกลุ่มและจัดคิวคำขอ เพื่อให้ฮาร์ดแวร์มีเวลาว่างโดยเปล่าประโยชน์น้อยลงการจัดสรรทรัพยากรตามลักษณะงาน: เลือกขนาดโมเดล ความยาวบริบท และวิธีสร้างคำตอบให้เหมาะกับมูลค่าและความยากของคำขอโครงสร้างพื้นฐานแบบผสม: เชื่อมการทำงานของชิปหลายสถาปัตยกรรม แทนที่จะบังคับให้ทุกงานทำงานบนแพลตฟอร์มเดียว มาตรการเหล่านี้เป็นสะพานเชื่อมระหว่างความต้องการที่เพิ่มขึ้นกับอุปทานที่จำกัด แต่ยังไม่ใช่สิ่งทดแทนฮาร์ดแวร์ระดับแนวหน้าได้ทั้งหมด โดยเฉพาะงานที่ให้ความสำคัญกับคุณภาพและยังต้องพึ่งพาโปรเซสเซอร์จำนวนไม่มาก
แรงบีบจากราคาบริการ การแก้ปัญหายิ่งยากขึ้นเมื่อราคาบริการ inference ถูกกดดันจากการแข่งขัน นักวิเคราะห์ Jefferies ประเมินว่า โมเดลจีนมีต้นทุนเฉลี่ยต่อโทเคนอยู่ที่ประมาณหนึ่งในหกของบริการจากบริษัทชั้นนำในสหรัฐฯ
ราคาที่ต่ำช่วยเร่งการใช้งาน แต่ก็จำกัดรายได้ที่จะนำไปจัดหากำลังประมวลผลระดับพรีเมียมที่มีราคาแพง ขณะเดียวกัน ผลิตภัณฑ์อย่างผู้ช่วยเขียนโค้ดและเอเจนต์ AI ใช้ทรัพยากรมากกว่าการสนทนาทั่วไป บริษัท AI จีนจึงเผชิญโจทย์ที่ตึงตัวพร้อมกันหลายด้าน ได้แก่ ความต้องการที่ขยายตัวอย่างรวดเร็ว ลูกค้าที่คาดหวังบริการราคาถูก และกำลังประมวลผลระดับสูงที่ไม่สามารถเพิ่มหรือตั้งทดแทนได้ง่าย
แรงกดดันดังกล่าวเริ่มสะท้อนในความพร้อมให้บริการแล้ว รายงานตลาดระบุว่า ผู้พัฒนาโมเดลจีนรายใหญ่และผู้ให้บริการคลาวด์บางรายต้องลดความเร็วบริการ จำกัดสิทธิ์การเข้าถึง หรือปรับขึ้นราคา เมื่อความต้องการสูงกว่าทรัพยากรคอมพิวต์ที่มี โดยเฉพาะในกรณีผู้ช่วยเขียนโค้ดที่ใช้ทรัพยากรมาก
ความหมายที่ใหญ่กว่าวิกฤตชิป ความท้าทายด้านโครงสร้างพื้นฐาน AI ของจีนจึงไม่ใช่เพียงการขาดแคลนชิป แต่เป็นการขาดแคลน “ชุดความพร้อม” ที่ประกอบด้วยโปรเซสเซอร์ประสิทธิภาพสูง ซอฟต์แวร์ที่เข้ากันได้ และกำลังประมวลผลสำหรับ inference มูลค่าสูงในต้นทุนที่คุ้มค่า
ฮาร์ดแวร์ในประเทศสามารถรับภาระงานได้มากขึ้นเมื่อซอฟต์แวร์พัฒนาและการออกแบบระบบถูกปรับให้สอดคล้องกับจุดแข็งของชิปแต่ละประเภท แต่หลักฐานในปัจจุบันชี้ว่า จีนกำลังอยู่ในช่วงเปลี่ยนผ่าน: ต้องเพิ่มประสิทธิภาพ inference ทุกชั้น ใช้ชิปในประเทศกับงานที่เหมาะสม และเก็บ Nvidia GPU ที่มีจำกัดไว้สำหรับงานยากที่สุด
กลยุทธ์นี้ช่วยยืดอายุทรัพยากรที่มีอยู่ได้ แต่การเติบโตอย่างต่อเนื่องของ AI แบบเอเจนต์จะขึ้นอยู่กับว่า จีนสามารถเพิ่มทั้งอุปทานฮาร์ดแวร์และระบบนิเวศซอฟต์แวร์ที่ทำให้ชิปหลากหลายประเภททำงานร่วมกันได้จริงหรือไม่
scmp.com China's top AI is still trained on Nvidia chips. What is delaying a ... 