ทำไม “Inference” ถึงกลายเป็นคอขวดของ AI

โครงสร้างพื้นฐาน AI ส่วนใหญ่ในปัจจุบันถูกออกแบบมาเพื่อ การเทรนโมเดล (training) ซึ่งเป็นกระบวนการที่ต้องใช้พลังประมวลผลสูงมาก GPU จึงถูกใช้อย่างแพร่หลายเพราะสามารถคำนวณแบบขนานได้ดี

แต่เมื่อโมเดลถูกนำไปใช้งานจริง ระบบจะเข้าสู่ขั้นตอน inference ซึ่งต้องสร้างคำตอบทีละโทเค็นตามคำสั่งของผู้ใช้

ในขั้นตอนนี้ ปัญหาใหญ่ไม่ได้อยู่ที่พลังคำนวณเพียงอย่างเดียว แต่เป็นเรื่องของ

• แบนด์วิดท์ของหน่วยความจำ
• ความหน่วง (latency) ในการเข้าถึงข้อมูล

โมเดลขนาดใหญ่ต้องอ่าน ค่าน้ำหนัก (weights) และข้อมูลภายในจำนวนมหาศาลซ้ำแล้วซ้ำเล่า หากฮาร์ดแวร์ไม่สามารถเคลื่อนย้ายข้อมูลเหล่านี้ได้เร็วพอ การเพิ่มพลังประมวลผลอย่างเดียวก็ไม่ช่วยให้ระบบเร็วขึ้นมากนัก

ปัญหานี้ยิ่งชัดขึ้นเมื่อโมเดล AI รุ่นใหม่มีความซับซ้อนมากขึ้น เช่น

• คำตอบยาวและซับซ้อนกว่าเดิม
• context window ยาวขึ้นมาก
• โมเดล reasoning ต้องคำนวณหลายขั้นตอนก่อนตอบ

งานบางประเภทอาจใช้ โทเค็นหลายสิบล้านต่อหนึ่งงาน ทำให้ความเร็วในการสร้างคำตอบกลายเป็นข้อจำกัดสำคัญ

Fractile จึงเชื่อว่าในอนาคตอันใกล้ ความหน่วงของ inference อาจเป็นตัวจำกัดการพัฒนา AI มากกว่าความสามารถของโมเดลเอง

แนวทางของ Fractile: ให้การคำนวณเกิดขึ้น “ในหน่วยความจำ”

ชิป AI ทั่วไป เช่น GPU ของ Nvidia แยก หน่วยประมวลผล ออกจาก หน่วยความจำความเร็วสูง (HBM) ทำให้ข้อมูลต้องวิ่งไปมาระหว่างสองส่วนนี้ตลอดเวลา

Fractile เสนอแนวทางที่ต่างออกไป คือให้การคำนวณเกิดขึ้น ใกล้หรือภายในหน่วยความจำโดยตรง ซึ่งเรียกว่า in‑memory compute

สถาปัตยกรรมนี้มีแนวคิดหลัก เช่น

• รวม compute และ memory อยู่บนชิปเดียวกัน
• ทำการคำนวณบางส่วนภายในโครงสร้างหน่วยความจำ
• ลดการย้ายข้อมูลระหว่างหน่วยความจำภายนอกกับตัวประมวลผล

เมื่อการเคลื่อนย้ายข้อมูลลดลง ระบบจึงมีโอกาสได้ทั้ง

• latency ต่ำลง
• ประหยัดพลังงานมากขึ้น
• ต้นทุนการรันโมเดลลดลง

บริษัทระบุว่าระบบของตนอาจทำให้การรัน inference ของโมเดลระดับ frontier เร็วขึ้นได้ถึง 25 เท่า และต้นทุนลดลงเหลือประมาณหนึ่งในสิบ เมื่อเทียบกับฮาร์ดแวร์ปัจจุบัน แม้ตัวเลขเหล่านี้ยังเป็นเป้าหมายของบริษัทและยังไม่มีการทดสอบอิสระยืนยันอย่างเป็นทางการ

เงินทุน 220 ล้านดอลลาร์จะถูกใช้ทำอะไร

รอบระดมทุน Series B มูลค่า 220 ล้านดอลลาร์ ของ Fractile นำโดยกองทุน Accel, Factorial Funds และ Founders Fund พร้อมนักลงทุนเพิ่มเติม เช่น Conviction, Gigascale Capital, O1A Ventures, Felicis, Buckley Ventures และ 8VC

บริษัทมีแผนใช้เงินทุนเพื่อ

• เร่งพัฒนาสถาปัตยกรรมชิป inference
• ผลักดันฮาร์ดแวร์ตัวแรกเข้าสู่การผลิต
• ขยายทีมวิศวกรรมในสหราชอาณาจักร สหรัฐฯ และไต้หวัน

Fractile ก่อตั้งในปี 2022 โดยวิศวกรชิปที่ผ่านการฝึกจากมหาวิทยาลัยออกซ์ฟอร์ดชื่อ Walter Goodwin และตั้งเป้านำระบบแรกไปให้ลูกค้าใช้งานภายในช่วงปลายทศวรรษนี้

มีรายงานว่าบริษัท AI อย่าง Anthropic เคยมีการพูดคุยเบื้องต้นเกี่ยวกับการใช้เทคโนโลยีนี้เมื่อฮาร์ดแวร์พร้อมใช้งาน แต่ยังไม่มีการประกาศข้อตกลงเชิงพาณิชย์อย่างเป็นทางการ

งาน AI แบบใหม่ที่อาจเกิดขึ้นได้หาก inference เร็วขึ้น

หากสถาปัตยกรรมแบบ Fractile สามารถเพิ่มประสิทธิภาพ inference ได้จริง อาจเปิดทางให้แอปพลิเคชัน AI รุ่นใหม่หลายประเภท

โมเดล reasoning ขนาดใหญ่

ระบบ reasoning สมัยใหม่มักต้องสร้างขั้นตอนการคิดภายในหลายชั้น ก่อนจะให้คำตอบจริง การทำ inference ที่เร็วขึ้นจะทำให้โมเดลสามารถใช้ compute เพิ่มระหว่างการรันจริง หรือที่เรียกว่า test‑time compute ได้มากขึ้น

ผู้ช่วย AI แบบเรียลไทม์

การสนทนากับ AI ต้องการ latency ต่ำมาก หากการสร้างโทเค็นเร็วขึ้น ผู้ช่วย AI อาจตอบสนองได้ ใกล้เคียงการสนทนาจริงมากขึ้น

ระบบ AI แบบ Agent

AI agent ที่ทำงานอัตโนมัติอาจต้องเรียกเครื่องมือ เขียนโค้ด และคิดซ้ำหลายรอบ กระบวนการเหล่านี้ใช้ โทเค็นจำนวนมหาศาล ทำให้ความเร็ว inference มีความสำคัญมาก

AI ระดับองค์กร

องค์กรที่ให้บริการ AI ในปริมาณสูง เช่น copilots หรือระบบบริการลูกค้า ต้องการทั้ง throughput สูงและต้นทุนต่อโทเค็นต่ำ ฮาร์ดแวร์เฉพาะทางอาจช่วยลดต้นทุนการดำเนินงานได้อย่างมาก

คำถามสำคัญ: จะทำได้จริงในระดับอุตสาหกรรมหรือไม่

แนวคิดของ Fractile สะท้อนการเปลี่ยนแปลงในอุตสาหกรรม AI เมื่อระบบกำลังก้าวจากงานวิจัยไปสู่การใช้งานจริง ทำให้ ประสิทธิภาพของ inference สำคัญไม่แพ้การเทรนโมเดล

อย่างไรก็ตาม การสร้างสถาปัตยกรรมชิปใหม่ที่สามารถแข่งขันกับระบบ GPU ที่มี ecosystem ใหญ่มากนั้นไม่ใช่เรื่องง่าย และตัวเลขประสิทธิภาพที่บริษัทนำเสนอส่วนใหญ่ยังเป็น เป้าหมายหรือการประเมินภายใน

แม้ยังต้องพิสูจน์อีกมาก แต่ขนาดของเงินลงทุนและความสนใจจากนักลงทุนสะท้อนว่า หลายฝ่ายเชื่อว่าความก้าวหน้าครั้งต่อไปของ AI อาจไม่ได้มาจาก โมเดลที่ใหญ่ขึ้นเท่านั้น แต่อาจมาจากฮาร์ดแวร์ที่รันมันได้เร็วขึ้นอย่างมหาศาล

ทำไม “Inference” ถึงกลายเป็นคอขวดของ AI

โครงสร้างพื้นฐาน AI ส่วนใหญ่ในปัจจุบันถูกออกแบบมาเพื่อ การเทรนโมเดล (training) ซึ่งเป็นกระบวนการที่ต้องใช้พลังประมวลผลสูงมาก GPU จึงถูกใช้อย่างแพร่หลายเพราะสามารถคำนวณแบบขนานได้ดี

แต่เมื่อโมเดลถูกนำไปใช้งานจริง ระบบจะเข้าสู่ขั้นตอน inference ซึ่งต้องสร้างคำตอบทีละโทเค็นตามคำสั่งของผู้ใช้

ในขั้นตอนนี้ ปัญหาใหญ่ไม่ได้อยู่ที่พลังคำนวณเพียงอย่างเดียว แต่เป็นเรื่องของ

• แบนด์วิดท์ของหน่วยความจำ
• ความหน่วง (latency) ในการเข้าถึงข้อมูล

โมเดลขนาดใหญ่ต้องอ่าน ค่าน้ำหนัก (weights) และข้อมูลภายในจำนวนมหาศาลซ้ำแล้วซ้ำเล่า หากฮาร์ดแวร์ไม่สามารถเคลื่อนย้ายข้อมูลเหล่านี้ได้เร็วพอ การเพิ่มพลังประมวลผลอย่างเดียวก็ไม่ช่วยให้ระบบเร็วขึ้นมากนัก

ปัญหานี้ยิ่งชัดขึ้นเมื่อโมเดล AI รุ่นใหม่มีความซับซ้อนมากขึ้น เช่น

• คำตอบยาวและซับซ้อนกว่าเดิม
• context window ยาวขึ้นมาก
• โมเดล reasoning ต้องคำนวณหลายขั้นตอนก่อนตอบ

งานบางประเภทอาจใช้ โทเค็นหลายสิบล้านต่อหนึ่งงาน ทำให้ความเร็วในการสร้างคำตอบกลายเป็นข้อจำกัดสำคัญ

Fractile จึงเชื่อว่าในอนาคตอันใกล้ ความหน่วงของ inference อาจเป็นตัวจำกัดการพัฒนา AI มากกว่าความสามารถของโมเดลเอง

แนวทางของ Fractile: ให้การคำนวณเกิดขึ้น “ในหน่วยความจำ”

ชิป AI ทั่วไป เช่น GPU ของ Nvidia แยก หน่วยประมวลผล ออกจาก หน่วยความจำความเร็วสูง (HBM) ทำให้ข้อมูลต้องวิ่งไปมาระหว่างสองส่วนนี้ตลอดเวลา

Fractile เสนอแนวทางที่ต่างออกไป คือให้การคำนวณเกิดขึ้น ใกล้หรือภายในหน่วยความจำโดยตรง ซึ่งเรียกว่า in‑memory compute

สถาปัตยกรรมนี้มีแนวคิดหลัก เช่น

• รวม compute และ memory อยู่บนชิปเดียวกัน
• ทำการคำนวณบางส่วนภายในโครงสร้างหน่วยความจำ
• ลดการย้ายข้อมูลระหว่างหน่วยความจำภายนอกกับตัวประมวลผล

เมื่อการเคลื่อนย้ายข้อมูลลดลง ระบบจึงมีโอกาสได้ทั้ง

• latency ต่ำลง
• ประหยัดพลังงานมากขึ้น
• ต้นทุนการรันโมเดลลดลง

บริษัทระบุว่าระบบของตนอาจทำให้การรัน inference ของโมเดลระดับ frontier เร็วขึ้นได้ถึง 25 เท่า และต้นทุนลดลงเหลือประมาณหนึ่งในสิบ เมื่อเทียบกับฮาร์ดแวร์ปัจจุบัน แม้ตัวเลขเหล่านี้ยังเป็นเป้าหมายของบริษัทและยังไม่มีการทดสอบอิสระยืนยันอย่างเป็นทางการ

เงินทุน 220 ล้านดอลลาร์จะถูกใช้ทำอะไร

รอบระดมทุน Series B มูลค่า 220 ล้านดอลลาร์ ของ Fractile นำโดยกองทุน Accel, Factorial Funds และ Founders Fund พร้อมนักลงทุนเพิ่มเติม เช่น Conviction, Gigascale Capital, O1A Ventures, Felicis, Buckley Ventures และ 8VC

บริษัทมีแผนใช้เงินทุนเพื่อ

• เร่งพัฒนาสถาปัตยกรรมชิป inference
• ผลักดันฮาร์ดแวร์ตัวแรกเข้าสู่การผลิต
• ขยายทีมวิศวกรรมในสหราชอาณาจักร สหรัฐฯ และไต้หวัน

Fractile ก่อตั้งในปี 2022 โดยวิศวกรชิปที่ผ่านการฝึกจากมหาวิทยาลัยออกซ์ฟอร์ดชื่อ Walter Goodwin และตั้งเป้านำระบบแรกไปให้ลูกค้าใช้งานภายในช่วงปลายทศวรรษนี้

มีรายงานว่าบริษัท AI อย่าง Anthropic เคยมีการพูดคุยเบื้องต้นเกี่ยวกับการใช้เทคโนโลยีนี้เมื่อฮาร์ดแวร์พร้อมใช้งาน แต่ยังไม่มีการประกาศข้อตกลงเชิงพาณิชย์อย่างเป็นทางการ

งาน AI แบบใหม่ที่อาจเกิดขึ้นได้หาก inference เร็วขึ้น

หากสถาปัตยกรรมแบบ Fractile สามารถเพิ่มประสิทธิภาพ inference ได้จริง อาจเปิดทางให้แอปพลิเคชัน AI รุ่นใหม่หลายประเภท

โมเดล reasoning ขนาดใหญ่

ระบบ reasoning สมัยใหม่มักต้องสร้างขั้นตอนการคิดภายในหลายชั้น ก่อนจะให้คำตอบจริง การทำ inference ที่เร็วขึ้นจะทำให้โมเดลสามารถใช้ compute เพิ่มระหว่างการรันจริง หรือที่เรียกว่า test‑time compute ได้มากขึ้น

ผู้ช่วย AI แบบเรียลไทม์

การสนทนากับ AI ต้องการ latency ต่ำมาก หากการสร้างโทเค็นเร็วขึ้น ผู้ช่วย AI อาจตอบสนองได้ ใกล้เคียงการสนทนาจริงมากขึ้น

ระบบ AI แบบ Agent

AI agent ที่ทำงานอัตโนมัติอาจต้องเรียกเครื่องมือ เขียนโค้ด และคิดซ้ำหลายรอบ กระบวนการเหล่านี้ใช้ โทเค็นจำนวนมหาศาล ทำให้ความเร็ว inference มีความสำคัญมาก

AI ระดับองค์กร

องค์กรที่ให้บริการ AI ในปริมาณสูง เช่น copilots หรือระบบบริการลูกค้า ต้องการทั้ง throughput สูงและต้นทุนต่อโทเค็นต่ำ ฮาร์ดแวร์เฉพาะทางอาจช่วยลดต้นทุนการดำเนินงานได้อย่างมาก

คำถามสำคัญ: จะทำได้จริงในระดับอุตสาหกรรมหรือไม่

แนวคิดของ Fractile สะท้อนการเปลี่ยนแปลงในอุตสาหกรรม AI เมื่อระบบกำลังก้าวจากงานวิจัยไปสู่การใช้งานจริง ทำให้ ประสิทธิภาพของ inference สำคัญไม่แพ้การเทรนโมเดล

อย่างไรก็ตาม การสร้างสถาปัตยกรรมชิปใหม่ที่สามารถแข่งขันกับระบบ GPU ที่มี ecosystem ใหญ่มากนั้นไม่ใช่เรื่องง่าย และตัวเลขประสิทธิภาพที่บริษัทนำเสนอส่วนใหญ่ยังเป็น เป้าหมายหรือการประเมินภายใน

แม้ยังต้องพิสูจน์อีกมาก แต่ขนาดของเงินลงทุนและความสนใจจากนักลงทุนสะท้อนว่า หลายฝ่ายเชื่อว่าความก้าวหน้าครั้งต่อไปของ AI อาจไม่ได้มาจาก โมเดลที่ใหญ่ขึ้นเท่านั้น แต่อาจมาจากฮาร์ดแวร์ที่รันมันได้เร็วขึ้นอย่างมหาศาล