Liquid AI Pipette เบนช์มาร์กที่วัดประสิทธิภาพ AI บนมือถือแบบครบชุด

Liquid AI เปิดตัว Pipette เมื่อวันที่ 24 สิงหาคม ร่วมกับ Artificial Analysis ในฐานะชุดเครื่องมือเบนช์มาร์กโอเพนซอร์สสำหรับประเมินโมเดล AI บนอุปกรณ์ปลายทาง เช่น สมาร์ตโฟน แล็ปท็อป และพีซี จุดสำคัญคือ Pipette ไม่ได้ถือว่า “โมเดล” เป็นหน่วยวัดเพียงอย่างเดียว แต่ประเมินการติดตั้งใช้งานทั้งชุด ได้แก่ โมเดล รูปแบบ quantization, runtime, อุปกรณ์ และลักษณะงานที่ใช้ทดสอบ 31

Pipette ต่างจากเบนช์มาร์กโมเดลทั่วไปอย่างไร

ลีดเดอร์บอร์ด AI จำนวนมากเน้นคะแนนความสามารถ หรือรายงานตัวเลขความเร็ว inference เพียงค่าเดียว แต่ Pipette พยายามตอบคำถามที่ใกล้กับการใช้งานจริงมากกว่า นั่นคือ เมื่อดาวน์โหลดโมเดลลงอุปกรณ์แล้ว โมเดลนั้นตอบสนองเร็วแค่ไหน ใช้หน่วยความจำเท่าไร และทำงานได้ดีเพียงใดภายใต้ชุดซอฟต์แวร์และฮาร์ดแวร์ที่กำหนด

แม้น้ำหนักโมเดลจะเหมือนเดิม ผลลัพธ์ก็เปลี่ยนได้จากการเลือก quantization, runtime, backend, ภาวะหน่วยความจำ หรือฮาร์ดแวร์คนละรุ่น ดังนั้นคะแนนของ Pipette จึงควรอ่านเป็นผลของ “การตั้งค่าเฉพาะชุด” ไม่ใช่คำตัดสินสากลว่าโมเดลใดเร็วที่สุดบนอุปกรณ์ทุกประเภท

ชุดข้อมูลเปิดตัวมีผลทดสอบที่ผ่านการตรวจสอบในห้องแล็บมากกว่า 1,000 การตั้งค่า ครอบคลุมโมเดล การ quantization, runtime, อุปกรณ์ และขนาดบริบทมากกว่า 30 โมเดล รองรับรูปแบบ quantization หลายแบบ รวมถึงบิลด์ของ llama.cpp สำหรับ macOS, iOS, Windows และ Android โดยใช้บริบทตั้งแต่ 256 ถึง 8,192 โทเคน 3

ด้าน Liquid AI รับผิดชอบการวัดประสิทธิภาพการรันโมเดล ขณะที่ Artificial Analysis ประเมินความสามารถของโมเดลบนมือถือ ทำให้การทดสอบพิจารณาทั้ง “โมเดลตอบได้ดีแค่ไหน” และ “การติดตั้งชุดนั้นทำงานเร็วและมีประสิทธิภาพเพียงใด” 33

รองรับอุปกรณ์และระบบปฏิบัติการใดบ้าง

Pipette มีไคลเอนต์แบบเนทีฟสำหรับ iOS และ Android เพื่อให้ผู้ใช้ดาวน์โหลดโมเดลมารันบนสมาร์ตโฟนโดยตรง ส่วนข้อมูลเบนช์มาร์กที่กว้างขึ้นครอบคลุม macOS และ Windows ผ่าน runtime ที่รองรับ

อุปกรณ์อ้างอิงที่ระบุในข้อมูลเปิดตัว ได้แก่ iPhone 17 Pro, Galaxy S26 Ultra และ MacBook Pro ที่ใช้ชิป M5 Max 338

การทดสอบต้องดาวน์โหลดโมเดลลงอุปกรณ์ก่อน จึงเป็นการวัดการประมวลผลแบบ local inference ไม่ใช่การวัดความหน่วงจากการเรียก API บนคลาวด์ 4150

โมเดลและ quantization ที่ทดสอบ

ลีดเดอร์บอร์ดมีทั้งโมเดลตระกูล LFM2.5 ของ Liquid AI และโมเดลจากผู้พัฒนารายอื่น ตัวอย่างที่ปรากฏในรายการ ได้แก่ Gemma, Nanbeige, Granite, Qwen และโมเดลขนาดเล็กหรือโมเดลที่ถูกบีบอัดอีกหลายรุ่น 941

Pipette รองรับ quantization หลายรูปแบบ ซึ่งเป็นกระบวนการลดความละเอียดของค่าตัวเลขในโมเดลเพื่อให้ไฟล์มีขนาดเล็กลงและใช้หน่วยความจำน้อยลง การเปรียบเทียบด้านความสามารถบนมือถือเน้นโมเดลที่มีขนาดไม่เกิน 8 GB เมื่อ quantize เหลือ 4 บิต จึงเหมาะกับการทดสอบบนสมาร์ตโฟนที่มีหน่วยความจำจำกัด 341

สำหรับการใช้งานในเครื่อง เอกสารของ Liquid AI แยกแนวทางหลักไว้ดังนี้

• GGUF มักใช้กับ llama.cpp และเหมาะกับการรันผ่าน CPU หรือ GPU บนหลายแพลตฟอร์ม
• MLX ออกแบบมาให้ทำงานได้ดีกับอุปกรณ์ Apple Silicon โดยใช้หน่วยความจำแบบ unified memory 47

อย่างไรก็ตาม ขนาดไฟล์ของโมเดลที่ผ่าน quantization เป็นเพียงส่วนหนึ่งของภาพรวมเท่านั้น Runtime และ backend ของฮาร์ดแวร์จะเป็นตัวกำหนดว่าโมเดลถูกประมวลผลจริงอย่างไร

ขนาดบริบทและลักษณะงานที่ใช้วัด

ชุดข้อมูลเปิดตัวของ Pipette ใช้การตั้งค่ามาตรฐานที่มีขนาดบริบทตั้งแต่ 256 ถึง 8,192 โทเคน 3 ส่วนการประเมินความสามารถของโมเดลบนมือถือโดย Artificial Analysis จำกัดบริบทไว้ที่ 16K โทเคน 33

ตัวเลขเหล่านี้ไม่ควรนำไปสับสนกับขนาด context window สูงสุดที่ผู้พัฒนาโมเดลประกาศไว้ เอกสารของ Liquid AI ระบุว่าโมเดล LFM หลายรุ่นรองรับบริบท 32K โทเคน และ LFM2.5-8B-A1B รองรับ 128K โทเคน แต่ความสามารถของโมเดลไม่ได้หมายความว่าการทดสอบบนมือถือทุกครั้งจะใช้บริบทเต็มขนาดดังกล่าว 47

Pipette วัดค่าอะไรบ้าง

Pipette ไม่ได้ลดประสิทธิภาพการรันโมเดลให้เหลือเพียงความเร็วตอนสร้างคำตอบ แต่รวมตัวชี้วัด 5 ด้าน ได้แก่ 1314

• ความเร็วในการประมวลผล prompt หรือช่วง prefill
• ความเร็วในการสร้างคำตอบ หรือ decode throughput
• เวลาตั้งแต่ส่งคำสั่งจนได้โทเคนแรก หรือ time to first token
• เวลาตั้งแต่ส่งคำสั่งจนได้คำตอบครบทั้งชุด
• การใช้หน่วยความจำ

การวัดหลายด้านมีความสำคัญ เพราะโมเดลหนึ่งอาจสร้างโทเคนได้เร็ว แต่ใช้เวลานานกว่าจะเริ่มตอบ ใช้หน่วยความจำมากเกินไป หรือช้าลงอย่างเห็นได้ชัดเมื่อประวัติการสนทนายาวขึ้น สำหรับผู้ใช้ทั่วไป เวลาตั้งแต่กดส่งจนได้คำตอบครบมักสะท้อนประสบการณ์จริงได้ดีกว่าตัวเลข decode เพียงค่าเดียว

ในส่วนคุณภาพ Artificial Analysis ใช้การทดสอบด้านการทำตามคำสั่ง การใช้เครื่องมือ การให้เหตุผล และความสามารถที่เกี่ยวข้อง 33

ทำอย่างไรให้ผลทดสอบทำซ้ำได้

Pipette ผูกผลลัพธ์แต่ละรายการไว้กับการตั้งค่าที่ระบุอย่างชัดเจน และเผยแพร่ระเบียบวิธีที่ใช้สร้างข้อมูลที่ผ่านการตรวจสอบแล้ว แดชบอร์ดสาธารณะแยกหน้า Leaderboard สำหรับเปรียบเทียบ, Results สำหรับดูรายละเอียด และ Submissions สำหรับย้อนดูข้อมูลการส่งผลทดสอบ ทำให้ผู้ใช้ตรวจสอบแถวข้อมูลเบื้องหลังได้ ไม่ต้องพึ่งแค่คะแนนอันดับบนสุด 1

ระบบยังบันทึก dependency ของ runtime ด้วย ตัวอย่างเช่น Liquid AI ระบุว่าผลประสิทธิภาพสาธารณะในปัจจุบันต้องใช้บิลด์ llama.cpp ที่กำหนดไว้ รวมถึง b10216 และ b10516 2 การล็อกเวอร์ชันลักษณะนี้ช่วยลดความเสี่ยงที่การเปลี่ยนซอฟต์แวร์จะถูกเข้าใจผิดว่าเป็นการพัฒนาของฮาร์ดแวร์หรือโมเดล

ถึงอย่างนั้น การกำหนดโปรโตคอลก็ไม่ได้ขจัดความแตกต่างทั้งหมด อุณหภูมิของเครื่อง การลดความเร็วเมื่อเครื่องร้อน สถานะของระบบปฏิบัติการ หน่วยความจำ เฟิร์มแวร์ การเลือก backend และข้อจำกัดด้านพลังงานต่อเนื่อง ล้วนส่งผลต่อคะแนนมือถือได้ ผลลัพธ์จะมีความหมายมากที่สุดเมื่อปัจจัยเหล่านี้ตรงกัน

ผลทดสอบชุดแรกบอกอะไร

ผลลัพธ์เริ่มต้นแสดงให้เห็นว่าทำไม Pipette จึงรายงานเป็นชุดการตั้งค่า แทนที่จะจัดอันดับโมเดลแบบตายตัว

• ผลทดสอบบน iPhone 17 Pro ที่รายงานความเร็ว 48.37 โทเคนต่อวินาทีในช่วง decode สำหรับ Gemma 4 E2B แบบ 4 บิต ผ่าน Apple MLX เป็นผลของการจับคู่ Gemma, quantization, MLX/Metal และ iPhone 17 Pro ชุดนั้นโดยเฉพาะ ไม่ใช่คะแนนที่ใช้แทน Gemma ทุกเวอร์ชันหรือมือถือทุกเครื่อง 45
• ในการประเมินความสามารถบนมือถือที่จำกัดบริบทไว้ 16K โทเคน Nanbeige4.2-3B และ LFM2.5-2.6B ได้คะแนนเฉลี่ยสูงสุดร่วมกันที่ 63 33
• Artificial Analysis รายงานเพิ่มเติมว่า LFM2.5-2.6B ใช้เวลา 8.0 วินาทีในการตอบ prompt มาตรฐานขนาด 1,024 โทเคนบน iPhone 17 Pro และใช้หน่วยความจำ 2.3 GB ตัวเลขนี้เป็นผลจากการตั้งค่าทดสอบเฉพาะชุด ไม่ควรนำไปเหมารวมกับอุปกรณ์ทุกแบบ 33

บทเรียนสำคัญคือคุณภาพ ความเร็ว ความหน่วง และการใช้หน่วยความจำอาจชี้ไปคนละทาง โมเดลที่เร็วที่สุดจึงไม่จำเป็นต้องเก่งที่สุด และโมเดลที่ได้คะแนนความสามารถสูงสุดก็ไม่จำเป็นต้องเป็นตัวเลือกที่ดีที่สุดสำหรับการใช้งานบนมือถือ

ทำไมผล iOS กับ Android ยังเทียบกันตรง ๆ ไม่ได้

ข้อจำกัดสำคัญของการเปิดตัวเวอร์ชันมือถืออยู่ที่ backend ของสองไคลเอนต์ไม่เหมือนกัน โดย iOS สามารถใช้การประมวลผลผ่าน GPU ในระบบ Apple Metal รวมถึง MLX ขณะที่ Android ในช่วงแรกจำกัดอยู่ที่การประมวลผลผ่าน CPU 4150

ดังนั้น ตัวเลขของ iPhone ที่ใช้ MLX/Metal กับตัวเลขของ Android ที่ใช้ CPU อย่างเดียวจึงไม่ใช่การเปรียบเทียบพลังประมวลผล AI ของมือถือทั้งระบบแบบยุติธรรม ผลของ iOS อาจได้ประโยชน์จากการเร่งด้วย GPU ขณะที่ผลของ Android สะท้อนเส้นทางการประมวลผลด้วย CPU ที่ไคลเอนต์ปัจจุบันเปิดให้ใช้

ผล Android ยังมีประโยชน์สำหรับทำความเข้าใจประสิทธิภาพของ local inference บน CPU และประสบการณ์การใช้งานภายใต้ implementation นั้น แต่ยังไม่ควรใช้สรุปว่าชิป AI ของมือถือรุ่นหนึ่งเร็วกว่าอีกรุ่นโดยรวม จนกว่าจะมีการทดสอบ GPU หรือ NPU ที่เทียบเท่ากัน ภายใต้งานและเงื่อนไขเดียวกัน

Pipette เกี่ยวข้องกับการแข่งขันชิปมือถืออย่างไร

Pipette เปิดตัวในช่วงที่ผู้ผลิตชิปกำลังผลักดันการประมวลผล AI ในเครื่องและงานแบบ agentic AI ให้เร็วขึ้น Qualcomm ระบุว่าแพลตฟอร์ม Snapdragon 8 Elite Gen 5 ใช้ CPU Oryon รุ่นที่สาม ทำความเร็วได้สูงสุด 4.74 GHz พร้อมอ้างว่าประสิทธิภาพ CPU เพิ่มขึ้น 20% และประสิทธิภาพด้านการใช้พลังงานของ CPU เพิ่มขึ้น 35% 24

Qualcomm ยังเปิดเผยข้อมูลเบื้องต้นของแพลตฟอร์ม Snapdragon รุ่นเรือธงรุ่นถัดไป ซึ่งใช้ CPU Oryon ที่ตั้งเป้าความเร็ว 5 GHz และสถาปัตยกรรม FlexCache ที่เปิดให้คอร์ CPU ต่างประเภทเข้าถึงแคชพูลเดียวกันซึ่งจัดสรรแบบไดนามิก 23

ตัวเลขความถี่เหล่านี้สะท้อนว่าการประมวลผล AI บนอุปกรณ์กำลังกลายเป็นสนามแข่งขันด้านฮาร์ดแวร์ แต่ความเร็วสัญญาณนาฬิกาเพียงอย่างเดียวไม่ได้ทำนายประสิทธิภาพของโมเดลภาษาขนาดใหญ่ได้ครบถ้วน ปัจจัยอย่าง quantization, แบนด์วิดท์หน่วยความจำ, พฤติกรรมของแคช, implementation ของ runtime, การใช้ GPU หรือ NPU, อุณหภูมิ และพลังงานที่รักษาได้ต่อเนื่อง ล้วนมีผลเช่นกัน

นี่คือจุดที่แนวทางของ Pipette มีประโยชน์ในระยะยาว เพราะช่วยแสดงให้เห็นว่าการปรับปรุงชิปที่ผู้ผลิตกล่าวอ้าง แปลเป็นการตอบสนองที่เร็วขึ้น หน่วงน้อยลง และใช้หน่วยความจำมีประสิทธิภาพขึ้นจริงหรือไม่ ภายใต้งานที่ทำซ้ำได้

ในตอนนี้ Pipette ควรถูกมองว่าเป็นเบนช์มาร์กสำหรับการติดตั้งใช้งาน AI อย่างโปร่งใส มากกว่าจะเป็นคำตัดสินสุดท้ายว่า iPhone หรือ Android มีฮาร์ดแวร์ AI ที่เร็วกว่า