เจาะลึก Gemma 4 QAT: โมเดล AI ตัวใหม่จาก Google ที่แรงขึ้นแต่กิน RAM น้อยลง 72%

ทำความรู้จักกับ 5 โมเดลและขนาดที่เล็กลง

Gemma 4 เปิดตัวมาด้วยกันทั้งหมด 5 ขนาด โดยทุกตัวมีเวอร์ชัน QAT ให้ใช้งานแล้ว :

คำเตือนสำคัญจาก Google

อย่าลืมว่าเวอร์ชัน QAT ถูกออกแบบมาให้ใช้กับฟอร์แมตเฉพาะ หากนำน้ำหนัก QAT ไปแปลงเป็นฟอร์แมตยอดนิยมอย่าง Q4_0 ด้วยวิธีปกติ (Naive Conversion) ประสิทธิภาพอาจลดลงอย่างมาก ตัวอย่างเช่น โมเดล 26B มีความแม่นยำแบบ top-1 ลดลงเหลือเพียง 70.2% เมื่อแปลงแบบผิดวิธี

ฟอร์แมตต่างๆ เลือกใช้ยังไงให้เหมาะกับเรา

เช็คพอยต์ QAT มีให้เลือกดาวน์โหลดหลายฟอร์แมต ขึ้นอยู่กับการใช้งาน :

• compressed-tensors: ฟอร์แมตหลักแบบ W4A16 สำหรับใช้งานกับไลบรารีอนุมาน (Inference) ประสิทธิภาพสูงอย่าง vLLM
• GGUF / Q4_0: ฟอร์แมตพร้อมใช้งานสำหรับระบบนิเวศกว้างๆ อย่าง Ollama, llama.cpp และ MLX แต่อย่างที่บอกไว้ ควรใช้ด้วยความระมัดระวัง
• ฟอร์แมตสำหรับมือถือ (Mobile-optimized): ถูกออกแบบมาเพื่ออุปกรณ์พกพาโดยเฉพาะ โดยใช้ส่วนผสมของความกว้างในการ Quantization หลายแบบเพื่อประสิทธิภาพสูงสุดบนมือถือ ตัวอย่างเช่น E2B รุ่นที่ไม่รวม Per-Layer Embeddings สามารถใช้ RAM ต่ำกว่า 1 GB

รันได้บนเครื่องเราไหม? ดูสเปกนี้

นี่คือสิ่งที่หลายคนรอคอย QAT ทำให้การรันโมเดลใหญ่ๆ บนฮาร์ดแวร์ที่เราใช้กันอยู่ทุกวันเป็นจริงได้:

• สมาร์ทโฟน: โมเดล E2B และ E4B ถูกออกแบบมาให้รันบนอุปกรณ์พกพาได้ โดยเฉพาะอย่างยิ่ง E2B ที่มีรายงานว่ารันได้โดยใช้ RAM เพียง 1 GB และรันได้เต็มรูปแบบบนแอป Google AI Edge
• การ์ดจอ RAM 8 GB: นี่คือกลุ่มการ์ดจอยอดนิยมอย่าง RTX 3060/4060 คุณสามารถรัน E2B, E4B, และ 12B ได้อย่างสบายๆ ในโหมด 4-bit
• การ์ดจอ 12–16 GB: เช่น RTX 4070 Ti ขึ้นไป สามารถรันโมเดล MoE อย่าง 26B A4B ได้ เนื่องจากมันเปิดใช้พารามิเตอร์เพียง 3.8B ตัวต่อโทเค็น ทำให้ใช้ทรัพยากรน้อยกว่าโมเดล Dense ขนาดใกล้เคียงกันมาก
• การ์ดจอ 16–24 GB: กลุ่มการ์ดระดับไฮเอนด์ของผู้บริโภคอย่าง RTX 3090/4090 สามารถรันโมเดล 31B ซึ่งเป็นรุ่นใหญ่สุดได้อย่างเหลือเชื่อ เมื่อใช้ในโหมด 4-bit ซึ่งใช้ RAM ประมาณ 18-20 GB ทำให้มีพื้นที่เหลือสำหรับ Context ยาวๆ ได้

สิ่งนี้เปลี่ยนเกมอย่างไร?

การมาของ QAT บน Gemma 4 เป็นการทลายกำแพงสำคัญของ AI โดยสิ้นเชิง:

• โมเดล 31B ซึ่งมีบริบท (Context Length) ยาวถึง 256,000 โทเค็น และมีความสามารถในการให้เหตุผลขั้นสูง ไม่ได้ถูกจำกัดอยู่แค่ในศูนย์ข้อมูลอีกต่อไป แต่มันมาอยู่ในห้องนอนของเราได้แล้ว
• เปิดทางให้นักพัฒนาและนักวิจัยสร้างสรรค์แอปพลิเคชัน AI แบบ Offline ที่ทำงานบนอุปกรณ์ส่วนตัวได้โดยไม่ต้องพึ่งพา Cloud ซึ่งหมายถึงความเป็นส่วนตัวที่มากขึ้นและค่าบริการที่ลดลง

การเปิดตัวครั้งนี้เป็นสัญญาณว่า อนาคตของ AI ที่ทรงพลังและเข้าถึงได้กำลังเริ่มต้นขึ้นแล้วบนอุปกรณ์ที่คุณถืออยู่ในมือ