ผลการวิจัยสำคัญ

• ตัวอย่างช่วยเพิ่มความแม่นยำอย่างมาก จากผลการทดสอบ Claude 3 Haiku มีความแม่นยําเพิ่มขึ้นจาก 11% (ไม่มีตัวอย่าง) เป็น 75% (3 ตัวอย่าง) ซึ่งเทียบเท่ากับความสามารถของโมเดลขนาดใหญ่ในโหมด Zero-Shot
• 2-5 ตัวอย่างคือจำนวนที่ได้รับการวิจัยรับรอง คำแนะนำทั่วไประบุว่า Few-Shot Prompting ควรใช้ประมาณ 2-5 ตัวอย่าง และคำแนะนำหนึ่งระบุว่าช่วง 2-5 ตัวอย่างเป็นช่วงที่เหมาะสมที่สุด
• มากไปไม่ดีเสมอไป งานวิจัยบน ArXiv ชี้ให้เห็นปัญหา "Over-Prompting" ซึ่งการใส่ตัวอย่างมากเกินไปอาจทำให้ประสิทธิภาพของโมเดลลดลง ท้าทายความเชื่อเดิมที่ว่ายิ่งมีตัวอย่างมากยิ่งดี
• คุณภาพของตัวอย่างสำคัญกว่าปริมาณ ตัวอย่างที่หลากหลาย มีคุณภาพสูง และครอบคลุมสถานการณ์ต่างๆ สามารถให้ผลลัพธ์ที่ดีกว่าการเพิ่มจำนวนตัวอย่างแบบสุ่ม ในขณะที่ตัวอย่างที่ไม่มีรูปแบบที่สม่ำเสมออาจทำให้โมเดลเรียนรู้รูปแบบที่ผิดพลาด
• งานที่เน้นการใช้เหตุผล (Reasoning) ให้ลอง Zero-Shot ก่อน อย่าคิดว่าจำเป็นต้องใช้ตัวอย่างเสมอไป ควรทดสอบว่า Zero-Shot หรือ Few-Shot ให้ผลลัพธ์ดีกว่ากัน เพราะ Over-Prompting อาจลดประสิทธิภาพในบางงาน

คำแนะนำเชิงปฏิบัติ

สรุป: ใช้ตัวอย่าง จำกัดไว้ที่ 2-5 ตัวอย่าง และให้ความสำคัญกับคุณภาพและความหลากหลายมากกว่าปริมาณ ทดสอบเสมอว่าโมเดลของคุณทำงานได้ดีกว่าในรูปแบบ Few-Shot หรือ Zero-Shot โดยเฉพาะงานที่เน้นการใช้เหตุผลซึ่งตัวอย่างเพิ่มเติมอาจไม่จำเป็นเสมอไป

ผลการวิจัยสำคัญ

• ตัวอย่างช่วยเพิ่มความแม่นยำอย่างมาก จากผลการทดสอบ Claude 3 Haiku มีความแม่นยําเพิ่มขึ้นจาก 11% (ไม่มีตัวอย่าง) เป็น 75% (3 ตัวอย่าง) ซึ่งเทียบเท่ากับความสามารถของโมเดลขนาดใหญ่ในโหมด Zero-Shot
• 2-5 ตัวอย่างคือจำนวนที่ได้รับการวิจัยรับรอง คำแนะนำทั่วไประบุว่า Few-Shot Prompting ควรใช้ประมาณ 2-5 ตัวอย่าง และคำแนะนำหนึ่งระบุว่าช่วง 2-5 ตัวอย่างเป็นช่วงที่เหมาะสมที่สุด
• มากไปไม่ดีเสมอไป งานวิจัยบน ArXiv ชี้ให้เห็นปัญหา "Over-Prompting" ซึ่งการใส่ตัวอย่างมากเกินไปอาจทำให้ประสิทธิภาพของโมเดลลดลง ท้าทายความเชื่อเดิมที่ว่ายิ่งมีตัวอย่างมากยิ่งดี
• คุณภาพของตัวอย่างสำคัญกว่าปริมาณ ตัวอย่างที่หลากหลาย มีคุณภาพสูง และครอบคลุมสถานการณ์ต่างๆ สามารถให้ผลลัพธ์ที่ดีกว่าการเพิ่มจำนวนตัวอย่างแบบสุ่ม ในขณะที่ตัวอย่างที่ไม่มีรูปแบบที่สม่ำเสมออาจทำให้โมเดลเรียนรู้รูปแบบที่ผิดพลาด
• งานที่เน้นการใช้เหตุผล (Reasoning) ให้ลอง Zero-Shot ก่อน อย่าคิดว่าจำเป็นต้องใช้ตัวอย่างเสมอไป ควรทดสอบว่า Zero-Shot หรือ Few-Shot ให้ผลลัพธ์ดีกว่ากัน เพราะ Over-Prompting อาจลดประสิทธิภาพในบางงาน

คำแนะนำเชิงปฏิบัติ

สรุป: ใช้ตัวอย่าง จำกัดไว้ที่ 2-5 ตัวอย่าง และให้ความสำคัญกับคุณภาพและความหลากหลายมากกว่าปริมาณ ทดสอบเสมอว่าโมเดลของคุณทำงานได้ดีกว่าในรูปแบบ Few-Shot หรือ Zero-Shot โดยเฉพาะงานที่เน้นการใช้เหตุผลซึ่งตัวอย่างเพิ่มเติมอาจไม่จำเป็นเสมอไป