Temuan Utama

• Contoh secara dramatis meningkatkan akurasi. Claude 3 Haiku, misalnya, naik dari kebenaran 11% tanpa contoh menjadi 75% hanya dengan tiga contoh — menyamai performa zero-shot model yang jauh lebih besar .
• 2–5 contoh adalah titik optimal berdasarkan riset. Panduan prompting biasanya menggambarkan few-shot prompting sebagai penggunaan sekitar 2–5 contoh, dan salah satu panduan mengidentifikasi 2–5 contoh sebagai rentang optimal yang khas .
• Lebih banyak belum tentu lebih baik. Sebuah studi arXiv mengidentifikasi masalah "over-prompting" di mana terlalu banyak contoh dapat mengurangi performa model, menantang asumsi bahwa lebih banyak contoh selalu membantu .
• Kualitas contoh lebih penting daripada kuantitas. Contoh yang beragam, berkualitas tinggi, dan terstratifikasi dengan baik dapat mengungguli sekadar menambahkan lebih banyak contoh, sementara contoh yang tidak konsisten dapat mengajarkan pola yang tidak konsisten pada model .
• Untuk tugas penalaran berat, pertimbangkan zero-shot terlebih dahulu. Jangan berasumsi contoh selalu diperlukan; uji zero-shot versus few-shot, karena over-prompting dapat mengurangi performa dalam beberapa pengaturan .

Rekomendasi Praktis

Intinya: Gunakan contoh, jaga jumlahnya antara 2–5, dan prioritaskan kualitas serta keragaman daripada kuantitas . Uji apakah model spesifik Anda mendapat manfaat dari few-shot vs. zero-shot, terutama pada tugas penalaran berat di mana contoh tambahan mungkin tidak selalu membantu .

Temuan Utama

• Contoh secara dramatis meningkatkan akurasi. Claude 3 Haiku, misalnya, naik dari kebenaran 11% tanpa contoh menjadi 75% hanya dengan tiga contoh — menyamai performa zero-shot model yang jauh lebih besar .
• 2–5 contoh adalah titik optimal berdasarkan riset. Panduan prompting biasanya menggambarkan few-shot prompting sebagai penggunaan sekitar 2–5 contoh, dan salah satu panduan mengidentifikasi 2–5 contoh sebagai rentang optimal yang khas .
• Lebih banyak belum tentu lebih baik. Sebuah studi arXiv mengidentifikasi masalah "over-prompting" di mana terlalu banyak contoh dapat mengurangi performa model, menantang asumsi bahwa lebih banyak contoh selalu membantu .
• Kualitas contoh lebih penting daripada kuantitas. Contoh yang beragam, berkualitas tinggi, dan terstratifikasi dengan baik dapat mengungguli sekadar menambahkan lebih banyak contoh, sementara contoh yang tidak konsisten dapat mengajarkan pola yang tidak konsisten pada model .
• Untuk tugas penalaran berat, pertimbangkan zero-shot terlebih dahulu. Jangan berasumsi contoh selalu diperlukan; uji zero-shot versus few-shot, karena over-prompting dapat mengurangi performa dalam beberapa pengaturan .

Rekomendasi Praktis

Intinya: Gunakan contoh, jaga jumlahnya antara 2–5, dan prioritaskan kualitas serta keragaman daripada kuantitas . Uji apakah model spesifik Anda mendapat manfaat dari few-shot vs. zero-shot, terutama pada tugas penalaran berat di mana contoh tambahan mungkin tidak selalu membantu .