Những phát hiện chính

• Ví dụ cải thiện độ chính xác một cách đáng kể. Chẳng hạn, Claude 3 Haiku đã tăng từ 11% độ chính xác khi không có ví dụ lên 75% chỉ với ba ví dụ – ngang bằng với hiệu suất 'zero-shot' của các mô hình lớn hơn nhiều .
• 2–5 ví dụ là mức tối ưu được nghiên cứu chứng minh. Các hướng dẫn về prompt thường mô tả few-shot prompting là sử dụng khoảng 2–5 ví dụ, và một hướng dẫn khác xác định 2–5 ví dụ là phạm vi tối ưu điển hình .
• Nhiều hơn chưa chắc đã tốt hơn. Một nghiên cứu trên arXiv đã xác định vấn đề 'over-prompting' (quá tải prompt) khi quá nhiều ví dụ có thể làm giảm hiệu suất của mô hình, thách thức giả định rằng luôn luôn thêm ví dụ là có lợi .
• Chất lượng ví dụ quan trọng hơn số lượng. Các ví dụ đa dạng, chất lượng cao và được phân tầng tốt có thể hoạt động tốt hơn việc chỉ thêm nhiều ví dụ, trong khi các ví dụ không nhất quán có thể dạy mô hình theo các mẫu không nhất quán .
• Đối với các tác vụ nặng về suy luận, hãy thử 'zero-shot' trước. Đừng cho rằng ví dụ luôn cần thiết; hãy kiểm tra zero-shot so với few-shot, vì over-prompting có thể làm giảm hiệu suất trong một số trường hợp .

Khuyến nghị thực tế

Kết luận: Hãy sử dụng ví dụ, giữ chúng ở mức 2–5, và ưu tiên chất lượng cũng như sự đa dạng hơn số lượng . Hãy kiểm tra xem mô hình cụ thể của bạn có hưởng lợi từ few-shot so với zero-shot hay không, đặc biệt là trong các tác vụ nặng về suy luận, nơi mà thêm ví dụ có thể không phải lúc nào cũng có ích .

Những phát hiện chính

• Ví dụ cải thiện độ chính xác một cách đáng kể. Chẳng hạn, Claude 3 Haiku đã tăng từ 11% độ chính xác khi không có ví dụ lên 75% chỉ với ba ví dụ – ngang bằng với hiệu suất 'zero-shot' của các mô hình lớn hơn nhiều .
• 2–5 ví dụ là mức tối ưu được nghiên cứu chứng minh. Các hướng dẫn về prompt thường mô tả few-shot prompting là sử dụng khoảng 2–5 ví dụ, và một hướng dẫn khác xác định 2–5 ví dụ là phạm vi tối ưu điển hình .
• Nhiều hơn chưa chắc đã tốt hơn. Một nghiên cứu trên arXiv đã xác định vấn đề 'over-prompting' (quá tải prompt) khi quá nhiều ví dụ có thể làm giảm hiệu suất của mô hình, thách thức giả định rằng luôn luôn thêm ví dụ là có lợi .
• Chất lượng ví dụ quan trọng hơn số lượng. Các ví dụ đa dạng, chất lượng cao và được phân tầng tốt có thể hoạt động tốt hơn việc chỉ thêm nhiều ví dụ, trong khi các ví dụ không nhất quán có thể dạy mô hình theo các mẫu không nhất quán .
• Đối với các tác vụ nặng về suy luận, hãy thử 'zero-shot' trước. Đừng cho rằng ví dụ luôn cần thiết; hãy kiểm tra zero-shot so với few-shot, vì over-prompting có thể làm giảm hiệu suất trong một số trường hợp .

Khuyến nghị thực tế

Kết luận: Hãy sử dụng ví dụ, giữ chúng ở mức 2–5, và ưu tiên chất lượng cũng như sự đa dạng hơn số lượng . Hãy kiểm tra xem mô hình cụ thể của bạn có hưởng lợi từ few-shot so với zero-shot hay không, đặc biệt là trong các tác vụ nặng về suy luận, nơi mà thêm ví dụ có thể không phải lúc nào cũng có ích .