Belangrijkste bevindingen

• Voorbeelden verbeteren de nauwkeurigheid aanzienlijk. Claude 3 Haiku steeg bijvoorbeeld van 11% juistheid zonder voorbeelden naar 75% met slechts drie voorbeelden – even goed als veel grotere modellen zonder voorbeelden .
• 2 tot 5 voorbeelden is het onderbouwde optimum. Prompt-richtlijnen beschrijven few-shot prompting meestal met 2 tot 5 voorbeelden, en onderzoek wijst uit dat dit de optimale bandbreedte is .
• Meer is niet altijd beter. Een arXiv-studie ontdekte een 'over-prompting'-probleem: te veel voorbeelden kunnen de prestaties van het model juist verminderen .
• Kwaliteit van de voorbeelden is belangrijker dan kwantiteit. Diverse, hoogwaardige en goed gekozen voorbeelden werken beter dan simpelweg meer voorbeelden toevoegen. Inconsistente voorbeelden kunnen het model juist inconsistente patronen aanleren .
• Begin bij taken die veel redeneren vereisen zonder voorbeelden. Test of few-shot beter werkt dan zero-shot, want over-prompting kan de prestaties in sommige situaties verslechteren .

Praktische aanbevelingen

Kortom: Gebruik voorbeelden, hou het bij 2 tot 5, en geef kwaliteit en diversiteit voorrang boven kwantiteit . Test of jouw specifieke model baat heeft bij few-shot of zero-shot, vooral bij taken die veel redeneren vereisen .

Belangrijkste bevindingen

• Voorbeelden verbeteren de nauwkeurigheid aanzienlijk. Claude 3 Haiku steeg bijvoorbeeld van 11% juistheid zonder voorbeelden naar 75% met slechts drie voorbeelden – even goed als veel grotere modellen zonder voorbeelden .
• 2 tot 5 voorbeelden is het onderbouwde optimum. Prompt-richtlijnen beschrijven few-shot prompting meestal met 2 tot 5 voorbeelden, en onderzoek wijst uit dat dit de optimale bandbreedte is .
• Meer is niet altijd beter. Een arXiv-studie ontdekte een 'over-prompting'-probleem: te veel voorbeelden kunnen de prestaties van het model juist verminderen .
• Kwaliteit van de voorbeelden is belangrijker dan kwantiteit. Diverse, hoogwaardige en goed gekozen voorbeelden werken beter dan simpelweg meer voorbeelden toevoegen. Inconsistente voorbeelden kunnen het model juist inconsistente patronen aanleren .
• Begin bij taken die veel redeneren vereisen zonder voorbeelden. Test of few-shot beter werkt dan zero-shot, want over-prompting kan de prestaties in sommige situaties verslechteren .

Praktische aanbevelingen

Kortom: Gebruik voorbeelden, hou het bij 2 tot 5, en geef kwaliteit en diversiteit voorrang boven kwantiteit . Test of jouw specifieke model baat heeft bij few-shot of zero-shot, vooral bij taken die veel redeneren vereisen .