Vigtigste resultater

• Eksempler forbedrer nøjagtigheden dramatisk. Claude 3 Haiku gik fra 11 % korrekthed uden eksempler til 75 % med blot tre eksempler – hvilket matcher langt større modellers zero-shot-præstation .
• 2-5 eksempler er det forskningsbaserede optimum. Flere prompt-guides beskriver few-shot prompting som typisk 2-5 eksempler, og én guide identificerer 2-5 som det optimale interval .
• Mere er ikke altid bedre. Et arXiv-studie har identificeret et ”over-prompting”-problem, hvor for mange eksempler kan reducere modellens præstation .
• Eksemplernes kvalitet betyder mere end antallet. Forskellige, højkvalitets- og velstratifiserede eksempler kan give bedre resultater end blot at tilføje flere eksempler, mens inkonsistente eksempler kan lære modellen inkonsistente mønstre .
• Til opgaver med meget ræsonnement bør du starte med zero-shot. Test zero-shot mod few-shot, da over-prompting kan forringe præstationen i nogle tilfælde .

Praktiske anbefalinger

Bundlinje: Brug eksempler, hold dem til 2-5, og prioritér kvalitet og variation over kvantitet . Test om din specifikke model nyder godt af few-shot frem for zero-shot, især på opgaver med meget ræsonnement, hvor ekstra eksempler ikke altid hjælper .

Vigtigste resultater

• Eksempler forbedrer nøjagtigheden dramatisk. Claude 3 Haiku gik fra 11 % korrekthed uden eksempler til 75 % med blot tre eksempler – hvilket matcher langt større modellers zero-shot-præstation .
• 2-5 eksempler er det forskningsbaserede optimum. Flere prompt-guides beskriver few-shot prompting som typisk 2-5 eksempler, og én guide identificerer 2-5 som det optimale interval .
• Mere er ikke altid bedre. Et arXiv-studie har identificeret et ”over-prompting”-problem, hvor for mange eksempler kan reducere modellens præstation .
• Eksemplernes kvalitet betyder mere end antallet. Forskellige, højkvalitets- og velstratifiserede eksempler kan give bedre resultater end blot at tilføje flere eksempler, mens inkonsistente eksempler kan lære modellen inkonsistente mønstre .
• Til opgaver med meget ræsonnement bør du starte med zero-shot. Test zero-shot mod few-shot, da over-prompting kan forringe præstationen i nogle tilfælde .

Praktiske anbefalinger

Bundlinje: Brug eksempler, hold dem til 2-5, og prioritér kvalitet og variation over kvantitet . Test om din specifikke model nyder godt af few-shot frem for zero-shot, især på opgaver med meget ræsonnement, hvor ekstra eksempler ikke altid hjælper .