Ключевые выводы

• Примеры резко повышают точность. Claude 3 Haiku улучшил результат с 11% (ноль примеров) до 75% всего с тремя примерами — это сравнимо с работой гораздо более крупных моделей без примеров .
• 2–5 примеров — научно обоснованный оптимум. Специализированные руководства называют 2–5 примеров типичным оптимальным диапазоном .
• Больше — не всегда лучше. Исследование на arXiv выявило проблему «over-prompting»: избыток примеров может снизить производительность модели .
• Качество важнее количества. Разнообразные, качественные и хорошо подобранные примеры работают лучше, чем просто увеличение их числа; неоднородные примеры сбивают модель .
• Для задач на логику сначала попробуйте без примеров. Не думайте, что примеры нужны всегда: сравните zero-shot и few-shot, так как перегрузка промпта может ухудшить результат .

Практические рекомендации

Итог: используйте примеры, держитесь в пределах 2–5 штук и ставьте качество выше количества . Всегда проверяйте, насколько ваша конкретная модель выигрывает от few-shot по сравнению с zero-shot, особенно на сложных логических задачах .

Ключевые выводы

• Примеры резко повышают точность. Claude 3 Haiku улучшил результат с 11% (ноль примеров) до 75% всего с тремя примерами — это сравнимо с работой гораздо более крупных моделей без примеров .
• 2–5 примеров — научно обоснованный оптимум. Специализированные руководства называют 2–5 примеров типичным оптимальным диапазоном .
• Больше — не всегда лучше. Исследование на arXiv выявило проблему «over-prompting»: избыток примеров может снизить производительность модели .
• Качество важнее количества. Разнообразные, качественные и хорошо подобранные примеры работают лучше, чем просто увеличение их числа; неоднородные примеры сбивают модель .
• Для задач на логику сначала попробуйте без примеров. Не думайте, что примеры нужны всегда: сравните zero-shot и few-shot, так как перегрузка промпта может ухудшить результат .

Практические рекомендации

Итог: используйте примеры, держитесь в пределах 2–5 штук и ставьте качество выше количества . Всегда проверяйте, насколько ваша конкретная модель выигрывает от few-shot по сравнению с zero-shot, особенно на сложных логических задачах .