Огромные «рабочие» возможности. Модель поддерживает контекст в 1 миллион токенов и может выдать до 128 000 токенов в одном ответе. Это позволяет ей работать с целой кодовой базой или сотнями документов «единым куском», не теряя нить рассуждения. Этот фактор часто недооценивают, но именно он (наряду с чистым «интеллектом») даёт колоссальный прирост в субъективной производительности, устраняя разрывы памяти и потерю контекста.
Контроль поведения прямо во время учёбы. Начиная с предыдущих поколений Claude, Anthropic внедрил практику оценки «соосности» (alignment) в реальном времени, прямо в процессе обучения. Это позволяет выявлять и исправлять ошибочные стратегии, которые может выработать агент при стремлении к долгосрочной цели.
Пост-обучение — это не просто «сбор лайков». Помимо стандартного обучения на предпочтениях человека (RLHF), используются технологии «Конституции Claude» (Constitutional AI), обратная связь от ИИ и специализированные классификаторы безопасности. Цель — не просто выучить список «нельзя», а привить модели понимание принципов, лежащих в основе того или иного требования.
Ощущение «совсем другого уровня» при работе с Fable 5, скорее всего, возникает из-за сочетания всех этих факторов: 1) более мощная базовая модель, 2) специализированное обучение для длительных задач, 3) огромный контекст, 4) навыки использования инструментов и самопроверки, и 5) улучшенные методы пост-обучения. Детали же о том, является ли модель MoE, сколько в ней параметров и какой именно алгоритм обучения использовался — остаются коммерческой тайной.
Огромные «рабочие» возможности. Модель поддерживает контекст в 1 миллион токенов и может выдать до 128 000 токенов в одном ответе. Это позволяет ей работать с целой кодовой базой или сотнями документов «единым куском», не теряя нить рассуждения. Этот фактор часто недооценивают, но именно он (наряду с чистым «интеллектом») даёт колоссальный прирост в субъективной производительности, устраняя разрывы памяти и потерю контекста.
Контроль поведения прямо во время учёбы. Начиная с предыдущих поколений Claude, Anthropic внедрил практику оценки «соосности» (alignment) в реальном времени, прямо в процессе обучения. Это позволяет выявлять и исправлять ошибочные стратегии, которые может выработать агент при стремлении к долгосрочной цели.
Пост-обучение — это не просто «сбор лайков». Помимо стандартного обучения на предпочтениях человека (RLHF), используются технологии «Конституции Claude» (Constitutional AI), обратная связь от ИИ и специализированные классификаторы безопасности. Цель — не просто выучить список «нельзя», а привить модели понимание принципов, лежащих в основе того или иного требования.
Ощущение «совсем другого уровня» при работе с Fable 5, скорее всего, возникает из-за сочетания всех этих факторов: 1) более мощная базовая модель, 2) специализированное обучение для длительных задач, 3) огромный контекст, 4) навыки использования инструментов и самопроверки, и 5) улучшенные методы пост-обучения. Детали же о том, является ли модель MoE, сколько в ней параметров и какой именно алгоритм обучения использовался — остаются коммерческой тайной.