Kimi K2.6: проверяем прогресс в следовании инструкциям и самокоррекции

Доступность — ещё не доказательство прогресса

Для разработчика важная новость в том, что K2.6 уже есть где тестировать: модель указана в changelog Cloudflare Workers AI, а Kimi API публикует отдельный quickstart по K2.6. На практике это означает, что её можно включить в пилот, сравнить с текущей моделью и прогнать на своих задачах.

Но это не то же самое, что доказанное улучшение. Чтобы уверенно говорить: новая версия лучше старой следует инструкциям, нужны сопоставимые данные — одинаковые промпты, одинаковые настройки модели, одинаковые правила оценки и желательно прямой pass rate до и после. В проверенных источниках такого сравнения для K2.6 нет.

Следование инструкциям: у Kimi есть база, но не хватает сравнения K2.6 с прошлым

Самый сильный аргумент в пользу семейства Kimi связан не с K2.6 напрямую, а с Kimi K2-Instruct. В статье Kimi K2 говорится, что instruction-following оценивали с помощью IFEval и Multi-Challenge, а K2-Instruct описан как модель top-tier среди open-source моделей.

IFEval здесь особенно уместен: этот бенчмарк проверяет, умеет ли языковая модель выполнять верифицируемые требования — например, соблюдать формат, включать или исключать заданные ключевые слова, держаться лимита длины и следовать структурным ограничениям. Для задач вроде ответа строго в JSON, заполнения всех полей таблицы или соблюдения заданного языка такая проверка информативнее, чем общее впечатление от нескольких удачных диалогов.

Но логическая цепочка на этом обрывается. Данные по K2-Instruct не доказывают автоматически, что именно K2.6 стала лучше K2 или другой предыдущей версии. Для такого вывода нужны опубликованные результаты K2.6 и старой модели на IFEval, Multi-Challenge или фиксированном внутреннем наборе промптов при одинаковых условиях.

Самокоррекция: главный пробел в доказательствах

Под самокоррекцией имеет смысл понимать не просто красивый второй ответ, а способность модели после ошибки исправить формат, учесть пропущенное требование, выбрать другой путь или перепланировать действие. Например: первый ответ не прошёл JSON-схему, валидатор вернул ошибку, и модель со второй попытки действительно исправила проблему.

Для такой проверки обычно нужны отдельные метрики:

• проходит ли ответ все жёсткие требования с первой попытки;
• исправляет ли модель ошибки формата, схемы, языка или структуры после явной обратной связи;
• умеет ли выбрать запасной путь после сбоя инструмента или промежуточного шага;
• растёт ли pass rate после сообщения об ошибке от валидатора или человека.

В публичных источниках по K2.6, которые можно проверить здесь, есть данные о доступности модели, контекст по Kimi K2 и общий рейтинг BenchLM. Но прямых показателей самокоррекции — например self-correction pass rate, error recovery benchmark или успешности перепланирования — там не видно. Поэтому утверждение, что K2.6 заметно лучше сам исправляется, пока остаётся недоказанным.

Общий рейтинг полезен, но не закрывает вопрос

Страница BenchLM для Kimi 2.6 указывает, что модель занимает 13-е место из 110 в provisional leaderboard и имеет общий балл 83 из 100. Это хороший ориентир для первичного отбора: модель явно стоит включить в список кандидатов для тестирования.

Однако overall score — это не отдельная оценка следования инструкциям и тем более не оценка самокоррекции. Общий рейтинг может смешивать разные типы задач, поэтому по нему нельзя надёжно судить, насколько модель реже нарушает формат, меньше пропускает поля или лучше исправляет ошибку после замечания.

Как проверить K2.6 на своих задачах

Раз K2.6 уже доступна через Workers AI и Kimi API, самый практичный путь — не спорить по ощущениям, а собрать небольшой регрессионный тест под реальные сценарии продукта.

1. Зафиксировать набор промптов. Включите требования к формату, языку, длине, ключевым словам, JSON-схеме, таблицам и обязательным полям. Логика похожа на IFEval: проверять то, что можно объективно валидировать.
2. Сравнивать в одинаковых условиях. Прогоняйте K2.6, текущую модель и доступные старые версии на одних и тех же промптах, с теми же настройками и правилами оценки.
3. Разделять первую попытку и исправление. First-pass pass rate показывает, насколько модель сразу следует инструкции. Pass rate после обратной связи ближе к самокоррекции.
4. Классифицировать ошибки. Отдельно считайте ошибки формата, пропущенные поля, неверный язык, превышение длины, отказ отвечать, сбой инструмента и неудачную вторую попытку.
5. Использовать воспроизводимую оценку. JSON validator, schema check, проверка ключевых слов и независимая разметка надёжнее, чем вывод по нескольким субъективно удачным ответам.

Вывод

Kimi K2.6 действительно уже доступна через Cloudflare Workers AI и Kimi API. У семейства Kimi также есть релевантная база по instruction-following: статья Kimi K2 упоминает IFEval и Multi-Challenge, а IFEval как раз проверяет соблюдение верифицируемых инструкций.

Но если вопрос сформулировать строго — доказано ли, что Kimi K2.6 лучше прежних версий следует инструкциям и лучше исправляет собственные ошибки, — ответ пока отрицательный. Более аккуратная формулировка: K2.6 стоит тестировать, но по доступности модели, статье о K2 и общему лидерборду нельзя уверенно заключить, что эти две способности уже публично и количественно подтверждены как улучшенные.