Kimi K2.6は本当に改善したのか：指示追従と自己修正を公開情報で検証

利用可能と性能向上は別の話

新しいモデルがAPIやクラウド基盤で使えるようになると、つい前のモデルより賢くなったと受け取りたくなる。だが、モデル評価ではここを分けて考える必要がある。

Kimi K2.6については、Cloudflare Workers AIでの提供と、Kimi API側のquickstartが確認できる。 つまり、実際にプロンプトを投げて試せる段階にはある。

一方で、指示追従や自己修正の改善を示すには、同じプロンプト群、同じ採点基準、同じモデル設定で、旧版と新版を比較した通過率が必要になる。現時点で確認できる公開情報は、そこまでの前後比較を示していない。

指示追従：K2-Instructの土台はあるが、K2.6の伸び幅は不明

指示追従について最も近い根拠は、Kimi K2の論文だ。同論文は、K2-Instructのinstruction-followingをIFEvalとMulti-Challengeで評価し、オープンソースモデルの中でtop-tierの位置にあるとしている。

IFEvalは、この論点と相性がよい評価だ。形式の制約、キーワードの包含・除外、長さの制限、構造上の要求など、検証可能な指示をモデルが守れるかを測るベンチマークだからだ。

たとえば、実務でよく問題になるのは、JSONのキーを落とす、指定言語を守らない、表の列を勝手に増やす、指定文字数を大幅に超える、といった失敗だ。IFEvalのような評価は、こうした守れる・守れないを主観ではなくルールで見やすくする。

ただし、この根拠が直接示しているのはK2-Instructの指示追従評価であって、K2.6がK2や他の旧版より改善したという差分ではない。K2.6の改善を強く主張するには、K2.6と旧版を同じIFEval、Multi-Challenge、または固定プロンプトセットで比較した結果が必要だ。

自己修正：今の公開情報では直接測れていない

ここでいう自己修正とは、モデルが最初の回答で間違えたあと、フィードバックを受けて正しく直せるかどうかを指す。単に一回目の回答が自然で読みやすいかとは別の能力だ。

自己修正を検証するなら、少なくとも次のような指標を分けて見たい。

• first-passで、最初からすべての必須条件を満たした割合
• JSON、schema、表の列、言語指定などに失敗したあと、二回目で直せた割合
• ツール呼び出しや中間手順に失敗したあと、妥当な代替手順を取れたか
• 検証器や人間のフィードバックを受けたあと、通過率がどれだけ上がったか

しかし、確認できる公開情報は主にK2.6の提供状況、K2系列の指示追従評価の背景、そしてBenchLMの総合ランキングだ。K2.6について、self-correction pass rate、error recovery benchmark、再計画成功率のような直接指標は見当たらない。

そのため、Kimi K2.6は自己修正が明確に強くなった、という表現は現時点では慎重に扱うべきだ。

総合ランキングは参考になるが、結論の代わりにはならない

BenchLMのKimi 2.6ページでは、Kimi 2.6がprovisional leaderboardで110モデル中13位、overall scoreは83/100とされている。

これは、候補モデルに入れるかどうかを判断する材料にはなる。少なくとも、総合的な評価の文脈でKimi 2.6が一定の位置にあることは分かる。

ただし、overall scoreはinstruction-following scoreではなく、self-correction scoreでもない。総合点には複数の能力が混ざる可能性がある。もし知りたいのが、指示漏れの少なさ、出力フォーマットの安定性、失敗後の立て直しやすさであれば、細分化されたベンチマークか、自社タスクでの回帰テストが必要になる。

自分の用途で検証するなら、こう見る

Kimi K2.6はすでにWorkers AIとKimi APIで試せるため、実務では小さな検証セットを作るのが最も確実だ。

1. 固定プロンプトセットを作る
   形式、長さ、言語、キーワード、JSON schema、表の列など、落としてほしくない条件を明示する。検証可能な指示で測るという点では、IFEvalの考え方が参考になる。

2. 同じ条件で比較する
   K2.6、現在使っているモデル、利用可能なら旧版を、同じプロンプト、同じ温度設定、同じ採点基準で比較する。

3. 一回目の成功率と修正後の成功率を分ける
   first-passの成功率は主に指示追従を見る指標になる。エラー指摘後の成功率は、自己修正に近い指標になる。

4. 失敗の種類を記録する
   フォーマット崩れ、必須項目の欠落、言語違反、長さ超過、拒否、ツール失敗、二回目でも直らない失敗を分けて集計する。

5. できるだけ機械的に採点する
   JSON validator、schema check、キーワード検査、文字数チェックなどを使える部分は自動化する。主観評価だけに頼ると、モデルの改善を見誤りやすい。

最も堅い言い方

Kimi K2.6は、Cloudflare Workers AIとKimi APIで利用可能になっている。この点は確認できる。

また、Kimi K2-Instructには指示追従評価の背景がある。Kimi K2論文はIFEvalとMulti-Challengeを使った評価に言及しており、IFEval自体も検証可能な指示への準拠を測るベンチマークだ。

しかし、Kimi K2.6が旧版より指示追従で改善したか、自己修正能力が高まったかについては、公開情報だけではまだ証明できない。現時点で最も妥当なのは、K2.6は検証リストに入れる価値があるが、可用性や総合ランキングだけで改善を断定するのは早い、という見方だ。