答え公開済み15 ソース
AIエージェントの性能とコストを調整する「HarnessPro」とは
HarnessProは、AIモデルの重みではなく、指示や利用ツール、実行時のルールからなる「ハーネス」を繰り返し改善します。[3][11] 合成テストとパレート最適化を使い、低コスト重視のLite、バランス型のMedium、性能重視のHeavyを提示します。[3][11] 報告された評価では、GPT 5.5とCodexを使ったTerminal Bench 2でHeavyの成功率は80.8%、1タスクあたりのコストは0.72ドルでした。[16]
公開者GPT-6 Luna で編集GPT Image 2 で画像を生成
研究の答え
重要なポイント
- HarnessProは、AIモデルの重みではなく、指示や利用ツール、実行時のルールからなる「ハーネス」を繰り返し改善します。[3][11]
- 合成テストとパレート最適化を使い、低コスト重視のLite、バランス型のMedium、性能重視のHeavyを提示します。[3][11]
- 報告された評価では、GPT 5.5とCodexを使ったTerminal Bench 2でHeavyの成功率は80.8%、1タスクあたりのコストは0.72ドルでした。[16]
AI プロンプト
openai.comCreate a landscape editorial hero image for this Studio Global article: What is HarnessPro, released by researchers from Tsinghua University, Zhipu, Shanghai Jiao Tong University, the University of Warwick and Ku. Article summary: HarnessPro is a self-supervised framework for recursively improving an AI agent’s **harness**—the instructions, tools and runtime policies around it—while optimizing both task success and execution cost.[2][16] Its disti. Topic tags: general, academic, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
HarnessProは、AIエージェントを動かすための「ハーネス」を繰り返し改善するフレームワークです。ハーネスとは、エージェントへの指示や使えるツール、実行時のルールなど、モデルの周囲にある設定を指します。モデル自体を再学習するのではなく、この設定を調整し、タスクの成功率と実行コストの両方を改善しようとします。3
11
実行の記録から設定を見直す
HarnessProはエージェントの実行トレースを分析し、どこで失敗したか、どこにコストがかかったかを手がかりに、ハーネスの変更案を作ります。変更案は合成テストで評価されます。プロジェクトの説明によると、最適化の段階で正解データや公式テストに頼らない点が特徴です。11
候補の評価と改善は複数回にわたって行われます。つまり、HarnessProが変えるのはAIモデルの重みではなく、エージェントがタスクに取り組む際の「運用設定」です。3
11
「最良の1つ」ではなく、3つの選択肢
性能を高める設定は、実行コストも大きくなることがあります。そこでHarnessProは、性能とコストの両方を見ながら候補を選ぶ「パレート最適化」を採用。どちらか一方だけを優先した単一の設定ではなく、3つの運用ポイントを残します。11
- Lite：コストを抑えたい場合
- Medium：性能とコストのバランスを取りたい場合
- Heavy：より高い性能を重視する場合
用途や予算に応じて選べるようにすることで、「スコアが最も高い設定が常に最適」とは限らない現場の事情に対応します。11
報告されたベンチマーク結果
プロジェクトの結果ページによると、GPT-5.5とCodexを用いたTerminal-Bench 2の評価で、Heavyは成功率80.8%、1タスクあたり0.72ドルでした。同じ比較で、RHOは成功率76.3%、1タスクあたり1.09ドルとされています。16
また、複数の評価結果をまとめた報告では、RHOと比べて成功率が平均2.0ポイント上がり、1タスクあたりのコストが26.1%下がったとされています。7
20
ただし、これらは特定のモデル、ハーネス、ベンチマークを組み合わせた場合の結果です。あらゆるタスクや導入環境で同じ改善が得られることを示すものではありません。コストと性能のどちらを重視するかで適した設定が異なるため、HarnessProは複数の選択肢を提示しています。11
16
Studio Global AI
研究を続けてください
このページにはソースに裏付けされた回答が含まれており、Studio Global 内で続行できます。
人々も尋ねます
「AIエージェントの性能とコストを調整する「HarnessPro」とは」の短い答えは何ですか?
HarnessProは、AIモデルの重みではなく、指示や利用ツール、実行時のルールからなる「ハーネス」を繰り返し改善します。[3][11]
最初に検証する重要なポイントは何ですか?
HarnessProは、AIモデルの重みではなく、指示や利用ツール、実行時のルールからなる「ハーネス」を繰り返し改善します。[3][11] 合成テストとパレート最適化を使い、低コスト重視のLite、バランス型のMedium、性能重視のHeavyを提示します。[3][11]
次の実践では何をすればいいでしょうか？
報告された評価では、GPT 5.5とCodexを使ったTerminal Bench 2でHeavyの成功率は80.8%、1タスクあたりのコストは0.72ドルでした。[16]
情報源
arxiv.orgHarnessPro: Recursive Harness Self-Improvement with ...
github.comHarnessPro/README.md at main · pzs19/HarnessPro · GitHub
pzs19.github.ioHarnessPro · Recursive Harness Self-Improvement
alirezashamsoshoara.github.ioDaily AI Papers — October 20, 2026
dev.toAgents Write the Commits Now — This Week's Research Is ...