OpenHack：LLMを体系的なセキュリティコードレビュアーに変えるオープンソースツール

従来のLLMコードレビューの問題

LLMはコードを理解できますが、単純に

「このリポジトリの脆弱性を探して」

と指示するだけでは、実用的な結果にならないことが多いとHadrianは指摘しています。

主な問題は次の通りです。

• 誤検知（False Positive）が多い
• 実在しない脆弱性を作り出す“幻覚”
• プロンプトや文脈によって結果が大きく変わる

OpenHackは、こうした問題を避けるためにオープンエンドな質問ではなく、構造化された調査プロセスをLLMに与える設計になっています。

シナリオベースの脆弱性調査

OpenHackの特徴の一つが、シナリオベースのスコーピングです。

AIに「何か問題を探して」と任せるのではなく、具体的な攻撃シナリオを与えて調査させます。

例えば次のような調査です。

• ユーザー入力がアプリ内をどう流れるか追跡
• ローカルファイルインクルード（LFI）の可能性を探索
• 認証情報やクラウド設定の扱いを確認

この方法により、LLMはより具体的な攻撃経路を意識した分析を行えるようになります。

発見と検証を分離する「独立トリアージ」

もう一つの重要な設計が、発見（discovery）と検証（triage）を分離することです。

典型的なOpenHackの流れは次のようになります。

1. AIエージェントが潜在的な脆弱性を発見
2. 別のステップやエージェントが検証を実施
3. コード経路や証拠を確認して問題を確定

この仕組みにより、モデルが見つけた疑いのある問題に対して証拠ベースの確認プロセスが行われ、弱いレポートや誤検知を減らすことができます。

オランダ政府関連プロジェクトでの監査結果

Hadrianによると、この手法はオランダ政府機関が使用しているオープンソースアプリケーションの監査でも使用されました。

その結果、LLMを使ったレビューで数時間のうちに数百件の問題が見つかったと報告されています。

紹介されている事例の一つでは、次のような攻撃チェーンが確認されたとされています。

• 未認証の Local File Inclusion（LFI）
• Azure認証情報の露出
• Azure環境での リモートコード実行（RCE） につながる可能性

ただし、これらの結果は主にベンダー自身の報告であり、独立した検証は今後の課題とされています。

MITライセンスで公開された理由

HadrianはOpenHackをMITライセンスでGitHubに公開しました。

リポジトリには以下が含まれています。

• ワークフロー設計
• プロンプト
• CLIツール
• ドキュメント
• Python 3.9以降のサポート

同社は、この公開の目的を「AIによる脆弱性発見の能力を防御側にも広く提供するため」と説明しています。

AIがソフトウェアの弱点を見つける能力は急速に高まっており、それが攻撃者だけの専用ツールになることを防ぐ必要があるという考えです。

AIセキュリティ監査の新しい流れ

OpenHackは、ソフトウェアセキュリティ分野で進む大きな流れを象徴しています。

近年のAI開発環境は、リポジトリ全体の理解、設計推論、コード変更などを自動化できるようになっています。

OpenHackのような構造化されたワークフローは、その能力をセキュリティ監査に応用する試みです。

単にAIにレビューさせるのではなく、

• 調査範囲を限定する
• 証拠を収集させる
• 独立した検証を行う

といったプロセスを設計することで、LLMを信頼できる脆弱性リサーチャーに近づけることが狙いです。

AI主導の開発環境が広がるにつれ、こうしたアプローチは今後のセキュリティレビューの標準になっていく可能性があります。