AIの科学計算を「確かめられる」形にするBootLoops 1.0

AIに計算をさせるだけで、科学的な結論まで自動的に信頼できるようになるわけではありません。ハーバード大学の物理学者マシュー・シュワルツ氏が開発した「BootLoops 1.0」は、言語モデルが行う精密な科学計算を、定められた方法で確かめやすくするオープンソースのツールキットです。目的はAIの回答を無条件に正しいとみなすことではなく、個々の計算結果を検査可能にすることです。112

計算結果をどう確かめるのか

BootLoopsは、科学計算用のソフトウェアと、「何をもって検証済みとするか」を定めた作業手順をまとめています。たとえば、結果を別の計算経路と照合し、答えを合わせ込むために使っていない点でも一致するかを確かめます。また、誤った結果なら検査で見つけられることを示す「ポジティブコントロール」も求めます。結果づくりに使った計算手段が、その結果を自ら認証してしまわないよう、由来の記録にも配慮しています。211

こうした手順は、数学物理学の計算のように、問題と答えを明確に定義しやすい課題に向いています。確認できるのは、あくまで特定の結果が定められたテストを通過したということ。AIが生成したあらゆる主張の正しさや、研究テーマそのものの価値まで保証するものではありません。25

Claudeとの取り組みで報告された成果

シュワルツ氏のチームは、数学物理学の積分を30件計算したと報告しています。そのうち15件は新たな結果とされ、楕円型ファインマン積分も含まれます。また、数学者ジョージ・ワトソンの研究に関連する計算について、シュワルツ氏が「ワトソンの最後の問題」と呼ぶ課題を解いたとしています。14164

より広い取り組みでは、19人の共著者と18分野にまたがる36本の原稿がまとめられたと報告されています。対象には生態学や集団遺伝学も含まれます。ただし、これらは報告された研究成果であり、すべてが独立した検証を終えたという意味ではありません。シュワルツ氏は、複数の結果について確認作業が続いていると述べています。3154

「インピーダンス不整合」と専門家の役割

シュワルツ氏は、科学者が必要とすることと、現在の言語モデルが得意とすることのずれを「インピーダンス不整合」と表現します。問題や検証方法がはっきりした計算では、モデルは力を発揮しやすい一方、研究では「何を問うべきか」「結果にどんな意味があるか」を考える必要があります。15

シュワルツ氏によると、Claudeは分野をまたぐ数学的なつながりを見つけたものの、技術的には正しくても、科学的にはさほど重要でない例がありました。そこで各分野の専門家が方向づけを行い、その研究領域で意味のある問いへと作業を導きました。つまり、計算がテストを通ったかを確かめることと、その問いを調べる価値があるか、結果が何を意味するかを判断することは別の仕事です。5

検証を助ける道具であり、判断の代替ではない

BootLoopsが示すのは、AIを検証可能な課題に取り組ませ、独立したチェックと人間の専門知識を組み合わせる方法です。報告された成果はその可能性を示しますが、正しさを一括して保証するものでも、追加の検証を不要にするものでもありません。計算が確認済みでも、それだけで重大な判断の根拠として十分とは限りません。問いの立て方、前提、結果の解釈や影響には、引き続き人間の吟味が必要です。245