BootLoops 1.0：令 AI 科學計算更易核查，但專家判斷仍不可少

BootLoops 1.0 是一套開源工具，協助語言模型進行精確的科學計算，並把核查步驟納入工作流程。這套工具由哈佛物理學家 Matthew Schwartz 與 Claude 一起開發，但設計上不綁定單一模型。重點不是預設 AI 答案可信，而是讓指定的計算結果更容易接受檢驗。112

不只要有答案，還要證明檢查有效

BootLoops 把科學軟件和一套工作規程結合，列明怎樣才算通過檢查。例如，結果要以另一條獨立計算路徑作比對，而且要在沒有用來擬合結果的測試點上重現；另外，亦要用「正對照」證明檢查方法確實有能力揪出錯誤。工具亦會記錄結果來源，避免用來擬合答案的工具，轉頭又替同一答案背書。211

這種做法特別適合數學物理一類輸出清楚、可以明確測試的工作。通過指定測試，代表結果有相應證據支持；但這並不等於模型講的每句話都正確，也不代表研究問題本身一定值得做。25

Claude 協助完成的計算與研究

Schwartz 團隊報告，他們計算了 30 個數學物理積分，其中 15 個是所稱的新結果，包括橢圓型費曼積分。研究亦包括解出 Schwartz 稱為 Watson「最後問題」的一項計算；這項工作與數學家 George Watson 過往的研究有關。14164

整體而言，團隊報告在三個月內完成 36 份研究手稿，由 19 位合作者參與，範圍涵蓋 18 個領域，包括生態學和群體遺傳學。3154 不過，這些是已報告的研究成果，不代表每項結果都已完成獨立核實；Schwartz 表示，當中仍有數項正在檢查。4

AI 可以計得準，未必識得揀題目

Schwartz 用「阻抗失配」（impedance mismatch）形容現時語言模型與科學家工作方式之間的落差：模型較擅長處理範圍清楚、步驟和檢查方法明確的計算，但科學研究還包括判斷哪些問題重要，以及如何解讀結果。15

按 Schwartz 的說法，Claude 找到了一些跨學科的數學連結，當中有些在技術上成立，卻未必對相關領域有重要意義。專家介入後，才可以把工作引向各學科真正關心的問題。換言之，計算核查可以幫忙確認某個答案有沒有通過指定測試；至於應該計甚麼、結果代表甚麼，仍要靠人的專業知識和科學判斷。5

有檢查，不等於可以免除把關

BootLoops 展示了一種較有規範的 AI 科研方式：把工作拆成可測試的任務，用獨立檢查支援結果，再由專家提供方向和解讀。已報告的成果反映這套方法的潛力，但不是對所有答案的保證，也不能取代進一步核實。245

尤其涉及重大決策時，單一計算通過檢查並不足以作結論；問題設定、背後假設，以及結果可能帶來的影響，都仍需人類仔細審視。254