Anthropic的Frontier Red Team與形式方法合作夥伴Theorem表示，Claude已為123個開源程式庫中的239個模糊測試入口，生成可由機器檢查的形式證明。這些證明針對編譯成RISC-V程式的特定崩潰與記憶體安全性質，並且只在明確列出的條件下成立；並非證明相關程式庫在所有情況下都沒有漏洞。95

團隊稱，整個工作歷時數星期，產生約1.8億行Rocq證明程式碼。這項成果的看點，是AI或可協助把形式驗證帶到更多真實軟件之中；但結論仍要按實際寫入定理、並經過檢查的範圍理解。313

證明實際涵蓋甚麼？

Anthropic表示，在指定假設下，證明涵蓋小於64 MB的所有輸入，以及模型所描述的Linux作業系統回應和記憶體配置；相關程式會正常結束，不會出現記憶體安全錯誤或斷言失敗。證明對象是編譯後的RISC-V程式，不是對每個程式庫版本或部署方式作出一概而論的保證。912

團隊沿用Google OSS-Fuzz的測試入口作為形式規格。OSS-Fuzz是用來對開源軟件進行模糊測試的計劃：它會嘗試大量輸入，看看程式會否出錯。今次做法則進一步由Claude為指定程式行為生成證明，涵蓋定理所列範圍內的所有輸入，而不只是測試期間實際試過的個案。313

Anthropic形容，這是首次大規模嘗試以AI在組合語言層面形式驗證生產軟件。不過，這是團隊對項目新穎性的描述，不代表業界已獨立確認的歷史定論。713

Rocq檢查器扮演甚麼角色？

Claude負責生成證明，Rocq的證明核心則負責檢查。換言之，證明能否通過機械檢查，不必單靠相信Claude的推理，也不需要開發者逐行人工審閱整份證明。不過，機器檢查並不代表所有前提都毋須考慮：定理必須準確表達開發者關心的性質，形式模型和檢查器本身亦是整個可信基礎的一部分。95

Anthropic及其他報道提到，證明合共約1.8億行Rocq程式碼，平均每個二進制程式約60萬行。數字反映工作規模，但行數多寡本身，並不能說明某項性質適用範圍有多廣，亦不能保證它切合軟件在實際環境中的需要。312

測試以外，這次工作稱找出甚麼？

模糊測試會試大量輸入，但單靠測試本身，不能證明指定範圍內每一個可能輸入都會有正確結果。報道指，Claude在這次工作中發現並修補數百個漏洞，當中一些問題據稱在數以萬億次的模糊測試執行中仍未被發現。這些是對該項目的報告數字，不能直接推論形式驗證在其他項目必定比測試更有效。211

實際啟示不是要停止測試，而是兩者提供不同類型的證據：測試檢查曾經執行過的個案；在規格和範圍清楚的前提下，形式證明則可以證明指定性質適用於符合定理條件的所有輸入。92

「已驗證」不等於「完全沒有漏洞」

保證只涉及選定的程式入口和特定編譯產物，不會自動延伸至程式庫的所有功能、建置設定、處理器架構或使用方式。95

執行條件同樣重要。相關報道描述的證明，適用於單執行緒、靜態連結的RISC-V二進制程式，在經模型化的Linux環境及固定記憶體預算下執行。實際使用的軟件可能採用其他架構或設定，因此不能把結果當成那些部署版本的保證。122734

此外，證明成立，只代表寫下來的定理已獲證明，並不涵蓋開發者可能關心的每一種性質。規格範圍以外仍可能有錯誤；形式模型及證明檢查所依賴的基礎亦可能存在問題。531

開發者可以怎樣看待這項成果？

項目的主要意義，是顯示AI協助或能令組合語言層面的形式驗證，應用於更多真實軟件變得可行；過往這類工作往往需要專家投入大量時間。但這並非普遍適用的成本估算，也不保證方法在任何程式庫都能成功。713

目前公開的證明只是部分成果。有報道指，公開內容涵蓋25個程式庫及60個測試入口，並非整個項目的全部證明。Theorem亦宣布推出OSS Verify，為開源項目維護者提供相關計劃。321638

對開發者來說，最實際的做法，是把證明視為有明確範圍的保障：先核對程式入口、編譯產物、假設條件和已證明的性質，再判斷能否套用到自己的軟件。這項成果令LLM協助形式驗證值得與測試一併評估，但不是停止測試或假設程式已經沒有漏洞的理由。95

Anthropic的Frontier Red Team與形式方法合作夥伴Theorem表示，Claude已為123個開源程式庫中的239個模糊測試入口，生成可由機器檢查的形式證明。這些證明針對編譯成RISC-V程式的特定崩潰與記憶體安全性質，並且只在明確列出的條件下成立；並非證明相關程式庫在所有情況下都沒有漏洞。95

團隊稱，整個工作歷時數星期，產生約1.8億行Rocq證明程式碼。這項成果的看點，是AI或可協助把形式驗證帶到更多真實軟件之中；但結論仍要按實際寫入定理、並經過檢查的範圍理解。313

證明實際涵蓋甚麼？

Anthropic表示，在指定假設下，證明涵蓋小於64 MB的所有輸入，以及模型所描述的Linux作業系統回應和記憶體配置；相關程式會正常結束，不會出現記憶體安全錯誤或斷言失敗。證明對象是編譯後的RISC-V程式，不是對每個程式庫版本或部署方式作出一概而論的保證。912

團隊沿用Google OSS-Fuzz的測試入口作為形式規格。OSS-Fuzz是用來對開源軟件進行模糊測試的計劃：它會嘗試大量輸入，看看程式會否出錯。今次做法則進一步由Claude為指定程式行為生成證明，涵蓋定理所列範圍內的所有輸入，而不只是測試期間實際試過的個案。313

Anthropic形容，這是首次大規模嘗試以AI在組合語言層面形式驗證生產軟件。不過，這是團隊對項目新穎性的描述，不代表業界已獨立確認的歷史定論。713

Rocq檢查器扮演甚麼角色？

Claude負責生成證明，Rocq的證明核心則負責檢查。換言之，證明能否通過機械檢查，不必單靠相信Claude的推理，也不需要開發者逐行人工審閱整份證明。不過，機器檢查並不代表所有前提都毋須考慮：定理必須準確表達開發者關心的性質，形式模型和檢查器本身亦是整個可信基礎的一部分。95

Anthropic及其他報道提到，證明合共約1.8億行Rocq程式碼，平均每個二進制程式約60萬行。數字反映工作規模，但行數多寡本身，並不能說明某項性質適用範圍有多廣，亦不能保證它切合軟件在實際環境中的需要。312

測試以外，這次工作稱找出甚麼？

模糊測試會試大量輸入，但單靠測試本身，不能證明指定範圍內每一個可能輸入都會有正確結果。報道指，Claude在這次工作中發現並修補數百個漏洞，當中一些問題據稱在數以萬億次的模糊測試執行中仍未被發現。這些是對該項目的報告數字，不能直接推論形式驗證在其他項目必定比測試更有效。211

實際啟示不是要停止測試，而是兩者提供不同類型的證據：測試檢查曾經執行過的個案；在規格和範圍清楚的前提下，形式證明則可以證明指定性質適用於符合定理條件的所有輸入。92

「已驗證」不等於「完全沒有漏洞」

保證只涉及選定的程式入口和特定編譯產物，不會自動延伸至程式庫的所有功能、建置設定、處理器架構或使用方式。95

執行條件同樣重要。相關報道描述的證明，適用於單執行緒、靜態連結的RISC-V二進制程式，在經模型化的Linux環境及固定記憶體預算下執行。實際使用的軟件可能採用其他架構或設定，因此不能把結果當成那些部署版本的保證。122734

此外，證明成立，只代表寫下來的定理已獲證明，並不涵蓋開發者可能關心的每一種性質。規格範圍以外仍可能有錯誤；形式模型及證明檢查所依賴的基礎亦可能存在問題。531

開發者可以怎樣看待這項成果？

項目的主要意義，是顯示AI協助或能令組合語言層面的形式驗證，應用於更多真實軟件變得可行；過往這類工作往往需要專家投入大量時間。但這並非普遍適用的成本估算，也不保證方法在任何程式庫都能成功。713

目前公開的證明只是部分成果。有報道指，公開內容涵蓋25個程式庫及60個測試入口，並非整個項目的全部證明。Theorem亦宣布推出OSS Verify，為開源項目維護者提供相關計劃。321638

對開發者來說，最實際的做法，是把證明視為有明確範圍的保障：先核對程式入口、編譯產物、假設條件和已證明的性質，再判斷能否套用到自己的軟件。這項成果令LLM協助形式驗證值得與測試一併評估，但不是停止測試或假設程式已經沒有漏洞的理由。95