Sampura Research係乜？前DeepMind研究員點解堅持由人類監督AI

Sampura Research係邊個？

Sampura Research係一間設於倫敦、專注AI安全的非牟利研究機構，由前Google DeepMind研究員 Rishub Jain 同 Josh Jacob 創辦。根據Sampura自己發出的公告，Alex Adams並非創辦人，只係被列為曾經就公告提供意見的人士。4

機構於2026年8月25日正式公開推出，獲Coefficient Giving提供一筆合共 1,100萬美元 的初步資助承諾——其中首年為700萬美元，其後再承諾400萬美元。4 換句話講，題目所指的8月24日並非目前主要一手資料所顯示的公開推出日期。

點解唔滿足於「AI監督AI」？

AI安全研究入面有個重要問題：當模型能力愈來愈強，仲有冇足夠人手逐一檢查佢哋做得啱唔啱？業界其中一個答案係「可擴展監督」（scalable oversight），即係用一個AI模型去評估另一個AI模型，因為速度較快，成本亦可能低過完全依賴人類專家。

Sampura就認為，呢種做法唔應該變成完全由AI包辦。佢哋指出，人類仍然有幾方面可能係AI難以取代：

• 發現AI表現「鋸齒式」的不均勻失誤——模型可能喺大部分情況表現出色，但喺某啲邊界情況突然犯下難以預測的錯誤；
• 為模型同評審模型之間可能出現的「串通」提供獨立檢查；
• 面對新出現、仍然不斷演變的人類價值時，進行需要判斷力及討論的決策。4

所以，Sampura嘅方向唔係「人類檢查一切」，而係嘗試將有限的人類判斷力，集中用喺最值得介入、最可能出現安全風險的地方。

所謂人機混合「裁判」係點運作？

Sampura所講的「裁判」（judge），可以係人類、AI，或者由兩者組成的混合系統，負責評估AI回覆或AI代理完成一連串任務時，究竟係咪正確、可靠及符合安全要求。

機構計劃研究幾種配合方式：

1. 按信心程度升級處理：先由AI評審個案，估算自己有幾大把握；遇到信心不足的情況，就交俾人類覆核。
2. 用路由器分配工作：將不同任務或子任務分派俾人類、AI，或者兩者共同處理。
3. 為人類提供針對性AI工具：唔係用AI取代人類，而係畀人類評審得到適合該項工作的AI協助。

理想情況下，系統可以兼顧速度、成本同安全：簡單、重複性高的工作由AI處理；複雜、模糊或者風險較高的情況，就保留人類參與。4

會測試啲乜？

Sampura表示，首六個月會優先建立一個公開、持續更新的排行榜，內含超過20個子數據集。初步涵蓋範圍包括：

• 偵測模型有冇欺騙行為；
• 評估文化偏見；
• 發現AI代理作出不安全行動；
• 測試人類及AI評審能否準確監督模型行為。4

重點係，佢哋唔只會用一批固定例子測試評審。研究亦會觀察：當被監督的模型喺強化學習期間刻意針對評審漏洞進行優化，評審仲頂唔頂得住。

呢個測試同「獎勵駭客」（reward hacking）有關——模型表面上取得高分，但實際上只係搵到方法欺騙評分機制，並無真正完成原本要求。Sampura亦表示，會公開發表論文、程式碼、數據集同排行榜，令其他研究者可以重現及檢查結果。4

研究範圍唔止係「失控AI」

Sampura關注的風險，唔限於科幻式的「AI反叛」情境。公告提到的方向亦包括：模型偏見、同兒童互動時的安全問題，以及人類對陪伴型AI產生過度依賴等。

之後，研究範圍更可能由「評估AI輸出」延伸到製作及評估背後使用的指令、評分準則同測試案例。換句話講，研究者唔只問「個答案啱唔啱」，亦會問「我哋用咩標準去判斷？個測試本身有冇漏咗某類風險？」4

呢個方向有助及早發現監管盲點，但要留意：目前公布的只係研究議程，唔係已經證明有效的AI控制或遏制能力。

真正落地，仲要過幾關

Sampura提出的實際部署測試包括：

• 更好的評審系統係咪真的可以減少獎勵駭客；
• 當模型能力改變時，幾時需要重新訓練評審；
• 人類介入應該去到幾多，先可以平衡成本、速度同評測質素；
• 先由第三方評測人員進行壓力測試，再考慮應用於前沿AI實驗室的訓練、評估及監察工作。4

呢種做法最終能否被前沿模型開發商採用，仍然要視乎測試結果、資料透明度，以及各間公司的模型存取安排。

人才短缺，可能係比資金更大的樽頸

AI安全監督唔係有錢就可以即刻擴大規模。METR（一個獨立評估AI模型能力及風險的研究機構）公開招聘的評估執行職位，年薪範圍列為 285,548至503,116美元，並表示對非常有經驗的候選人可以考慮更高薪酬。9

呢個例子反映，具備AI評測、模型安全及實際測試經驗的人才相當稀缺。Sampura表示會喺倫敦招聘創辦初期的技術人員，因此招聘策略有一定戰略意義；不過，現有一手公告只確認招聘倫敦的 founding technical staff，未有足夠一手證據證實「至少招聘六人、年薪10萬至29萬英鎊」呢個具體說法。4

同「放慢AI發展」的呼聲有咩關係？

2026年7月，一封公開信獲超過1,100名來自前沿AI公司的從業員簽署，要求建立國際性的技術及治理機制，萬一AI發展速度快過人類安全監督能力，就可以有秩序地放慢發展。1

Sampura的工作可以視為其中一項技術基礎：如果連AI模型做得好唔好都無法可靠、獨立及可審計地評估，政府或國際組織就更加難決定幾時應該踩煞車。

但Sampura本身唔能夠提供法律權力、跨國協調、模型存取權限或者執法機制。因此，佢的研究係治理工作的補充，唔係治理本身的替代品。

Jain離開DeepMind，代表咩？

Jain離開Google DeepMind，正值該研究實驗室被報道出現一連串人才流失。不過，「六日內失去五名核心研究員」呢個講法主要來自質素較參差的二手報道，目前唔應該當成已獲獨立證實的事實。5

同樣地，現有資料亦不足以支持「AI公司目前無法控制自己造出的東西」呢個非常廣泛的結論。較穩妥的解讀係：

• 對能力不斷提升的AI模型，可靠監督仍未被充分證明；
• 有經驗的AI評測人才相當難搵；
• Sampura正嘗試令有限的人類判斷力更容易擴展，並且唔會因為AI評審速度快，就假定AI可以獨自安全監督AI。

最終，Sampura能否證明人機互補比單靠AI評審更安全，關鍵唔係口號，而係佢將會公開的數據、排行榜同實際部署結果。