臨床 AI 跑得比安全監管快：德勒斯登工大《Nature》評析示警

對醫院與醫療體系而言，不能只問「這個工具能不能生成看似合理的文字」，還應先釐清：

• 誰可以使用系統，以及可以用於哪些任務；
• 系統能存取哪些資料，資料會傳送或儲存到何處；
• 醫護人員必須如何核對 AI 輸出；
• AI 輔助產生的病歷或建議出錯時，由誰負責；
• 發生風險時，機構如何調查、暫停或撤回工具。

建議建立「在地治理＋集中資安」雙層架構

為了讓責任能夠落實，作者提出兩個互補的監督層級。

機構內 AI 治理團隊

醫療機構可設立專責治理團隊，負責核准 AI 工具、進行在地評估、界定使用責任並監督日常運作。這樣的安排能讓決策與該機構的病人族群、臨床流程、資訊基礎設施及專業義務保持連結。

集中式 AI 安全營運中心

評析也建議設立集中式 AI 安全營運中心（AI Security Operations Center，SOC），用於跨機構辨識事故、共享威脅訊號並協調應變。這是因為一個機構發生的攻擊或系統失效，可能揭示其他醫療機構也面臨的共同漏洞。

兩層架構的作用，在於把醫療機構對病人與臨床工作的在地責任，和更廣泛的資安情報及應變能力結合起來。

靜態醫療器材監管，可能跟不上會持續變動的 AI

傳統醫療器材監管框架，多半是針對相對穩定、可在特定時間點評估的產品所建立。然而，臨床 AI 軟體的行為與風險可能隨模型更新、資料分布改變、工作流程演進或攻擊手法更新而變化。

這就形成監管落差：某個時間點的核准或評估，並不自動代表系統在日後所有情境中仍然安全。TU Dresden 研究人員在醫療 AI 監管方面的其他研究也指出，監管科學需要跟上快速發展的醫療科技與人工智慧。

因此，部署不應被視為監督的結束。機構需要持續檢查系統效能、安全性、網路安全、隱私與公平性，並建立事故通報、調查及必要時暫停系統的流程。尤其在正式取得醫療器材核准的臨床 AI 工具仍有限的情況下，機構不能把「已部署」誤解為「已充分驗證」。

病人同意，是技術安全的一部分

AI 記錄助理（AI scribe）等臨床紀錄工具，正讓這些問題變得具體。澳洲臨床使用指引指出，病人應被告知 AI 系統的用途、使用範圍、可能效益與風險，以及安全性或效能監測安排；同時，醫護人員仍須對 AI 協助產生的照護內容與病歷負責。

澳洲全科醫學專業指引也強調，醫師應先理解並測試 AI 記錄助理，每次使用前取得病人同意，妥善保護儲存的資料，並確認病歷準確反映診療內容。

近期報導顯示，澳洲各醫療院所取得同意的方式差異很大，甚至有診所只在候診室張貼告示，便將其視為足夠。澳洲醫療監管機構也強調，醫師必須核對 AI 生成內容的準確性。這些案例說明，病人同意不能只是勾選表格或行政程序：病人需要獲得真正有意義的資訊，醫護人員需要具備足夠的技術理解，而臨床責任仍必須留在人類專業人員手中。

現有證據尚不足以判定澳洲各地不充分同意或技術理解不足的情況有多普遍。不過，這些問題確實呼應評析的核心主張：透明度、人類監督與機構問責，都是實際運作中的安全控制，而不是系統上線後才補上的行政細節。

給醫療機構的實際啟示

這份評析更適合被理解為一套臨床 AI 部署標準，而非反對 AI。大型語言模型或許能改善部分醫療工作流程，但安全導入要求醫療機構把它視為會持續變動的「社會—技術系統」，而不是一般軟體工具。

在部署前後，醫療決策者都需要準備好評估模型、保護周邊資訊基礎設施、訓練使用者、向病人說明 AI 的參與方式、監測真實世界表現，並清楚界定系統失效時誰能介入處理。若這些控制措施尚未到位，臨床 AI 的採用就可能繼續跑在讓它值得信賴的監督能力之前。