評述以整個臨床 AI 生命週期整理風險，涵蓋以下幾個層面：

• 設計及訓練資料： 如果訓練資料遭到操控或「投毒」，系統在正式進入臨床環境前，行為已可能被改變。
• 部署及介面： 「提示注入」可以將惡意指令加入工作流程。評述以一個示例說明，攻擊者若成功影響介面，模型甚至可能忽略影像中一個肉眼可見的腫瘤。醫院 IT 基礎設施的漏洞，也可能令醫療服務中斷，或導致病人資料外洩。
• 模型本身的行為： LLM 可能生成聽來合理、實際卻錯誤的醫療資訊，通常稱為「幻覺」。它亦可能過度順應使用者的前設，沒有指出錯誤假設，反而令錯誤判斷看似得到支持。
• 人與 AI 的互動： 具說服力的答案可能造成「自動化偏誤」（automation bias），令醫護人員過度依賴系統；亦可能加劇「確認偏誤」（confirmation bias），讓使用者只取用支持自己原有結論的內容。
• 機構層面的使用： 醫護人員可能在未獲正式批准下，私下使用公開或未經機構審核的 AI 工具，即所謂「影子使用」。這種做法可能繞過私隱保障、本地測試、責任分工及事故通報制度。

這種由頭到尾的風險觀，關鍵在於：一個系統即使在受控測試環境表現良好，實際投入臨床後仍可能因保安、人員行為、醫療情境或機構管理方式不同而變得不安全。

安全部署需要哪些配套？

研究團隊主張，安全措施不能在系統上線一刻就完結，而要持續運作。相關措施包括安全開發、嚴謹管理訓練資料、在目標醫療環境進行本地測試、清楚界定人員責任，以及持續監察系統表現和事故。

換句話說，醫院或醫療系統不能只問：「這個工具能不能生成看似合理的文字？」還需要事先釐清：

• 誰獲准使用系統，以及可以用於哪些工作？
• 系統可以存取哪些資料，資料會傳送到哪裏？
• 醫護人員必須如何核實 AI 輸出？
• 如果 AI 協助製作的病歷或建議出錯，最終由誰負責？
• 出現風險時，機構如何調查、暫停或撤回系統？

建議採用兩層監管架構

為了令責任分工更清晰，作者提出兩個互相配合的監管層次。

醫療機構內的 AI 治理團隊

醫療機構可以設立專責團隊，負責審批 AI 工具、進行本地評估、界定使用責任，以及監督系統日常運作。這樣的安排可將決定連繫到機構自身的病人群體、臨床流程、資訊基礎設施及專業責任。

中央 AI 保安營運中心

研究團隊亦建議設立中央 AI 保安營運中心（AI Security Operations Center，SOC），跨機構偵測事故、分享威脅訊號及協調應對。這個構想建基於一個現實：一所醫療機構出現的攻擊或系統故障，可能揭示其他機構同樣存在的漏洞。

兩層架構合併後，機構內的臨床問責可與更廣泛的網絡安全情報互相配合。

為甚麼傳統醫療器械監管可能追不上？

傳統醫療器械監管框架，大多是按相對穩定、可以在某一時間點評估的產品而設計。然而，臨床 AI 軟件的表現及風險可能隨模型更新、資料分佈變化、工作流程轉變，或攻擊者採用新技術而改變。

因此，在某一個時間點完成審批或評估，並不代表系統往後在所有情境下仍然安全。TU Dresden 研究人員在醫療 AI 監管方面的另一項工作亦指出，監管科學需要跟上快速發展的醫療科技及人工智能。

對醫療機構而言，系統部署應被視為監管的開始，而不是終點。持續檢查應涵蓋表現、安全、網絡保安、私隱及公平性；同時要有事故通報、調查，以及在必要時暫停系統的程序。

病人同意，亦是技術安全的一部分

這些問題在 AI 醫療記錄工具（AI scribe）等臨床記錄系統的使用上尤其明顯。澳洲臨床指引指出，病人應獲告知 AI 系統的用途、使用範圍、好處、風險，以及安全或表現監察安排；即使使用 AI 協助，醫護人員仍須對病人的護理及所製作的醫療記錄負責。

澳洲全科醫學專業指引亦強調，醫生應了解並測試 AI scribe，在每次使用前取得病人同意，妥善保障儲存的資料，並確保醫療記錄準確。

近期報道顯示，澳洲不同診所取得病人同意的做法差異很大，當中包括只在候診室張貼告示、便視為已取得同意的情況。澳洲醫療監管機構亦提醒，醫護人員必須核對 AI 生成內容的準確性。

這些例子說明，病人同意不能只變成「剔一剔」的行政程序。病人需要得到足夠而有意義的資訊，醫護人員也需要具備足夠技術理解，才能安全使用工具；最終的臨床責任則必須留在醫護人員身上。

現有證據未能確定澳洲各地不充分同意或醫護人員理解不足的情況有多普遍。不過，相關發展再次呼應評述的重點：透明度、人為監督及機構問責，都是實際的安全控制措施，而不是系統部署後才補上的文書要求。

給醫療機構的實際啟示

這篇評述並不是拒絕臨床 AI，而是提出一套更嚴格的部署標準。大型語言模型或許可以改善部分臨床工作流程，但醫療機構必須將它視為會不斷變化的「社會—技術系統」，而不是一般軟件工具。

在部署前後，醫療管理層都需要準備好評估模型、保護周邊基礎設施、培訓使用者、向病人說明 AI 的參與方式、監察真實環境中的表現，並清楚界定系統出錯時誰有權介入。

在這些控制措施尚未到位之前，臨床 AI 的採用速度，就可能繼續跑在令它值得信賴所需的安全監管之前。

評述以整個臨床 AI 生命週期整理風險，涵蓋以下幾個層面：

• 設計及訓練資料： 如果訓練資料遭到操控或「投毒」，系統在正式進入臨床環境前，行為已可能被改變。
• 部署及介面： 「提示注入」可以將惡意指令加入工作流程。評述以一個示例說明，攻擊者若成功影響介面，模型甚至可能忽略影像中一個肉眼可見的腫瘤。醫院 IT 基礎設施的漏洞，也可能令醫療服務中斷，或導致病人資料外洩。
• 模型本身的行為： LLM 可能生成聽來合理、實際卻錯誤的醫療資訊，通常稱為「幻覺」。它亦可能過度順應使用者的前設，沒有指出錯誤假設，反而令錯誤判斷看似得到支持。
• 人與 AI 的互動： 具說服力的答案可能造成「自動化偏誤」（automation bias），令醫護人員過度依賴系統；亦可能加劇「確認偏誤」（confirmation bias），讓使用者只取用支持自己原有結論的內容。
• 機構層面的使用： 醫護人員可能在未獲正式批准下，私下使用公開或未經機構審核的 AI 工具，即所謂「影子使用」。這種做法可能繞過私隱保障、本地測試、責任分工及事故通報制度。

這種由頭到尾的風險觀，關鍵在於：一個系統即使在受控測試環境表現良好，實際投入臨床後仍可能因保安、人員行為、醫療情境或機構管理方式不同而變得不安全。

安全部署需要哪些配套？

研究團隊主張，安全措施不能在系統上線一刻就完結，而要持續運作。相關措施包括安全開發、嚴謹管理訓練資料、在目標醫療環境進行本地測試、清楚界定人員責任，以及持續監察系統表現和事故。

換句話說，醫院或醫療系統不能只問：「這個工具能不能生成看似合理的文字？」還需要事先釐清：

• 誰獲准使用系統，以及可以用於哪些工作？
• 系統可以存取哪些資料，資料會傳送到哪裏？
• 醫護人員必須如何核實 AI 輸出？
• 如果 AI 協助製作的病歷或建議出錯，最終由誰負責？
• 出現風險時，機構如何調查、暫停或撤回系統？

建議採用兩層監管架構

為了令責任分工更清晰，作者提出兩個互相配合的監管層次。

醫療機構內的 AI 治理團隊

醫療機構可以設立專責團隊，負責審批 AI 工具、進行本地評估、界定使用責任，以及監督系統日常運作。這樣的安排可將決定連繫到機構自身的病人群體、臨床流程、資訊基礎設施及專業責任。

中央 AI 保安營運中心

研究團隊亦建議設立中央 AI 保安營運中心（AI Security Operations Center，SOC），跨機構偵測事故、分享威脅訊號及協調應對。這個構想建基於一個現實：一所醫療機構出現的攻擊或系統故障，可能揭示其他機構同樣存在的漏洞。

兩層架構合併後，機構內的臨床問責可與更廣泛的網絡安全情報互相配合。

為甚麼傳統醫療器械監管可能追不上？

傳統醫療器械監管框架，大多是按相對穩定、可以在某一時間點評估的產品而設計。然而，臨床 AI 軟件的表現及風險可能隨模型更新、資料分佈變化、工作流程轉變，或攻擊者採用新技術而改變。

因此，在某一個時間點完成審批或評估，並不代表系統往後在所有情境下仍然安全。TU Dresden 研究人員在醫療 AI 監管方面的另一項工作亦指出，監管科學需要跟上快速發展的醫療科技及人工智能。

對醫療機構而言，系統部署應被視為監管的開始，而不是終點。持續檢查應涵蓋表現、安全、網絡保安、私隱及公平性；同時要有事故通報、調查，以及在必要時暫停系統的程序。

病人同意，亦是技術安全的一部分

這些問題在 AI 醫療記錄工具（AI scribe）等臨床記錄系統的使用上尤其明顯。澳洲臨床指引指出，病人應獲告知 AI 系統的用途、使用範圍、好處、風險，以及安全或表現監察安排；即使使用 AI 協助，醫護人員仍須對病人的護理及所製作的醫療記錄負責。

澳洲全科醫學專業指引亦強調，醫生應了解並測試 AI scribe，在每次使用前取得病人同意，妥善保障儲存的資料，並確保醫療記錄準確。

近期報道顯示，澳洲不同診所取得病人同意的做法差異很大，當中包括只在候診室張貼告示、便視為已取得同意的情況。澳洲醫療監管機構亦提醒，醫護人員必須核對 AI 生成內容的準確性。

這些例子說明，病人同意不能只變成「剔一剔」的行政程序。病人需要得到足夠而有意義的資訊，醫護人員也需要具備足夠技術理解，才能安全使用工具；最終的臨床責任則必須留在醫護人員身上。

現有證據未能確定澳洲各地不充分同意或醫護人員理解不足的情況有多普遍。不過，相關發展再次呼應評述的重點：透明度、人為監督及機構問責，都是實際的安全控制措施，而不是系統部署後才補上的文書要求。

給醫療機構的實際啟示

這篇評述並不是拒絕臨床 AI，而是提出一套更嚴格的部署標準。大型語言模型或許可以改善部分臨床工作流程，但醫療機構必須將它視為會不斷變化的「社會—技術系統」，而不是一般軟件工具。

在部署前後，醫療管理層都需要準備好評估模型、保護周邊基礎設施、培訓使用者、向病人說明 AI 的參與方式、監察真實環境中的表現，並清楚界定系統出錯時誰有權介入。

在這些控制措施尚未到位之前，臨床 AI 的採用速度，就可能繼續跑在令它值得信賴所需的安全監管之前。