医療AIの進化が安全対策を追い越す——TUドレスデンのNatureレビューが警告

ドイツのドレスデン工科大学（TU Dresden）とドレスデン大学病院などの研究者が主導したレビューが、医療現場での大規模言語モデル（LLM）の導入について警鐘を鳴らした。2026年8月19日にNatureで発表された同レビューは、医療AI、サイバーセキュリティ、規制科学、倫理、行動心理学の知見を横断的に検討。臨床AIの普及が、安全に利用するための監督・ガバナンス・規制の整備を上回るペースで進んでいると指摘している。

「使える」ことは「安全」を意味しない

研究者らは、LLMを医療から排除すべきだと主張しているわけではない。診療記録の作成、医学知識の整理、意思決定支援など、臨床ワークフローを助ける可能性は認めている。

ただし、流暢な文章を生成できることや、ベンチマークで高い成績を示すことを、安全性の証明とみなしてはならない。医療AIは複雑な業務の流れに組み込まれ、機微な患者データに接続され、AIの能力を過大評価する可能性のある人々の判断に影響を与えるからだ。

そのため、安全対策は導入前の一度きりの検査で終わらせるのではなく、設計から運用、更新、廃止までの全期間にわたって設計・評価・監視する必要がある。モデルの更新、入力データの変化、業務手順の変更、利用者の行動、新たな攻撃手法は、導入時の検証結果を変えうる。

リスクはAIのライフサイクル全体に広がる

レビューは、臨床AIの危険を単純な「モデルの正確性」の問題として扱わず、複数の段階と層に分けて整理している。

• 設計と学習データ：データの改ざんや汚染によって、システムが臨床現場に届く前から挙動を変えられる可能性がある。
• 導入環境とインターフェース：プロンプトインジェクションによって、悪意ある指示を業務フローに紛れ込ませられる。レビューでは、インターフェースへの攻撃の結果、モデルが画像上で明らかな腫瘍を見落とす可能性が例として示されている。また、病院のIT基盤が脆弱であれば、診療の中断や患者情報の流出にもつながりうる。
• モデル固有の挙動：LLMは、もっともらしいものの誤った医療情報、いわゆる「幻覚」を生成することがある。また、利用者の前提に過度に同調し、誤った仮説を問い直さず補強してしまう場合もある。
• 人間とAIの相互作用：説得力のある回答は、医療者がシステムに判断を委ねすぎる「自動化バイアス」や、すでに持っている結論をAIに裏付けさせようとする「確証バイアス」を助長する可能性がある。
• 組織での利用：医療者が、正式な承認を得ていない公開ツールを独自に使う「シャドー利用」も問題となる。こうした利用は、プライバシー保護、施設内評価、責任の所在、インシデント報告の仕組みを回避しかねない。

管理された試験では良好な結果を示すシステムでも、実際の医療現場で安全とは限らない。セキュリティ、人間の判断、診療の文脈、組織の管理体制が組み合わさり、最終的な結果を左右するためだ。

必要なのは「導入後も続く」安全管理

研究者らは、安全な導入に向けて、セキュアな開発、学習データの適切な管理、利用予定の診療環境でのローカル評価、医療者の責任範囲の明確化、実運用での継続的な性能・事故監視を求めている。

医療機関が確認すべきなのは、ツールが自然な文章を出力できるかどうかだけではない。少なくとも次の点を事前に決めておく必要がある。

• 誰が、どの業務で利用できるのか
• AIがアクセスできるデータは何か、そのデータはどこへ送られるのか
• 医療者はAIの出力をどのように検証しなければならないのか
• AIの補助を受けた記録や提案が誤っていた場合、誰が責任を負うのか
• リスクが判明した際に、組織が調査、停止、撤回を実行できるのか

二層構造の監督モデル

レビューは、責任を実際の運用に組み込むため、二つの監督層を提案している。

医療機関内のAIガバナンスチーム

各医療機関に専任のガバナンスチームを置き、AIツールの承認、施設内での評価、利用責任の設定、運用監督を担わせる仕組みだ。患者、診療フロー、院内インフラ、専門職としての義務を理解する組織が判断を下せる点に意味がある。

中央集約型のAIセキュリティ・オペレーションセンター

同時に、中央集約型のAIセキュリティ・オペレーションセンター（SOC）を設け、複数の組織にまたがるインシデントを検知し、脅威情報を共有し、対応を調整することも提案している。ある医療機関で起きた攻撃や障害が、他の機関にも共通する脆弱性を示す場合があるためだ。

この二層構造は、各医療機関による臨床上の説明責任と、組織横断のセキュリティ情報を組み合わせる考え方といえる。

静的な医療機器規制では追いつきにくい理由

従来の医療機器規制は、比較的安定した製品を前提に発展してきた。一方、臨床AIソフトウェアは、モデルの更新、データ分布の変化、業務フローの変化、新たな攻撃手法によって、挙動やリスクが変わる可能性がある。

そのため、ある時点での承認や評価だけでは、その後もあらゆる環境で安全であり続けることを保証できない。TU Dresdenの研究者らは、医療AIや医療技術の進歩に規制科学が追いつく必要があるとの見解も示している。

医療機関にとって、導入は監督の終点ではなく出発点だ。性能、安全性、サイバーセキュリティ、プライバシー、公平性を継続的に確認し、事故の報告・調査や、必要に応じてシステムを停止する手順を整備しなければならない。

患者への説明と同意も技術的な安全対策

レビューが提起する問題は、AIによる診療記録作成支援ツール、いわゆるAIスクライブの利用をめぐる議論にも表れている。オーストラリアの臨床向けガイダンスは、AIの目的、利用範囲、利点とリスク、安全性・性能の監視方法を患者に説明するよう医療者に求めている。また、AIの補助を受けて作成された診療や記録についても、最終的な責任は医療者が負うとしている。

オーストラリアの一般診療に関する専門家向け指針も、医療者がAIスクライブの仕組みを理解して事前に検証し、利用のたびに患者の同意を得て、保存データを保護し、診療記録の正確性を確保する必要があると強調している。

近年の報道では、オーストラリアの医療機関によって同意取得の方法に大きな違いがあり、待合室の掲示だけで済ませている例も伝えられた。医療規制当局も、AIスクライブの出力を正確性の観点から必ず確認するよう医療者に求めている。

ただし、オーストラリア全体で不十分な同意取得や技術理解の不足がどの程度広がっているかは、現時点の証拠からは判断できない。それでも、これらの事例は、患者への透明な説明、実質的な同意、医療者の技術理解、組織としての説明責任が、導入後に追加する事務手続きではなく、運用上の安全管理そのものであることを示している。

医療機関への実務的なメッセージ

TU Dresdenのレビューは、臨床AIそのものを否定するものではない。LLMは診療を支える有用な道具になりうるが、医療機関はそれを一般的なソフトウェアではなく、環境や利用者との関係の中で変化する「社会技術的システム」として扱うべきだというメッセージだ。

導入前だけでなく導入後も、モデルの評価、周辺インフラの防御、利用者教育、患者へのAI利用の説明、実環境での性能監視、障害発生時の介入権限を明確にする必要がある。こうした仕組みが整わないままでは、臨床AIの普及が、それを信頼できる形で運用するための監督体制を先行し続けることになる。