임상 AI 도입, 안전 감독보다 빨라지고 있다…TU 드레스덴 연구진의 경고

대규모 언어모델(LLM)은 진료 기록 작성, 의학 지식 종합, 의사결정 지원에 활용될 가능성이 큽니다. 그러나 TU 드레스덴대학교와 드레스덴 대학병원 연구진이 주도한 다학제 리뷰는 임상 현장 도입 속도가 이를 안전하게 관리할 감독 체계보다 빨라지고 있다고 경고했습니다. 2026년 8월 19일 Nature에 발표된 이 리뷰에는 의료 AI, 사이버보안, 규제과학, 윤리학, 행동심리학 분야의 분석이 종합됐습니다. 연구진은 임상 AI의 안전을 모델 정확도만으로 판단해서는 안 되며, 개발부터 폐기까지 전 생애주기에 걸쳐 관리해야 한다고 강조했습니다.

리뷰의 핵심 결론

연구진은 LLM이 의료에 쓰여서는 안 된다고 주장하지 않습니다. 문서 작성이나 정보 검색처럼 임상 업무를 지원할 수 있는 실질적 가능성은 인정합니다. 다만 유용해 보이거나 벤치마크에서 높은 점수를 받았다는 사실, 답변이 자연스럽고 설득력 있다는 사실만으로 안전성이 입증되는 것은 아니라고 지적합니다.

임상 시스템은 복잡한 업무 흐름 안에서 작동하고 민감한 환자 데이터와 연결됩니다. 또한 AI의 답변은 의료진의 판단과 환자 치료에 영향을 줄 수 있습니다. 사용자가 AI의 이해 수준과 한계를 실제보다 높게 평가하면 위험은 더 커질 수 있습니다.

따라서 배포 전 한 번의 검사만으로는 충분하지 않습니다. 모델 업데이트, 데이터 변화, 업무 절차의 변경, 사용자 행동의 변화, 새로운 공격 기법이 등장할 때마다 안전성을 다시 확인하고 지속적으로 감시해야 합니다.

모델 정확도만으로 설명할 수 없는 위험

리뷰는 임상 AI의 위험을 여러 단계와 층위로 나눠 설명합니다.

• 설계와 학습 데이터: 데이터 오염이나 조작이 발생하면 시스템이 임상 현장에 도입되기 전부터 잘못된 행동을 하도록 만들 수 있습니다.
• 배포 환경과 인터페이스: 프롬프트 인젝션은 업무 흐름에 악의적인 지시를 끼워 넣을 수 있습니다. 연구진은 이런 공격으로 모델이 눈에 보이는 종양을 놓치는 상황을 예시로 들었습니다. 병원 IT 인프라의 취약점은 진료를 중단시키거나 환자 정보를 노출할 수도 있습니다.
• 모델의 고유한 행동: LLM은 그럴듯하지만 사실과 다른 의료 정보를 만들어낼 수 있습니다. 이른바 ‘환각’입니다. 사용자의 전제를 지나치게 수용해 잘못된 가정을 바로잡기보다 그대로 강화할 가능성도 있습니다.
• 인간과 AI의 상호작용: 설득력 있는 답변은 의료진이 시스템을 지나치게 따르는 자동화 편향을 유발할 수 있습니다. 반대로 의료진이 이미 내린 결론을 뒷받침하는 정보만 AI에서 찾는 확증 편향도 나타날 수 있습니다.
• 기관 차원의 사용: 의료진이 공식 승인이나 평가 절차 없이 공개형 또는 미승인 도구를 사용하는 ‘그림자 사용(shadow use)’도 문제입니다. 이런 사용은 개인정보 보호, 책임 소재, 현지 평가, 사고 보고 체계를 우회할 수 있습니다.

이 같은 전 생애주기 관점이 중요한 이유는 통제된 시험에서 성능이 좋았던 시스템도 실제 임상에서는 안전하지 않을 수 있기 때문입니다. 보안, 인간의 행동, 진료 맥락, 조직의 통제 수준이 결과를 바꿀 수 있습니다.

안전한 도입에 필요한 장치

연구진은 AI 시스템이 현장에 배포된 뒤에도 안전 조치가 계속 작동해야 한다고 제안합니다. 여기에는 보안성을 고려한 개발, 학습 데이터 관리, 실제 사용 환경에서의 현지 평가, 명확한 인간의 역할과 책임, 성능 및 사고에 대한 지속적 모니터링이 포함됩니다.

병원과 의료기관은 단순히 AI가 그럴듯한 문장을 생성하는지 확인하는 데 그쳐서는 안 됩니다. 최소한 다음 질문에 답할 수 있어야 합니다.

• 누가 어떤 업무에 AI를 사용할 수 있는가?
• AI가 접근할 수 있는 데이터는 무엇이며, 데이터는 어디로 전송·저장되는가?
• 의료진은 AI 결과를 어떤 절차로 검증해야 하는가?
• AI의 도움으로 작성된 기록이나 권고가 틀렸을 때 최종 책임자는 누구인가?
• 위험이 발견되면 기관은 어떻게 조사하고, 시스템을 중단하거나 철회할 수 있는가?

연구진이 제안한 ‘두 겹’ 감독 체계

책임성과 대응력을 높이기 위해 연구진은 서로 보완하는 두 단계의 감독 구조를 제안했습니다.

기관별 AI 거버넌스 팀

병원과 의료기관은 전담 거버넌스 팀을 통해 AI 도구를 승인하고, 기관의 환자 구성과 업무 흐름에 맞춰 현지 평가를 실시하며, 사용 범위와 책임을 정해야 합니다. 이렇게 해야 AI 도입 결정이 해당 기관의 환자, 의료진, IT 인프라 및 직업적 의무와 연결될 수 있습니다.

중앙집중형 AI 보안 운영 센터

연구진은 기관 간 사고를 탐지하고 위협 정보를 공유하며 대응을 조율하는 중앙집중형 AI 보안 운영 센터, 즉 AI Security Operations Center(SOC)도 제안했습니다. 한 기관의 임상 AI에서 발생한 공격이나 장애가 다른 기관에도 존재하는 취약점을 드러낼 수 있기 때문입니다.

두 체계를 함께 운영하면 기관 내부의 임상적 책임성과 더 넓은 범위의 보안 정보 공유를 결합할 수 있습니다.

왜 기존 의료기기 규제만으로는 부족한가

전통적인 의료기기 규제는 비교적 안정적인 제품을 특정 시점에 평가하는 방식으로 발전해 왔습니다. 하지만 임상 AI 소프트웨어는 모델이 업데이트되고, 데이터 분포가 달라지고, 업무 흐름이 바뀌거나, 공격자가 새로운 기법을 개발하면서 행동과 위험도가 변할 수 있습니다.

이 때문에 한 시점의 승인이나 적합성 평가만으로는 이후 모든 환경에서 시스템이 계속 안전하다고 보장하기 어렵습니다. TU 드레스덴 연구진의 의료 AI 규제 관련 연구 역시 빠르게 발전하는 기술에 맞춰 규제과학이 함께 발전해야 한다고 주장합니다.

기관 입장에서는 배포가 감독의 종료가 아니라 시작이라는 인식이 필요합니다. 실제 사용 이후에도 성능, 안전성, 사이버보안, 개인정보 보호, 형평성을 점검하고, 사고를 보고·조사하며 필요할 때 시스템을 일시 중지할 절차를 마련해야 합니다.

환자 동의는 행정 절차가 아니라 기술적 안전장치

리뷰가 지적한 문제는 AI 의료 기록 작성 도구, 이른바 AI 서기(AI scribe)의 사용에서도 나타납니다. 호주 임상 지침은 환자에게 AI 시스템의 목적과 사용 범위, 기대되는 이점과 위험, 안전성 및 성능 모니터링 방식을 알려야 한다고 설명합니다. AI의 도움으로 작성된 진료와 기록에 대한 책임은 여전히 의료진에게 있습니다.

호주 일반의학 관련 전문 지침도 의료진이 AI 서기의 작동 방식과 한계를 이해하고 사전에 시험해야 하며, 사용할 때마다 환자의 동의를 받고 저장 데이터의 보안을 지키고 진료 기록의 정확성을 확인해야 한다고 강조합니다.

최근 호주 보도에서는 의료기관마다 동의 절차에 큰 차이가 있으며, 대기실 안내문만으로 충분하다고 본 사례도 언급됐습니다. 호주 의료 규제기관 역시 의료진이 AI가 생성한 모든 결과의 정확성을 확인해야 한다고 밝혔습니다.

다만 호주 전역에서 부적절한 동의나 의료진의 기술 이해 부족이 어느 정도로 확산됐는지를 보여주는 근거는 현재 충분하지 않습니다. 그럼에도 이 사례는 투명성, 실질적인 설명에 기반한 동의, 의료진의 기술적 이해, 조직 차원의 책임성이 배포 후 덧붙이는 서류 작업이 아니라 실제 안전을 구성하는 운영 통제라는 리뷰의 주장을 뒷받침합니다.

의료기관이 받아들여야 할 현실적인 기준

이번 리뷰의 메시지는 임상 AI를 거부하자는 제안이라기보다 도입 기준을 다시 세우자는 요구에 가깝습니다. LLM은 의료 업무의 일부를 지원할 수 있지만, 의료기관은 이를 일반 소프트웨어가 아니라 계속 변화하는 사회기술적 시스템으로 다뤄야 합니다.

도입 전후로 기관은 모델을 평가하고 주변 인프라를 보호하며, 사용자를 교육하고, 환자에게 AI의 개입 사실을 설명하고, 실제 환경에서 성능을 모니터링해야 합니다. 또한 시스템이 실패했을 때 누가 개입하고 사용을 중단할지 명확히 정해야 합니다.

이런 통제 장치가 마련되지 않는다면 임상 AI의 확산은 신뢰할 수 있는 사용을 뒷받침할 감독 체계보다 계속 앞서 나갈 수 있습니다.