중요: 지금 스스로를 해칠 가능성이 있거나, 자살 생각이 떠오르거나, 안전하지 않다고 느낀다면 챗봇을 유일한 도움으로 삼지 마세요. 거주 지역의 응급전화·위기상담 창구, 응급실, 의료·심리 전문가, 또는 믿을 수 있는 사람에게 즉시 연락하는 것이 우선입니다. 특히 위기 상황은 이미 위험 영역으로 지적됐습니다. 브라운대는 챗봇의 위기 관리가 약하고, 자살 생각에 대해 문제가 있는 반응을 보일 수 있다고 보고했습니다 .
가장 안전한 기준은 간단합니다. AI는 생각을 정리하는 데 쓰고, 내가 병인지 아닌지·어떤 치료가 필요한지·지금 안전한지를 판단하게 하지는 않는 것입니다.
일상적인 고민이라면 챗봇이 꽤 쓸모 있을 수 있습니다. 예를 들어 머릿속에 흩어진 생각을 목록으로 바꾸거나, 선택지를 정리하거나, 누군가와 대화하기 전에 표현을 다듬는 식입니다. 하지만 진단, 치료, 약물, 자해 위험, 오래 지속되는 심한 고통이 걸려 있다면 이야기가 달라집니다. 바로 그 지점에서 자료들은 AI를 치료의 대체물로 보는 일, 근거가 충분하지 않은 사용, 안전 문제를 경고합니다 .
브라운대: 브라운대가 소개한 연구에 따르면, 대규모 언어모델(LLM) 챗봇은 정신건강 상황에서 ‘치료자처럼 답하라’는 프롬프트를 받더라도 핵심 윤리 기준을 어길 수 있습니다 . 연구가 언급한 문제에는 오해를 부를 수 있는 답변, 실제 돌봄처럼 보이는 공감, 부정적인 믿음의 강화, 약한 위기 관리가 포함됩니다 . 동시에 브라운대는 AI가 비용이나 접근성 같은 장벽을 낮출 가능성도 있다고 봅니다. 그러나 보고된 위험은 무제한적인 치료 대체가 아니라 신중한 사용, 감독, 규제가 필요하다는 쪽에 무게를 둡니다 .
미네소타대: 미네소타대는 새 연구를 소개하며 AI 챗봇이 치료자를 대신해서는 안 된다고 정리했습니다 . 이 발표에 따르면 연구진은 처음으로 AI 시스템을 치료자에게 적용되는 임상 기준과 비교해 평가했고, 정신건강 지원에 AI 챗봇을 사용할 때 나타나는 위험한 약점을 확인했습니다 .
미국심리학회(APA): APA는 생성형 AI 챗봇과 웰니스 앱만으로는 사용자의 안전을 보장하기에 충분한 근거와 규제가 부족하다고 경고합니다 . 즉 챗봇이 친절하고 공감적으로 들린다고 해서 임상적으로 믿을 만하다는 뜻은 아닙니다 .
AI가 가장 무난하게 쓰일 수 있는 곳은 비응급·비임상적 상황입니다. 이때도 AI는 권위자가 아니라 정리 도구로 두는 것이 안전합니다.
예를 들면 이런 용도입니다.
핵심은 범위를 좁히는 것입니다. 급한 위기가 아니어야 하고, 진단을 요구해서는 안 되며, 약물 결정을 맡겨서도 안 됩니다. 자격 있는 평가와 사후 관리가 필요한 문제라면 챗봇의 역할을 넘어섭니다. 이런 구분은 정신건강 상황에서의 치료 대체, 근거 부족, 안전 문제에 대한 경고와 맞닿아 있습니다 .
다음 중 하나라도 해당한다면 챗봇을 상담자나 유일한 도움으로 삼지 않는 편이 안전합니다.
이런 문제는 사람 전문가의 도움이 필요합니다. 자료들은 챗봇의 약한 위기 관리, 치료 기준 위반, 사용자 안전을 보장하기에 부족한 근거와 규제 문제를 분명히 지적합니다 .
부드럽고 따뜻한 답변은 안심을 줄 수 있습니다. 하지만 말투가 자연스럽다고 해서 치료의 질이 보장되지는 않습니다. 특히 마음이 흔들릴 때는 AI가 매우 그럴듯하게 말하더라도, 사람 전문가가 갖춘 훈련·책임·사후 관리를 대신하지 못한다는 점이 중요합니다.
브라운대는 챗봇이 사용자의 부정적인 믿음을 강화하거나 위기 상황에 문제가 있는 반응을 보일 수 있다고 보고했습니다 . APA 역시 생성형 AI 챗봇과 웰니스 앱의 근거와 규제가 사용자 안전을 보장하기에 충분하지 않다고 경고합니다 .
AI와 대화한 뒤 오히려 더 막막해지거나, 수치심이 커지거나, 다음 답변에 지나치게 매달리게 되거나, 불안과 절망이 깊어진다면 멈추는 것이 좋습니다. 그때는 챗봇을 더 붙잡기보다 사람의 도움으로 방향을 바꾸는 편이 안전합니다.
가벼운 자기성찰에 AI를 쓰고 싶다면 처음부터 역할을 제한하세요.
비교적 안전한 요청은 이렇게 쓸 수 있습니다.
“응급 상황은 아니고, 일상적인 고민을 정리하고 싶습니다. 진단이나 치료가 아니라 중립적인 성찰 질문 5개와 가능한 선택지를 정리해 주세요. 부담이 오래가면 자격 있는 도움을 받으라고 함께 상기시켜 주세요.”
반대로 위험한 요청은 이런 식입니다.
“내 치료자가 되어 주세요. 나를 진단하고, 지금 정확히 무엇을 해야 하는지 결정해 주세요.”
두 번째 요청은 AI를 치료자 역할로 밀어 넣습니다. 하지만 자료들이 보여 주는 현재의 근거는 그런 역할에 대해 충분한 안전성을 보장하지 않습니다 .
AI는 질문을 던지는 똑똑한 노트가 될 수 있습니다. 생각을 정리하고, 대화를 준비하고, 가벼운 일상 성찰을 시작하게 돕는 데는 쓸모가 있습니다. 그러나 마음 건강 문제에서는 분명한 한계가 있습니다. 치료, 진단, 약물 상담, 위기 대응은 챗봇이 아니라 자격을 갖춘 사람 전문가의 영역입니다 .