‘안전을 검증하는 사람들’이 먼저 지치고 있다

일부 AI 안전 연구자들이 병가를 내거나 상담을 받고, 때로는 회사를 떠나는 배경에는 도덕적 스트레스와 조직적 압박의 충돌이 있습니다. 이들은 최전선 AI 모델을 시험하고 위험을 평가하는 업무를 맡고 있지만, 정작 모델의 개발·출시 경쟁은 빠르게 이어지고 있습니다. 그 과정에서 생물학적 악용이나 사이버 공격에 쓰일 수 있는 능력이 안전장치, 감독, 평가 체계보다 먼저 확산될 수 있다는 우려가 커지는 것입니다.

보도에 따르면 영국 AI 안전 연구소(AISI)에서 최전선 모델을 독립적으로 평가하는 일부 직원은 촉박한 시험 일정, 낮은 사기, 번아웃과 정신적 부담 속에 병가를 내거나 상담을 받았습니다. 다만 주요 AI 기업 전체에서 이러한 상황이 어느 정도로 광범위한지는 공개된 자료만으로 단정하기 어렵습니다. 15

불안의 대상은 ‘먼 미래’만이 아니다

연구자들이 걱정하는 위험은 크게 두 층위입니다.

• 가까운 위험: AI가 사이버 공격 수행을 쉽게 만들거나, 생물학적 물질·병원체 관련 지식의 악용 장벽을 낮출 수 있다는 우려입니다.
• 장기적 위험: 더 자율적인 시스템이 인간의 감독과 통제를 실질적으로 벗어나는 상황입니다.

앤스로픽을 퇴사한 제이컵 콕슨은 AI 기반 생물학적 위협과 사이버 무기를 재앙으로 이어질 수 있는 경로로 지목했습니다. 그는 BBC에 주요 연구소 내부 사람들이 기술 발전 속도와 그 함의에 대해 “진심으로 두려워하고 있다”고 말했다고 전했습니다. 9 콕슨은 오픈AI와 앤스로픽에서 사전학습 연구를 한 뒤 앤스로픽을 떠났으며, 두 회사가 책임 있게 행동하지 않은 채 자기개선 초지능을 향해 경쟁하고 있다고 공개적으로 비판했습니다. 14

위험을 찾아내도 멈출 권한이 없을 때

안전 연구자에게 이 문제는 추상적 토론에 그치지 않습니다. 이들은 위험성을 평가하고, 모델을 훈련하거나, 배포 판단에 필요한 정보를 제공하는 위치에 있습니다. 하지만 위험 신호를 발견해도 출시를 중단시키거나 일정 자체를 바꿀 권한이 제한적일 수 있습니다.

상업 경쟁이 강하고 평가 일정이 촉박한 환경에서는 “위험을 알아차렸지만 충분히 막을 수 없다”는 무력감이 생길 수 있습니다. 이는 과로를 넘어, 자신의 일이 사회에 해를 끼칠 수 있다는 도덕적 상처(moral injury) 또는 공모감으로 이어질 수 있습니다. 15

‘속도를 늦추자’는 말만으로는 신뢰를 얻기 어렵다

앤스로픽의 다리오 아모데이, 오픈AI의 샘 올트먼, 구글 딥마인드의 데미스 허사비스 등은 정도의 차이는 있지만 최전선 AI 개발 속도를 조절할 필요가 있다는 취지의 입장을 냈습니다. 2 그러나 이 같은 감속론에는 반론도 있습니다. 기존 거대 기업이 설계하거나 통제하는 ‘AI 동결’ 혹은 감속 체계는 오히려 이들 기업의 시장 지배력을 강화하고 신생 경쟁자를 배제할 수 있다는 비판입니다. 11

따라서 신뢰의 기준은 선언 자체가 아니라 검증 가능한 행동입니다. 예를 들면 다음과 같은 장치가 거론됩니다.

• 정부 또는 자격을 갖춘 제3자가 수행하는 독립 평가
• 위험 임계치를 넘을 경우 실제로 작동하는 출시 연기·중단 기준
• 기업 내부의 위험 제기를 보호하는 내부고발자 보호 제도
• 기업 간 자율 약속에만 의존하지 않는 외부 감독과 집행 규칙

스탠퍼드대 인간중심AI연구소(HAI) 논의에서는 AI 역량 개발 전반을 폭넓게 늦추는 일은 현실적으로 어렵다는 견해가 나왔습니다. 동시에 독립적인 정부·제3자 평가를 AI 생태계의 표준으로 삼아야 한다는 점이 강조됐습니다. 3

AI가 AI 연구를 돕기 시작하면서 커진 시간 압박

우려의 핵심은 AI가 이미 완전한 재귀적 자기개선, 즉 스스로를 반복적으로 개선하는 단계에 도달했다는 뜻은 아닙니다. 그런 단계는 아직 확인되지 않았습니다. 6

다만 AI 에이전트가 연구·개발과 엔지니어링의 일부를 자동화하면서, 모델 개발의 반복 주기가 짧아질 수 있다는 점이 문제로 꼽힙니다. 조지타운대 안보·신흥기술센터(CSET)는 AI 연구개발 자동화가 AI 발전을 빠르게 하고, 인간의 이해와 통제 능력을 약화시킬 가능성을 지적했습니다. 4 최근 연구에서도 에이전트가 상당한 수준의 연구 엔지니어링 업무를 사람 도움 없이 수행할 수 있었지만, 열린 형태의 과학적 연구 질문에는 의미 있는 진전을 내지 못한 것으로 나타났습니다. 5

즉 현재의 위기는 ‘인류 멸망이 임박했다’는 증거라기보다, 최전선에 있는 일부 사람들이 가속되는 능력, 이중용도 위험, 경쟁 압력, 약한 외부 통제의 조합을 심리적·윤리적으로 감당하기 어려운 수준으로 판단하고 있다는 신호에 가깝습니다.