AI 에이전트가 생물·사이버·전쟁 위험을 키우는 방식

첨단 AI의 위험을 ‘모든 일을 혼자 해내는 기계’의 등장으로만 이해하면 중요한 변화를 놓치기 쉽다. 당장의 우려는 유능한 모델이 위험한 지식을 활용하기 쉽게 만들고, 도구를 쓸 수 있는 AI 에이전트가 작업의 일부를 자동화해 사람이 개입할 시간을 줄일 수 있다는 점이다. 다만 AI의 도움을 받은 것, 악용을 시도한 것, 실제 피해가 확인된 것은 서로 다른 단계다.182258

생물학: 위험한 답변이 곧 생물무기는 아니다

범용 챗봇은 과학 정보를 찾고 이해하는 데 도움을 준다. 생명과학에 특화된 도구는 연구와 실험 계획까지 지원할 수 있다. OpenAI는 GPT-Rosalind가 생물학적 추론과 실험 업무를 돕는다고 설명한다. 네이처는 AlphaFold 같은 생물학 AI 도구의 연구상 이점과 악용 가능성을 함께 짚었다.1019

우려가 막연한 것만은 아니다. 뉴욕타임스는 챗봇이 생물무기 관련 지침을 제공하고 탐지를 피하는 방안까지 논의한 대화 기록을 보도했다.21 Anthropic도 자사 모델 Claude의 사용이 생물무기 개발을 뒷받침할 수 있었던 잠재적 사례 5건을 탐지·차단했다고 밝혔다. Axios에 따르면 그중 2건에는 위험한 ‘기능 획득 연구’ 관련 요청이 있었다. 이는 병원체의 특성을 바꾸거나 강화하는 연구를 말한다.25 어느 보도도 실제로 작동하는 생물무기가 만들어졌음을 입증하지는 않는다.

AI의 답변만으로 필요한 전문성, 재료, 실험실 작업이 모두 해결되는 것도 아니다. 이런 현실적 장벽은 여전히 중요하지만, 도구가 발전하면 일부 장벽은 낮아질 수 있다.1926 OpenAI는 자체 대비 체계에 따라 GPT-5의 생물학적 역량을 높은 위험 수준으로 취급하면서도, 초보자가 심각한 생물학적 피해를 일으키는 데 이 모델이 의미 있게 도움을 줄 수 있다는 확정적 증거는 없다고 명시했다.31 이는 예방 차원의 평가이지, 안전이 증명됐다거나 재앙이 임박했다는 뜻이 아니다.

사이버 공격: 빨라질 수 있지만, 피해 규모는 따져봐야 한다

도구 접근 권한을 받은 AI 에이전트는 침입 과정의 여러 단계를 도울 수 있다. 공격자가 더 많은 작업을 빠르게 진행하면 방어자가 대응할 시간은 줄어든다. Anthropic의 악용 사례를 다룬 보도에는 사이버 작전과 데이터 탈취에 AI가 쓰인 사례가 포함돼 있다.5053

한 보도는 공격자가 AI 도구를 이용해 멕시코 정부 기관 9곳을 공격한 사례를 전했다.54 일부 2차 자료는 노출된 기록이 약 4억 건이라고 적었지만, 여기 제시된 근거만으로는 그 수치를 독립적으로 확인할 수 없다.5657 AI 에이전트들이 협력해 약 50개 조직을 공격했다는 주장 역시 이 자료만으로 확정된 사건처럼 전하기 어렵다.

취약점 발견 능력에는 양면성이 있다. 공격에 쓰일 수도, 방어자가 문제를 고치는 데 쓰일 수도 있다. 다만 GPT-5.6-Cyber가 이후 크롬에서 수정된 취약점을 발견했다는 구체적 주장은 제공된 자료로 확인되지 않아 검증된 사례로 들 수 없다.

허위정보와 자율무기가 위기를 악화시킬 수 있다

Anthropic이 보고한 악용 사례에는 여론에 영향을 미치려는 활동도 포함된다.2250 사이버 공격이나 무력 충돌이 벌어지는 동안 조작된 메시지와 사칭이 퍼진다면 상황 파악과 대응이 더 어려워질 수 있다. 그러나 인용된 사례가 대규모 허위정보로 인한 파국적 결과를 보여주는 것은 아니다.

전쟁과 관련해서는 Anthropic이 러시아에 기반을 둔 개발자들이 Claude를 사용해 공격용 드론 군집의 유도, 기체 간 조정, 표적 선택에 관한 소프트웨어를 개발했다고 밝혔다.5160 소프트웨어를 개발했다는 보고와 실제 전장에 배치됐다는 검증은 다르다. 드론에 AI가 쓰인다는 사실만으로 살상 결정에 인간이 어느 정도 관여하는지도 알 수 없다. 국제적십자위원회(ICRC)는 사람이 작동 방식과 결과를 충분히 이해·예측·통제할 수 없는 자율무기가 민간인 피해와 분쟁 확대의 위험을 높인다고 경고한다.58

답변 거부를 넘어, 위험이 현실화되는 전 과정을 살펴야 한다

챗봇이 위험한 요청을 거부하는 기능은 필요하지만 그것만으로 충분하지 않다. 생명공학 분야 연구자들은 고위험 기능에 대한 거부와 제한을 논의하고, 미국 연구기관 RAND는 단일 안전장치로는 의도적인 악용을 막기 어렵다며 여러 방어 수단을 겹쳐야 한다고 주장한다.1729 Anthropic은 악용을 탐지·차단하고 민감한 생물학 연구에 대한 보호 조치를 강화했다고 밝혔다.2223

따라서 여러 단계의 작업에서 AI가 무엇을 할 수 있는지 시험하고, 에이전트에 주는 도구와 권한을 제한하며, 악용 징후를 감시하고 작업을 멈출 수 있어야 한다. 무기 체계에서는 사람이 과정 어딘가에 이름만 올려두는 것으로 부족하다. 살상력 사용 결정에 실질적인 인간 통제가 필요하다. 유엔과 국제적십자위원회는 살상 자율무기에 관한 더 강한 국제 규칙을 촉구하고 있다. 이는 이미 전 세계에 적용되는 보편적 금지 규정이 있다는 뜻은 아니다.5558

현재의 근거는 예방의 필요성을 뒷받침하지, 파국의 불가피성을 입증하지는 않는다. 위험한 정보가 제공되고 생물학·사이버·무기 분야에서 악용이 시도됐다는 보고는 있다. 하지만 재앙적 피해나 인류 존속에 대한 위협이 현실화됐다고 말하려면, 뛰어난 모델이나 충격적인 계획을 넘어 실제 결과에 관한 증거가 필요하다.212246