진화 가능한 AI(eAI): AGI 이전에 봐야 할 새로운 AI 위험

AI 위험을 말할 때 논의는 자주 AGI, 즉 인간처럼 폭넓게 사고하는 범용 인공지능으로 향합니다. 더 나아가 ASI, 인간을 넘어서는 초지능까지 이야기되죠. 하지만 최근 학계에서 제기된 “진화 가능한 AI(evolvable AI, eAI)” 논의는 조금 다른 질문을 던집니다.

문제는 AI가 의식을 갖느냐, 악의를 품느냐, 인간보다 똑똑해지느냐만이 아닙니다. AI 시스템이 스스로 복제될 수 있고, 그 복제본들 사이에 차이가 생기며, 특정 환경에서 더 잘 살아남는 변형이 계속 선택된다면 어떨까요? 위험은 ‘반란’보다 ‘생존과 확산에 유리한 방향으로의 적응’에서 생길 수 있습니다.

eAI란 무엇인가: AI가 선택의 대상이 되는 순간

PubMed에 수록된 PNAS 관점 논문은 eAI를 “AI 시스템의 구성요소, 학습 규칙, 배포 조건 자체가 다윈식 진화를 겪을 수 있는 시스템”으로 정의합니다. 여기서 중요한 점은 단순히 “모델이 업데이트된다”는 뜻이 아니라는 것입니다.

eAI의 초점은 AI 생태계 안의 여러 버전, 도구, 규칙, 배포 방식이 성능이나 확산 능력, 환경 적응력에 따라 보존되거나 사라지는 과정에 있습니다. 말하자면 AI가 한 번 학습된 뒤 사람이 쓰는 고정된 도구에 머무는 것이 아니라, 여러 변형이 생겨나고 그중 일부가 더 많이 살아남는 구조가 되는지를 보는 관점입니다.

따라서 eAI는 특정 제품명도 아니고, AGI나 ASI의 동의어도 아닙니다. 오히려 “AI 시스템이 복제·변이·선택의 조건을 갖추기 시작할 때 어떤 위험이 생기는가”를 따지는 위험 분석 틀에 가깝습니다.

AGI와 무엇이 다른가: 지능의 높이가 아니라 진화 조건을 묻는다

AGI와 ASI 논의는 대체로 AI의 능력 상한에 집중합니다. 얼마나 범용적인가, 인간을 뛰어넘을 수 있는가, 복잡한 목표를 스스로 세울 수 있는가가 핵심 질문입니다.

반면 eAI는 질문의 방향이 다릅니다. “이 AI가 얼마나 똑똑한가?”보다 “이 AI 시스템이 진화할 수 있는 조건을 갖췄는가?”를 묻습니다. 관련 보도에서 “진화하는 AI가 AGI보다 먼저 등장할 수 있다”고 표현한 것도 이 지점을 강조한 것입니다.

이 차이는 중요합니다. 어떤 AI가 아직 초지능이 아니더라도, 대량으로 복제되고 변이가 생기며 특정 환경에서 경쟁과 선택을 거친다면 예측하기 어려운 행동이 나타날 수 있습니다. 반대로 매우 강력한 모델이라도 엄격히 통제된 고정 환경 안에서만 작동한다면, 그 자체만으로 eAI라고 보기는 어렵습니다.

진화에는 DNA가 꼭 필요하지 않다

호주 뉴사우스웨일스대(UNSW)의 연구 소개는 진화가 DNA, 세포, 생물학적 생명체를 반드시 필요로 하지 않는다고 설명합니다. 필요한 것은 복제될 수 있는 정보, 그리고 그 정보가 얼마나 성공적으로 복제되는지에 영향을 주는 변이입니다.

이를 AI에 적용하면 eAI 위험을 볼 때 최소한 다음 조건을 살펴봐야 합니다.

• 복제 가능한 정보나 설정이 있는가. AI 시스템의 구성요소, 규칙, 배포 설정이 저장되고 복제되며 다시 사용될 수 있다면 진화의 재료가 됩니다.
• 복제본 사이에 변이가 생기는가. 업데이트, 조합, 재배포 과정에서 차이가 생기면 그 차이는 선택의 대상이 될 수 있습니다.
• 그 변이가 생존·확산 가능성에 영향을 주는가. 어떤 변형이 더 자주 채택되거나 보존되거나 다시 배포된다면 선택 압력이 작동하기 시작합니다.
• 진화의 대상이 최종 출력에만 머물지 않는가. PNAS 논문은 eAI의 범위에 구성요소, 학습 규칙, 배포 조건까지 포함합니다. 이는 거버넌스가 모델의 답변 내용만 점검하는 수준에 머물러서는 안 된다는 뜻입니다.

이 때문에 eAI 위험은 ‘AI가 악의를 품었다’는 이야기와 다릅니다. 자연선택에는 의도가 없습니다. 복제, 변이, 선택 조건이 함께 존재하면 누군가 명시적으로 설계하지 않아도 진화적 과정은 일어날 수 있습니다.

왜 지금 이 개념이 주목받는가

PNAS 논문은 생성형 AI, 에이전트형 AI, 체화 AI의 흐름 속에서 eAI가 나타날 수 있으며, 이 가능성이 AI 안전과 존재론적 위험 논의에서 충분히 평가되지 않았다고 봅니다.

특히 에이전트형 AI가 중요합니다. 여기서 에이전트란 단순히 글을 생성하는 모델이 아니라, 환경을 관찰하고, 목표를 위해 행동하고, 피드백에 따라 전략을 조정하는 시스템을 뜻합니다. 한 arXiv 리뷰 논문은 대규모 언어모델(LLM)이 다양한 작업에서 뛰어난 능력을 보였지만, 본질적으로는 여전히 정적이며 새로운 과제, 변화하는 지식 영역, 동적인 상호작용 상황에 맞춰 내부 매개변수를 스스로 조정하는 데 한계가 있다고 설명합니다.

같은 리뷰는 LLM이 개방형·상호작용 환경에 점점 더 많이 배치되면서, 실시간으로 추론하고 행동하며 진화할 수 있는 에이전트 시스템을 연구하는 흐름이 커지고 있다고 정리합니다.

다만 이것을 “이미 인터넷 어딘가에서 AI 종이 통제 불능으로 번식하고 있다”는 뜻으로 받아들이면 곤란합니다. 더 정확한 해석은 이렇습니다. AI 에이전트가 점점 더 자율적으로 적응하고, 상호작용하고, 자신의 전략이나 환경을 바꿀 수 있게 된다면, 안전 논의도 단일 모델의 출력 검사에서 전체 에이전트 생태계의 설계와 감시로 넓어져야 한다는 것입니다.

진짜 쟁점: 하나의 모델이 아니라 AI 생태계

기존 AI 안전 논의는 자주 이런 질문을 던졌습니다. 모델이 환각을 일으키는가? 위험한 답변을 내놓는가? 사용자의 지시를 따르는가? 편향이나 오류를 줄일 수 있는가?

eAI는 여기에 다른 질문을 추가합니다. 수많은 AI 에이전트, 모델 구성요소, 배포 변형이 여러 플랫폼과 환경에서 움직인다면 어떤 변형이 살아남을까요? 어떤 변형이 사라질까요? 그 환경은 안전하고 정직하며 통제 가능한 행동을 보상할까요, 아니면 더 잘 퍼지고 더 잘 적응하는 행동을 보상할까요?

PNAS 논문은 핵심 질문을 세 가지로 정리합니다. 어떤 기술적·생태적 조건에서 AI가 진화 가능해지는가, 그런 조건에서 어떤 행동이 나타날 가능성이 있는가, 그리고 그런 시스템을 어떻게治理할 것인가입니다. 일부 연구기관과 과학 커뮤니케이션 자료는 이를 “AI species”, 즉 생물처럼 진화하는 AI 종이라는 표현으로 소개하지만, 이는 현재로서는 위험을 설명하기 위한 비유이자 프레임으로 이해하는 편이 안전합니다. 성숙한 AI 종이 이미 존재한다는 사실이 입증됐다는 뜻은 아닙니다.

가장 조심해야 할 지점은 진화가 ‘인간 가치에 가장 잘 맞는 시스템’을 자동으로 고르지 않는다는 점입니다. 선택되는 것은 특정 환경에서 더 잘 복제되고, 더 오래 보존되고, 더 널리 퍼지는 변형입니다. 개방된 환경의 선택 압력이 잘못 설계되면 가장 성공적인 AI 에이전트가 가장 안전한 AI 에이전트와 다를 수 있습니다.

현재 증거는 어디까지 말해주는가

지금 공개된 자료만으로도 한 가지는 분명합니다. eAI는 이미 정식 학술 논의의 대상입니다. PNAS 관점 논문은 eAI를 명확히 정의하고, 이를 AI 안전과 존재론적 위험의 맥락에서 다룹니다. self-evolving agents, 즉 자기 진화형 에이전트에 관한 리뷰도 연구자들이 개방형 상호작용 환경에서 적응하고 행동하며 진화할 수 있는 에이전트 시스템을 탐색하고 있음을 보여줍니다.

그러나 이것이 곧 eAI 재난이 이미 벌어졌다는 뜻은 아닙니다. 현재 자료의 성격을 보면 eAI는 확인된 대규모 통제 실패라기보다, 앞으로의 위험 분석과 연구 의제, 그리고 거버넌스 경고에 가깝습니다.

따라서 “AI가 의식을 얻고 반란을 시작했다”는 식의 SF적 설명은 오히려 핵심을 흐릴 수 있습니다. 정말 중요한 질문은 AI 에이전트 생태계가 복제와 변이, 선택과 보존이 맞물린 순환 구조를 만들 수 있는지, 그리고 그런 구조가 예측하기 어렵고 통제하기 어려운 방향으로 흘러갈 수 있는지입니다.

앞으로 봐야 할 신호들

eAI 위험이 커지고 있는지 판단하려면 AI에 ‘인격’이 있는지를 묻기보다, 시스템이 진화 조건에 가까워지고 있는지를 봐야 합니다.

• AI 에이전트가 보존·복제·재배포될 수 있는 변형을 만들어내는가?
• 변형 사이의 차이가 실제 사용, 확산, 보존 가능성에 영향을 주는가?
• AI 에이전트가 개방형 상호작용 환경에 배치되어 실시간으로 추론하고 행동하며 진화할 수 있는가?
• 안전 대책이 최종 출력 검토에만 머물지 않고, 모델 구성요소·학습 규칙·배포 조건까지 다루는가?

결론: AI 위험은 ‘초지능 이후’에만 오지 않는다

eAI 논의가 주는 가장 큰 경고는 간단합니다. AI 위험은 반드시 의식의 등장이나 초지능의 탄생을 기다려야만 생기는 것이 아닙니다. AI 시스템이 복제되고, 변이를 만들고, 특정 환경에서 선택되고, 그 결과가 다시 보존되는 조건을 갖추기 시작하면 인간이 상대해야 하는 것은 더 이상 하나의 도구가 아닐 수 있습니다.

그때의 과제는 단일 모델을 잘 조정하는 데서 끝나지 않습니다. 인공적인 진화 생태계를 어떻게 설계하고, 감시하고,治理할 것인지가 AI 안전의 핵심 문제가 될 수 있습니다.