AI는 어떻게 ‘판단하는 시스템’에서 ‘행동하는 에이전트’가 됐나

인공지능의 발전은 한 기술이 이전 기술을 완전히 대체해 온 단순한 계보가 아니다. 기존의 규칙 기반 시스템과 예측 모델은 여전히 널리 쓰이고 있으며, 생성형 모델은 텍스트·이미지·음성·영상·코드를 만들어내는 능력을 더했다. 최근의 에이전틱 AI는 여기에 브라우저, 데이터베이스, 코드 저장소, 메시징 서비스 같은 도구를 연결해 여러 단계의 목표를 수행하도록 한다.

이 흐름을 가장 쉽게 요약하면 판단에서 생성으로, 생성에서 행동으로의 이동이다. 단계가 올라갈수록 관리해야 할 위험도 달라진다. 예측 시스템은 정확도와 공정성을 검증해야 하고, 생성형 시스템은 사실성·안전성·출처를 확인해야 한다. 외부 시스템에 영향을 미치는 에이전트에는 여기에 권한, 승인 절차, 감사 기록과 긴급 중지 장치까지 필요하다.

70년에 걸친 AI의 진화

현대 AI 분야는 기계 추론, 게임 플레이, 신경망 연구가 본격화된 1950년대에 형태를 갖추기 시작했다. 이후 상징적 시스템과 전문가 시스템, 1990년대의 머신러닝, 2010년대의 딥러닝으로 연구의 중심이 이동했다.

다만 이 시기들은 서로 단절된 단계라기보다 겹쳐 있는 접근법에 가깝다. 오늘날 하나의 AI 제품도 요청을 분류하는 예측 모델, 답변을 작성하는 생성 모델, 실제 실행 여부를 결정하는 일반 소프트웨어 통제를 함께 사용할 수 있다.

1. 전통적 AI: 규칙, 분류, 예측

전통적 AI는 크게 두 가지로 나눌 수 있다.

• 상징적·규칙 기반 시스템: 사람이 논리, 전문 지식, 의사결정 절차를 규칙으로 입력한다.
• 머신러닝 시스템: 과거 데이터에서 통계적 관계를 학습해 입력을 분류하거나 결과를 추정한다.

초기의 게임 플레이 프로그램은 제한된 환경에서 기계가 가능한 수를 탐색하고 비교할 수 있음을 보여줬다. 이후 이러한 탐색 방식과 통계적 학습은 다음과 같은 실무 영역으로 확장됐다.

• 이상 거래나 사기 의심 거래 탐지
• 대출 상환 불이행 위험과 신용도 평가
• 환자 악화나 재입원 같은 의료 위험 예측
• 상품, 동영상, 음악, 게시물을 정렬하는 추천 엔진
• 음성 인식, 의도 분류, 사전 정의된 작업 흐름을 결합한 Siri 같은 음성 비서

이런 시스템은 업무 범위가 좁고 반복적이며 성과를 측정하기 쉬울 때 특히 강하다. 대규모 사례를 빠르게 처리하면서도 일관된 결과를 낼 수 있고, 명시적 규칙을 사용하는 시스템은 복잡한 모델보다 판단 근거를 살펴보기 쉽다는 장점도 있다.

예측의 한계

전통적 AI가 결과의 원인을 이해하는 것은 아니다. 모델은 인과관계를 입증하지 않고도 통계적 연관성을 찾아낼 수 있으며, 편향된 과거 데이터로 학습하면 기존의 편견을 재현하거나 확대할 수 있다. 규칙은 설계된 조건을 벗어나면 쉽게 작동하지 않을 수 있고, 복잡한 예측 모델은 설명하기 어려울 수 있다.

현실의 조건이 변하면 성능이 떨어지는 ‘데이터 드리프트’도 문제다. 대출, 채용, 보험, 치안, 의료처럼 결과의 영향이 큰 분야에서는 데이터 품질 점검, 편향 테스트, 적절한 설명, 사람의 검토, 이의 제기 절차와 지속적인 모니터링이 필요하다.

2. 생성형 AI: 새로운 콘텐츠 만들기

생성형 AI는 텍스트, 이미지, 음성, 영상 또는 코드로 구성된 대규모 데이터에서 패턴을 학습한 뒤 새로운 결과물을 만든다. 대규모 언어 모델은 텍스트를 순차적으로 생성하고, 멀티모달 시스템은 여러 형식의 정보를 함께 다룰 수 있다.

이 변화는 AI 사용 방식 자체를 바꿨다. 정해진 명령어 중 하나를 고르거나 분류 점수를 받는 대신, 사용자는 일상적인 언어로 목표를 설명하고 문서를 작성·변환·요약하거나 개념을 설명해 달라고 요청할 수 있게 됐다.

생성형 AI의 활용 분야

• 고객 서비스: 답변 초안 작성, 상담 내용 요약, 번역, 지식베이스 검색
• 법률 업무: 문서 요약, 조항 추출, 판례·법적 근거 비교, 초안 작성
• 교육: 개념 설명, 연습문제 생성, 피드백 제공
• 창작 업무: 아이디어 발상, 광고 문구 작성, 이미지·음악·영상 콘셉트와 코드 생성
• 프로그래밍: 코드 설명, 테스트 작성, 오류 수정 제안, 반복적인 개발 업무 지원

주요 이점은 초안 작성과 요약, 번역, 코딩에 드는 시간과 비용을 줄이고 자연어 인터페이스를 제공한다는 점이다. 그러나 그럴듯한 답변을 만들어내는 능력이 신뢰할 수 있는 전문가 판단과 같은 뜻은 아니다.

생성형 AI의 주요 위험

환각과 과도한 확신. 대규모 언어 모델은 사실이 아닌 정보, 부정확하거나 편향된 설명, 지나치게 단순화된 답변을 자신감 있는 어조로 제시할 수 있다. 생성형 AI를 둘러싼 연구는 환각뿐 아니라 유해 콘텐츠, 조작, 저작권 침해, 개인정보와 보안 문제에 대한 평가와 모니터링이 필요하다고 지적한다.

학습 능력과 학업 진실성. 대규모 고등학교 현장 실험에서는 AI 튜터를 사용할 수 있을 때 학생들의 수행이 좋아졌지만, 적절한 안전장치 없이 의존한 학생들은 AI 사용이 중단된 뒤 오히려 성과가 낮아질 수 있는 것으로 나타났다. 이는 실제 기술 습득이 줄어들 가능성을 시사한다. 정답을 바로 알려주는 방식보다 교사가 설계한 힌트를 제공하는 방식이 부정적 영향을 더 잘 완화했다. 생성형 도구는 표절을 쉽게 만들거나 학생이 실제로 과제를 이해했는지 판단하기 어렵게 만들 수도 있다.

저작권과 출처. 학습 데이터의 출처, 특정 작가나 창작자의 스타일을 모방하는 행위, 보호받는 자료를 재현하는 출력물을 둘러싼 논쟁은 계속되고 있다. 교육 관련 지침도 부정확하거나 편향된 콘텐츠와 함께 지식재산권 침해를 주요 위험으로 꼽는다.

유해하고 조작적인 콘텐츠. 생성형 시스템은 허위정보, 괴롭힘, 성적·폭력적 콘텐츠, 위험한 지침을 만들어낼 수 있다. 모델이 항상 개발자의 의도대로 행동할 것이라고 가정하기보다 사전 테스트, 안전장치, 활동 기록과 지속적인 모니터링을 적용해야 한다.

청소년의 안전과 웰빙. 청소년을 대상으로 한 생성형 AI 위험 연구에서는 정신적 웰빙, 행동·사회성 발달, 유해성, 개인정보 침해, 오용과 착취에 대한 우려가 제기된다. 특히 챗봇을 자격을 갖춘 사람의 도움을 대신하는 신뢰할 만한 상담자로 받아들일 때 위험이 커질 수 있다.

개인정보와 기밀성. 프롬프트에는 개인정보, 영업비밀, 고객 자료, 변호사와 의뢰인 간 비밀정보가 포함될 수 있다. 조직은 어떤 데이터를 어떤 서비스에 입력해도 되는지 명확한 기준을 마련해야 하며, 승인받지 않은 서비스에는 민감한 정보를 넣지 않는 것이 원칙이다.

생성형 AI를 위한 기본 통제

모델의 출력은 증거가 아니라 초안으로 취급하는 것이 안전한 출발점이다. 중요한 사실 주장은 신뢰할 수 있는 원자료와 대조하고, 의료·법률·금융·채용·안전 관련 결정에는 사람의 검토를 의무화해야 한다.

승인된 자료를 바탕으로 답변을 생성하는 검색 기반 방식, 출처 인용, 레드팀 테스트, 콘텐츠 안전장치, 연령에 맞는 설계, 감사 로그, AI 사용 사실 고지와 함께 데이터 처리·학업 이용·출처 관리·지식재산권 확인에 관한 정책을 마련할 수 있다. 정부 지침도 부정확하거나 편향된 콘텐츠, 개인정보 침해, 지식재산권 침해와 학업 진실성 문제를 핵심 위험으로 제시한다.

3. 에이전틱 AI: 목표를 위해 행동하는 시스템

에이전틱 AI는 생성형 AI에 ‘행동’의 층위를 더한다. 에이전트는 목표를 해석하고 작업을 여러 단계로 나눈 뒤, 브라우저·코드 저장소·데이터베이스·메시징 시스템 같은 도구를 호출할 수 있다. 중간 결과를 확인하고, 부여받은 권한 안에서 다음 작업을 이어가기도 한다.

이 점에서 에이전트는 같은 대규모 언어 모델을 사용하더라도 단순한 챗봇과 다르다. 챗봇이 이메일 초안을 작성한다면, 에이전트는 정보를 검색하고 메시지를 준비한 뒤 전송하고 다른 시스템을 업데이트할 수 있다. 코딩 도우미가 오류를 설명하는 데 그친다면, 에이전트는 코드베이스를 조사하고 파일을 수정하고 테스트를 실행한 뒤 검토용 변경사항을 준비할 수 있다.

현재 시장에서 언급되는 사례로는 소프트웨어 개발 에이전트인 Google Jules, 채용 업무 흐름을 지원하는 LinkedIn Hiring Assistant, 개인용 에이전트 프레임워크인 OpenClaw 등이 있다. OpenClaw는 프로젝트 자료에서 사용자의 기기에서 실행되고 다양한 채널과 도구에 연결되는 개인용 오픈소스 비서로 소개된다. 실제로 수행할 수 있는 일은 사용자가 활성화한 연동 기능과 권한에 따라 달라진다.

에이전트가 유용한 이유

• 단일 문서 작성이 아니라 여러 단계의 업무 흐름을 완료할 수 있다.
• 반복적인 조정과 행정 업무를 줄일 수 있다.
• 서로 분리된 비즈니스 시스템의 정보를 연결할 수 있다.
• 정해진 한도 안에서 지속적으로 작업할 수 있다.

이러한 특성은 소규모 조직과 개인 사용자가 복잡한 업무 흐름에 접근하는 데 도움을 줄 수 있다. 동시에 핵심 질문도 달라진다. 이제는 “답변이 정확한가?”뿐 아니라 “이 시스템은 무엇을 할 수 있으며, 그 행동을 어떻게 확인할 것인가?”를 물어야 한다.

자율성이 키우는 위험 범위

생성형 모델은 답변에서 틀릴 수 있다. 반면 에이전트는 잘못된 추론, 악의적인 지시 또는 손상된 도구를 외부 행동으로 바꿀 수 있다.

금융 권한을 가진 에이전트가 승인되지 않은 결제·구매·이체·취소를 실행할 수 있고, 이메일·브라우저·클라우드에 접근하는 에이전트가 악성 웹페이지나 문서에 조작돼 인증정보를 노출하거나 기밀 파일을 보낼 수도 있다. 과도한 권한, 약한 신원 확인, 업무 분리 부족은 작은 모델 오류를 심각한 사고로 키울 수 있다.

모델, 지시사항, 데이터, 도구, 다른 에이전트 간 상호작용에서 결과가 발생하면 책임 소재를 정하기도 더 어려워진다. 따라서 운영자는 최종 결과뿐 아니라 에이전트가 제안한 행동, 그 근거와 사용한 권한까지 확인할 수 있어야 한다.

역량이 커질수록 거버넌스도 강화해야 한다

세 가지 단계 모두에 적용되는 기본 원칙은 같다. 책임자를 지정하고, 시스템의 목적을 제한하며, 데이터를 보호하고, 배포 전 테스트를 실시하고, 성능을 모니터링하고, 사고에 대비해야 한다. 영향이 큰 결정에는 의미 있는 사람의 검토나 거부·수정 권한도 보장해야 한다.

에이전틱 AI에는 외부 시스템에 영향을 줄 수 있다는 점을 고려해 다음과 같은 통제가 추가로 필요하다.

• 최소 권한 원칙과 유효기간이 제한된 인증정보
• 에이전트별 별도 계정과 명확한 신원
• 읽기·쓰기·전송·구매·삭제·배포 가능 범위를 명시한 권한 경계
• 되돌리기 어렵거나 영향이 큰 행동에 대한 사전 확인 절차
• 승인된 도구 목록, 샌드박스와 프롬프트 인젝션 방어
• 거래 한도와 이상 징후 탐지
• 위·변조를 어렵게 만든 상세 행동 로그
• 업무 분리와 위험 수준에 비례한 사람의 승인
• 신속한 일시정지 또는 긴급 종료 장치

싱가포르는 2026년 1월 22일 에이전틱 AI를 위한 Model AI Governance Framework를 발표했다. 이는 독립적인 AI 법률이라기보다 조직이 해당 시스템을 책임 있게 배포할 수 있도록 제시한 지침이다. 이 프레임워크는 인간과 조직의 책임을 중심에 두고, 에이전트의 자율성 수준에 비례하는 위험 관리와 통제를 권고한다.

금융 서비스 분야에서 싱가포르 통화청의 SAFR 보고서는 실행 시점의 거버넌스 접근법을 설명한다. 이 방식은 에이전트가 무엇을 하려는지, 왜 그렇게 하려는지, 제안된 행동을 뒷받침하는 근거가 무엇인지를 구조화된 기록으로 남기는 것을 목표로 한다.

핵심 정리

AI의 역사는 ‘구형 AI’가 ‘신형 AI’로 교체된 과정이 아니다. 규칙 기반·예측 시스템은 범위가 명확한 판단에 여전히 적합하다. 생성형 AI는 유연한 콘텐츠 제작과 자연어 상호작용을 더한다. 에이전틱 AI는 도구와 외부 시스템을 통해 목표를 여러 단계로 수행하는 능력을 더한다.

따라서 거버넌스의 초점도 함께 이동해야 한다. 예측 단계에서는 정확도·편향·데이터 변화에 주목해야 하고, 생성 단계에서는 사실 확인·안전·개인정보·출처를 관리해야 한다. 행동 단계에서는 이 모든 요소에 더해 권한 통제, 승인 절차, 책임 소재와 사고 복구 계획이 필요하다. 신뢰할 수 있는 AI 제품은 강력한 모델만으로 만들어지지 않는다. 정교한 시스템 설계와 사람의 감독이 함께 갖춰져야 한다.