규칙 기반 프로그램에서 AI 에이전트까지, 인공지능은 어떻게 진화했나

인공지능의 발전은 이전 기술이 새 기술로 완전히 교체되는 방식으로 진행되지 않았다. 기존 기능 위에 새로운 능력이 차곡차곡 더해졌다. 사람이 입력한 규칙을 따르거나 제한된 결과를 예측하던 시스템에, 이제는 콘텐츠를 생성하고 소프트웨어 도구를 사용하며 사용자를 대신해 행동하는 모델이 결합되고 있다.

이 흐름을 가장 간단히 요약하면 예측 → 생성 → 계획하고 실행이다. 단계가 올라갈수록 AI가 할 수 있는 일은 많아지지만, 오류가 발생했을 때 미치는 영향도 커진다.

1. 전통적 AI: 규칙, 분류, 예측

초기의 AI 연구는 기호 논리에 크게 의존했다. 프로그래머가 지식을 규칙으로 표현하고, 시스템이 가능한 해답을 탐색하도록 설계하는 방식이었다. 게임 프로그램은 대표적인 사례다. 정해진 규칙 안에서 가능한 수를 계산하고 다음 행동을 평가할 수 있었다. ‘인공지능’이라는 용어 자체는 1955년 컴퓨터 과학자 존 매카시가 만들었으며, 그는 이를 “지능적인 기계를 만드는 과학과 공학”으로 설명했다.

이후 통계적 머신러닝이 발전하면서 모든 규칙을 사람이 직접 작성하는 대신, 과거 데이터에서 패턴을 학습하는 비중이 커졌다. 오늘날 이런 시스템은 보통 입력을 받아 범위가 정해진 결과를 내놓는다.

• 의심스러운 금융 거래 탐지
• 신용 위험 추정
• 의료 결과 예측
• 추천 상품이나 동영상의 순위 결정
• 음성 언어에서 사용자의 의도 파악

실제 서비스는 순수한 규칙 기반 시스템이라기보다 규칙, 통계 모델, 머신러닝을 함께 사용하는 경우가 많다.

전통적 AI가 여전히 유용한 이유

목표가 분명하고, 관련 데이터가 충분하며, 오류 유형별 비용을 측정할 수 있다면 예측 시스템은 매우 효과적이다. 대량의 정보를 빠르게 처리하고 일관된 절차를 적용하며, 사람이 놓치기 쉬운 패턴을 찾아낼 수 있기 때문이다.

다만 관리하기 쉬운 이유와 한계의 이유가 같다. 대부분 특정 업무에 맞춰 설계되기 때문에, 사기 탐지 모델이 정책 문서를 설명하거나 보고서를 작성하거나 낯선 상황에 유연하게 대응하기는 어렵다. 성능 역시 학습 데이터의 품질과 시스템이 무엇을 예측하도록 최적화됐는지에 좌우된다.

이 때문에 신용평가, 채용, 보험, 의료처럼 사람의 삶에 큰 영향을 미치는 영역에서는 윤리적 문제가 발생할 수 있다. 과거 데이터에 사회적 편견이 포함돼 있다면 그 편견이 다시 결과에 반영될 수 있고, 불투명한 점수화 시스템은 당사자가 결정을 문제 제기하기 어렵게 만든다. 따라서 목적을 명확히 정하고, 관련 집단별 정확도와 공정성을 점검하며, 개인정보를 보호하고, 설명과 이의 제기 절차 및 고위험 결정에 대한 인간 검토를 마련해야 한다. 편향·허위정보·오용에 대한 우려는 챗봇에만 해당하는 문제가 아니라 AI 정책 전반의 과제다.

2. 생성형 AI: 분류를 넘어 콘텐츠를 만들다

생성형 AI는 사용자의 경험을 “이것은 어느 범주에 속하는가?”에서 “이 지시에 따라 무엇인가를 만들거나 바꿔 달라”로 전환한다. 대규모 모델은 그럴듯한 텍스트, 이미지, 음성, 코드를 생성하며 고객센터 답변 초안, 번역, 교육 지원, 법률 자료 요약, 소프트웨어 개발 보조, 창작 작업 등에 활용된다.

첫 초안을 만드는 데 걸리는 시간과 비용을 줄이고, 복잡한 정보에 대화형으로 접근하게 하며, 전문가의 업무를 고정된 의사결정 자동화 이상의 방식으로 보조할 수 있다는 점이 장점이다.

가장 큰 약점: 그럴듯함은 진실이 아니다

생성형 모델은 자신감 있는 말투로 조작된 내용이나 부정확한 사실, 존재하지 않는 출처, 잘못된 법률 근거, 의료적 오류 또는 실행되지 않는 코드를 만들어낼 수 있다. 미국 국립표준기술연구소(NIST)는 이를 ‘confabulation’, 즉 “자신 있게 진술하지만 오류가 있거나 거짓인 콘텐츠의 생성”이라고 부른다. 일반적으로는 ‘환각’이라고 표현한다.

따라서 사실 정확성이 중요한 분야에서는 검증이 필수다. 신뢰할 수 있는 자료를 검색해 답변에 근거를 붙이고, 출처와 인용을 확인하며, 구조화된 평가와 분야별 테스트, 자격을 갖춘 사람의 검토를 병행해야 한다. 문장이 유창하다는 사실은 그 주장이 맞다는 증거가 아니다.

생성형 AI가 가져오는 더 넓은 위험

생성형 AI는 개인정보 보호, 지식재산권, 허위정보, 결과물의 출처와 책임 문제도 제기한다. 유럽연합 집행위원회는 연구 분야의 생성형 AI 활용 지침에서 이러한 위험을 지적하며, AI가 작업을 도왔더라도 발표하거나 공개하는 결과물에 대한 최종 책임은 사람에게 있다고 강조한다.

교육에서는 학습 자체가 약화될 가능성이 문제다. 학생이 글쓰기, 추론, 문제 해결을 반복적으로 AI에 맡기면 완성도 높은 결과물을 얻더라도 그 바탕이 되는 능력을 연습할 기회는 줄어들 수 있다. 교육 지침은 부정확하거나 편향된 콘텐츠, 유해한 자료, 개인정보 유출, 지식재산권 침해, 학업 진실성 훼손을 주요 위험으로 꼽는다.

민감한 대화에서는 안전 실패의 결과가 더 심각할 수 있다. 시스템이 혐오·폭력·성적·조작적 콘텐츠를 생성하거나, 자해 의사를 표현하는 사람에게 부적절하게 답할 가능성도 있다. NIST는 위험하거나 폭력적인 권고, 개인정보, 유해한 편향 등을 관리해야 할 위험으로 제시한다. 고위험 상황에서 AI는 자격을 갖춘 전문가의 돌봄이나 인간의 보호 체계를 대신해서는 안 된다. 강력한 거부 및 상담 연결 기능, 개인정보 통제, 즉시 사람에게 도움을 요청할 수 있는 경로가 필요하다.

3. 에이전틱 AI: 계획하고 도구를 사용해 행동하다

에이전틱 AI는 모델에 ‘행동 루프’를 더한다. 프롬프트에 한 번 답하는 데 그치지 않고, 목표를 해석해 여러 단계로 나누고, 웹 브라우저·코드 실행기·이메일 서비스·API 같은 도구를 호출한 뒤 결과를 확인하고 계획을 수정하며 업무를 이어갈 수 있다.

스탠퍼드 인간중심 인공지능연구소는 에이전틱 AI를 목표를 해석하고 행동 순서를 설계하며, 도구를 사용하고 피드백에 대응하고, 정해진 제약 안에서 과업을 수행하도록 적응하는 자율 또는 반자율 시스템으로 설명한다.

실질적인 차이는 다음과 같다.

• 예측 시스템은 거래를 점수화한다.
• 생성형 시스템은 그 거래에 관한 답변을 작성한다.
• 에이전트는 필요한 접근 권한이 있다면 거래를 조사하고, 사건 파일을 갱신하고, 메시지를 발송할 수 있다.

구글의 Jules는 소프트웨어 개발 분야의 사례다. 구글은 Jules를 코드 저장소와 연동해 코드베이스를 클라우드 가상머신에 복제하고, 코딩 작업을 수행한 뒤 사람이 검토할 수 있도록 하는 비동기 코딩 에이전트로 소개한다. 오픈소스 도구 사용형 에이전트는 또 다른 접근이며, 링크드인의 Hiring Assistant와 같은 채용 제품은 이러한 에이전틱 업무 흐름이 인재 탐색과 채용으로 확장되는 모습을 보여준다.

에이전트가 주목받는 이유는 다음에 할 일을 제안하는 데서 멈추지 않고 여러 단계의 업무를 끝까지 처리할 수 있기 때문이다. 예를 들어 코딩 에이전트는 버그를 조사하고 여러 파일을 수정한 뒤 테스트를 실행하고 풀 리퀘스트를 준비할 수 있다. 업무 흐름 에이전트는 자료를 모으고 정리한 다음 승인받을 커뮤니케이션 초안을 만들 수 있다.

자율성이 커질수록 위험도 커지는 이유

계획을 세운다고 해서 상황을 제대로 이해한다는 뜻은 아니다. 에이전트는 웹페이지를 잘못 해석하거나, 나쁜 계획을 선택하거나, 악의적인 지시를 따르거나, 작은 오류를 여러 단계에 걸쳐 누적시킬 수 있다. 스탠퍼드의 2026년 AI 인덱스에 따르면 실제 컴퓨터 작업을 평가하는 OSWorld에서 에이전트의 과업 성공률은 12%에서 약 66%로 높아졌지만, 여전히 약 3번 중 1번은 실패했다.

챗봇의 환각은 대개 커뮤니케이션 문제로 남는다. 그러나 로그인 정보, 브라우저 접근 권한, 결제 권한을 가진 에이전트가 같은 오류를 내면 외부 시스템에서 실제 행동으로 이어질 수 있다. 따라서 에이전틱 AI의 거버넌스는 답변의 품질뿐 아니라 권한, 되돌릴 수 있는지 여부, 책임 소재까지 다뤄야 한다.

AI 에이전트의 핵심 안전 위험

에이전트가 시스템, 돈, 데이터 또는 다른 사람에게 영향을 줄 수 있는 지점에서 위험은 특히 커진다.

• 무단 결제: 에이전트가 잘못된 상품을 고르거나 예산을 초과하거나 악성 웹페이지에 조작될 수 있다.
• 개인정보 유출과 데이터 탈취: 이메일, 파일, 고객 기록, 소스코드, API 키에 접근할 수 있다면 프롬프트 인젝션 등을 통한 정보 공개 위험이 생긴다.
• 보안 및 소프트웨어 손상: 안전하지 않은 코드를 작성하거나 설정을 바꾸고, 리소스를 삭제하거나, 로그와 외부 도구를 통해 비밀정보를 노출할 수 있다.
• 책임 공백: 모델 제공업체, 애플리케이션 개발자, 에이전트를 배포한 조직, 도구 제공업체, 사용자 사이에서 사고 책임이 불분명해질 수 있다.
• 조작: 지속적이고 대화형인 에이전트는 부당한 영향력을 행사할 수 있다. 특히 사용자가 취약한 상태에 있거나 시스템을 실제보다 유능하고 신뢰할 만하다고 받아들일 때 위험이 커진다.

책임 있는 AI 거버넌스는 무엇인가

통제 수준은 시스템의 능력과 실패했을 때의 결과에 맞춰야 한다.

예측형 AI는 목적과 허용 가능한 오류 범위를 정하고, 정확도와 공정성을 측정하며, 개인정보를 보호하고, 영향이 큰 결과에 대해 설명과 이의 제기 및 인간 검토 절차를 제공해야 한다.

생성형 AI는 중요한 주장을 검증하고 환각과 유해한 결과를 테스트해야 한다. 민감한 데이터의 사용을 통제하고, 콘텐츠의 출처와 지식재산권 문제를 다루며, 법률·의료·금융·보호 업무와 관련한 결정에는 자격을 갖춘 사람이 최종 책임을 져야 한다.

에이전트에는 여기에 더해 다음과 같은 기술적·조직적 통제가 필요하다.

1. 사용 범위를 제한한다. 배포 전에 에이전트가 할 수 있는 일과 할 수 없는 일을 정한다.
2. 접근 권한을 최소화한다. 최소 권한 인증정보, 제한된 도구, 거래 한도, 샌드박스 환경을 사용한다.
3. 중요한 단계에서 승인을 요구한다. 금융·법률·개인정보·안전과 관련된 행동은 적절한 인간 승인 없이 실행되지 않도록 한다.
4. 활동을 감사할 수 있게 한다. 로그를 남기고 행동을 모니터링하며 사고의 책임 주체를 명확히 한다.
5. 공격 시나리오를 기준으로 테스트한다. 프롬프트 인젝션, 데이터 유출, 유해 행동, 실패 후 복구 능력을 배포 전과 운영 중에 평가한다.
6. 인간의 통제권을 유지한다. 사람은 결과가 중대한 행동을 중단·재정의하고, 그 결정에 이의를 제기할 수 있어야 한다.

싱가포르 정보통신미디어개발청(IMDA)의 ‘에이전틱 AI 모델 거버넌스 프레임워크’는 자체 개발 에이전트와 외부 솔루션을 배포하는 조직을 대상으로 이러한 위험 기반 접근을 제시한다. 핵심 원칙은 자율성을 한꺼번에 부여하지 않고 단계적으로 확대하는 것이다. 읽기 전용 지원에서 시작해 저위험 행동으로 넘어가고, 되돌리기 어렵거나 영향이 큰 행동은 명시적인 승인을 거치도록 한다.

AI의 다음 단계는 ‘더 똑똑한 답변’이 아니라 ‘더 큰 실행 권한’이다

AI의 진화는 서로 단절된 세 시대라기보다 기능이 확장되는 하나의 층으로 이해하는 편이 정확하다. 전통적 시스템은 예측하고 분류한다. 생성형 시스템은 만들고 변환한다. 에이전틱 시스템은 여기에 계획, 도구 사용, 실행을 더한다.

거버넌스도 같은 속도로 확장돼야 한다. 예측 시스템에 필요한 정확도와 공정성 검토만으로는 충분하지 않다. 생성형 시스템에는 사실 검증, 출처 관리, 콘텐츠 안전 대책이 필요하다. 에이전트에는 여기에 권한 경계, 행동 승인 지점, 보안 모니터링, 명확한 책임 체계가 추가돼야 한다.

AI가 스스로 할 수 있는 일이 많아질수록, 조직과 사용자가 먼저 답해야 할 질문은 “무엇을 할 수 있는가”가 아니라 “무엇을 하도록 허용할 것인가”가 된다.