최첨단 AI보다 더 위험한 것은 ‘몇 달 늦은’ 오픈 웨이트 모델

팔로알토 네트웍스의 최고정보책임자(CIO) Meerah Rajavel이 꼽은 가장 큰 사이버 보안 위협은 OpenAI나 Anthropic 같은 기업의 통제된 프런티어 모델이 아니다. 그보다 몇 달 늦은 성능을 내면서도 누구나 내려받아 실행할 수 있는 저렴한 오픈 웨이트(open-weight) AI 모델이 더 시급한 위험이라는 것이 그의 경고다. 6

오픈 웨이트 모델은 학습된 매개변수, 즉 모델의 ‘가중치’가 공개된 AI를 뜻한다. 가중치가 외부에 배포되면 사용자는 기업이 제공하는 API를 거치지 않고 자신의 컴퓨터나 클라우드 서버에서 모델을 직접 실행할 수 있다. 바로 이 지점에서 기존의 보안 통제 방식이 흔들린다.

API 밖으로 빠져나가는 AI

기업이 호스팅하는 AI API에는 일반적으로 사용 기록, 이상 행위 탐지, 호출량 제한, 정책 enforcement, 안전성 업데이트, 계정 정지 같은 통제 수단이 붙는다. 반면 모델을 내려받아 로컬에서 실행하면 이런 통제 영역을 벗어날 수 있다.

사용자가 안전장치를 수정하거나 제거할 수 있고, 모델 개발자가 원격으로 패치를 적용하거나 사용을 중단시킬 수도 없다. 기업 보안팀이 직원이 어떤 모델을 내려받아 무슨 작업에 사용했는지 파악하지 못할 가능성도 있다. Rajavel이 우려한 핵심은 특정 모델 하나의 성능이 아니라, 통제하기 어려운 AI 능력이 빠르게 확산되는 구조다. 6

공격용 AI의 진입장벽을 낮추는 비용 하락

클라우드 GPU 임대료가 낮아지고 로컬 실행이 쉬워지면, 고성능 AI를 공격에 활용하는 데 필요한 비용과 운영 부담도 함께 줄어든다. 공격자는 모델을 이용해 정찰, 취약점 탐색과 악용 코드 개발, 피싱 문구 작성, 악성코드 변형, 표적별 공격 자동화 등을 더 빠르게 시도할 수 있다.

이는 오픈 웨이트 모델을 사용하는 모든 사람이 악의적이라는 뜻은 아니다. 문제는 강력한 도구가 더 많은 행위자에게 배포되면서 사이버 공격을 자동화하고 규모를 키울 가능성이 커진다는 데 있다. 오픈 웨이트 대규모언어모델(LLM)의 위험을 분석한 연구도 공개 배포가 공격 주체의 범위와 자동화 수준을 넓힐 수 있다고 지적한다. 2

한 번의 거절보다 긴 대화가 문제

모델이 첫 번째 악성 요청을 거절한다고 해서 안전하다고 단정하기도 어렵다. Cisco 연구진이 오픈 웨이트 LLM 8개를 평가한 결과, 여러 차례 대화를 이어가며 모델의 응답을 유도하는 ‘다중 턴 공격’의 성공률은 단일 턴 기준보다 2~10배 높았다. 보고된 다중 턴 공격 성공률은 25.86%에서 92.78% 사이였다. 3

즉, 첫 질문에는 거부하던 모델도 공격자가 표현을 바꾸고 요청을 쪼개거나 대화 맥락을 조작하면 결국 유해한 답변을 내놓을 수 있다는 의미다. AI 보안에서 단일 프롬프트 테스트만으로 실제 대화형 공격에 대한 내성을 판단하기 어려운 이유다.

모델 파일 자체도 공급망 위험이 된다

기업이 모델을 직접 내려받아 운영하면 신뢰해야 할 대상은 가중치 파일 하나로 끝나지 않는다. 모델 변환 형식, 대화 템플릿, 추론 서버, 라이브러리와 각종 종속성까지 검증해야 한다.

Cloud Security Alliance는 자체 호스팅 LLM 환경에서 모델을 불러오는 시점에 악성 실행 로직이나 템플릿이 작동해 자격 증명 탈취 또는 데이터 유출로 이어질 수 있는 위협을 문서화했다. 12 다만 하나의 CSA 조사 결과가 Meta의 Llama, Mistral, Alibaba의 Qwen을 모두 특정했다는 표현은 1차 CSA 자료에서 독립적으로 확인되지 않는다. 따라서 해당 모델명을 한 조사 결과로 묶어 단정해서는 안 된다.

팔로알토 네트웍스 공격 통계는 어떻게 봐야 하나

관련 논의에서 팔로알토 네트웍스가 지난 1년 동안 약 300억 건의 공격을 차단하고 약 2억5,000만 개의 신규 공격 벡터를 관찰했다는 수치가 언급됐지만, 확인 가능한 회사의 1차 자료가 제시하는 수치는 다르다.

팔로알토 네트웍스가 미국 정부의 AI 행동계획 관련 정보요청에 제출한 자료에 따르면 회사는 매일 최대 890만 건의 새롭거나 이전에 관찰되지 않은 공격을 탐지하고, 매일 최대 309억 건의 공격을 차단한다. 1

이 수치는 연간 누적치라기보다 일일 처리 규모다. 수치 자체는 Rajavel의 broader한 경고를 뒷받침한다. 이미 공격 환경이 매우 빠르고 다양하게 변하는 상황에서, 널리 배포되고 수정 가능한 AI 모델은 공격자의 시도와 개선 주기를 더 짧게 만들 수 있다.

기업이 주목해야 할 지점

이번 경고의 요지는 ‘오픈 웨이트 AI를 사용하지 말라’는 단순한 결론이 아니다. 기업이 모델을 도입할 때 다음과 같은 질문을 별도로 관리해야 한다는 뜻에 가깝다.

• 어떤 모델 파일과 변환 형식을 내려받았으며 출처와 무결성을 검증했는가?
• 로컬에서 실행되는 모델과 추론 서버를 보안팀이 파악하고 있는가?
• 모델에 민감한 데이터와 자격 증명이 전달되지 않도록 격리했는가?
• 안전장치가 변경되거나 제거됐는지 지속적으로 점검할 수 있는가?
• 단일 프롬프트뿐 아니라 반복적인 다중 턴 공격을 포함해 평가했는가?

프런티어 모델의 성능이 공개 모델에 복제되기까지 걸리는 시간이 네 달에서 여섯 달 수준으로 좁혀질 수 있다는 전망이 나오는 가운데, 방어자에게 남은 시간도 그만큼 줄어들 수 있다. 11 Rajavel의 경고가 겨냥한 위험은 가장 강력한 모델의 등장 자체보다, 충분히 강력한 모델이 통제 장치 없이 빠르게 복제되고 배포되는 속도다.