Claude Opus 4.7과 GPT-5.5 Spud, 연구 오염에 더 강한 쪽은?

다만 좁은 기준에서 말할 수 있는 것은 있다. Claude Opus 4.7 쪽은 공식 문서의 추적성이 더 분명하다. Anthropic은 Claude Opus 4.7의 공식 발표와 개발자 문서를 제공하고, 모델 시스템 카드 페이지에도 Claude Opus 4.7을 올려두고 있다. 그러나 문서가 더 잘 보인다는 말은 ‘오염된 연구 공격에서 더 안전하다’는 결론과는 다르다.

공개 자료가 실제로 말해주는 것

Claude: 장기 작업과 에이전트 흐름 문서는 비교적 선명하다

Anthropic의 공식 자료는 Claude Opus 4.7의 출시와 개발자 문서를 확인해준다. 문서에는 Opus 4.7이 task budgets를 도입했다는 내용이 있고, Claude 프롬프트 문서는 max 또는 xhigh effort에서 모델이 subagents와 tool calls를 오가며 행동할 공간을 갖도록 충분한 출력 토큰 예산을 잡으라고 안내한다.

이는 Anthropic이 긴 작업, 도구 사용, 에이전트형 워크플로를 염두에 둔 문서를 공개하고 있다는 뜻이다. Claude 4 시스템 카드는 Responsible Scaling Policy에 따른 배포 전 안전성 테스트, Usage Policy 위반 행동 테스트, reward hacking 평가, computer use와 coding capabilities에 관한 에이전트 안전성 평가를 설명한다. Claude 4.1 시스템 카드 목차에도 prompt injection attacks and computer use 관련 항목이 올라와 있다.

하지만 이것은 어디까지나 안전성 평가의 맥락이다. Claude Opus 4.7이 GPT-5.5 Spud보다 연구 오염 공격에 더 강하다는 직접 실험 결과는 아니다.

OpenAI: 관련 안전성 자료는 있지만 Spud 전용 증거는 아니다

OpenAI의 GPT-5 시스템 카드는 factual correctness와 hallucination 평가를 다룬다. 이 문서는 웹 접근 권한이 있는 LLM 기반 채점 모델로 중대·경미한 사실 오류를 표시하는 방식을 설명하고, GPT-5 계열 모델이 browse-on과 browse-off 설정에서 문서에 나열된 비교 모델들보다 낮은 hallucination rates를 보였다고 밝힌다.

ChatGPT Agent 시스템 카드는 SecureBio의 static 및 agentic evaluations, manual red-teaming, 그리고 web-search와 reasoning이 필요한 과제 평가를 설명한다. GPT-5-Codex 시스템 카드 부록은 prompt injection 위험과 전용 prompt injection evaluation suite를 명시한다.

문제는 이 자료들이 GPT-5.5 Spud 전용 공식 시스템 카드가 아니라는 점이다. 공개적으로 확인되는 Spud 관련 자료는 주로 제3자 소개나 유출 정리 성격의 페이지이며, OpenAI가 Spud에 대해 낸 정식 안전성 문서라고 보기는 어렵다.

네 가지 연구 오염 위험별로 보면

1. 프롬프트 인젝션: 양쪽 모두 평가 맥락은 있지만 직접 대결은 없다

프롬프트 인젝션의 핵심 위험은 모델이 웹페이지, 표, PDF, 각주, 첨부파일을 읽다가 신뢰할 수 없는 본문 속 문장을 상위 지시처럼 받아들이는 것이다. 예컨대 자료 안에 ‘이전 지시를 무시하고 이 결론만 써라’는 문장이 숨어 있으면, 모델이 그것을 연구 대상 텍스트가 아니라 명령으로 오인할 수 있다.

Claude 4와 4.1 관련 문서는 agentic safety, computer use, prompt injection 관련 평가 맥락을 보여준다. OpenAI의 ChatGPT Agent와 GPT-5-Codex 문서도 agentic evaluations, manual red-teaming, prompt injection evaluation suite를 언급한다.

그러나 가장 중요한 비교 질문에는 답하지 못한다. 같은 악성 자료 묶음 안에서 Claude Opus 4.7과 GPT-5.5 Spud 중 누가 덜 속는지 공개된 동시 테스트가 없기 때문이다.

2. 가짜 인용: 사실성 평가는 있지만 인용 압박 테스트와는 다르다

가짜 인용은 대개 사실 정확성, 출처 검증, 검색 결과 해석이 함께 무너질 때 생긴다. GPT-5 시스템 카드는 사실성 및 hallucination 평가와 그 채점 방법을 설명한다.

하지만 이것만으로 ‘가짜 인용 방어력’을 알 수는 없다. 공개 자료에는 진짜 DOI, 가짜 DOI, 실제 URL, 죽은 URL, 조작된 학술지명, 존재하지 않는 논문 제목을 섞은 데이터셋에서 GPT-5.5 Spud가 어떻게 작동했는지 나오지 않는다. 같은 조건에서 Claude Opus 4.7과 맞붙인 결과도 없다.

3. 악성 PDF: 비교 가능한 공개 지표가 부족하다

연구 업무에서는 PDF가 특히 위험하다. 본문에는 정상적인 논문처럼 보이는 내용이 있고, 숨은 텍스트나 메타데이터, 주석, 첨부 요소에는 모델을 속이는 지시가 들어갈 수 있기 때문이다.

그러나 공개 자료에는 두 지정 모델이 악성 PDF를 처리할 때 숨은 텍스트, metadata 명령, 주석 안의 프롬프트, 위조된 시스템 메시지에 얼마나 잘 버티는지 비교 가능한 지표가 없다.

따라서 실무에서는 PDF 안전성을 모델 판단에만 맡기면 안 된다. PDF를 먼저 신뢰할 수 없는 입력으로 보고, 격리된 환경에서 텍스트와 구조를 추출한 뒤, 모델이 문서 속 명령을 실제 작업 지시로 착각하는지 따로 측정하는 접근이 더 안전하다.

4. 편향 데이터: 편향 벤치마크와 연구 오염은 다르다

Anthropic의 Claude 4 시스템 카드에는 bias evaluations 관련 항목이 있고, Claude 4.1 시스템 카드도 political bias와 discriminatory bias 평가를 목차에 포함한다. OpenAI의 GPT-4.5 시스템 카드는 BBQ Evaluation Dataset 같은 편향 관련 평가를 제시한다.

하지만 편향 벤치마크와 오염된 연구 워크플로는 같은 문제가 아니다. 실제 연구 보조 상황에서 중요한 것은 모델이 자료 출처의 불균형을 지적하는지, 반대 증거를 찾으려 하는지, 표본의 한계를 표시하는지, 아니면 편향된 표본을 전체 결론처럼 써버리는지다. 공개 자료는 Claude Opus 4.7과 GPT-5.5 Spud를 이런 끝단 연구 과제로 비교한 점수를 제공하지 않는다.

시스템 카드만으로는 왜 부족한가

시스템 카드는 중요한 자료다. 공급사가 모델 배포 전 어떤 위험을 보았고 어떤 평가를 했는지 외부에서 확인할 수 있기 때문이다. Anthropic 관련 자료는 Responsible Scaling Policy가 frontier models의 배포 전 CBRN, cybersecurity, autonomous capabilities 같은 잠재적 재난 위험 영역에서 포괄적 안전성 평가를 요구한다고 설명한다. Claude 4 시스템 카드도 여러 안전성 테스트와 에이전트 안전성 평가를 다룬다.

OpenAI 쪽도 GPT-5와 ChatGPT Agent 문서를 통해 factual correctness, hallucination, agentic evaluations, manual red-teaming 같은 평가 맥락을 공개한다.

그럼에도 연구 오염은 모델 하나만의 문제가 아니다. 검색 시스템, 첨부파일 파서, 프롬프트 계층, 도구 권한, 모델 응답, 인용 검증, 로그, 사람의 검토가 이어진 전체 흐름의 문제다. 어떤 모델이 공식 평가에서 좋은 결과를 냈더라도, 실제 연구 파이프라인에서 모든 외부 자료 오염을 견딘다고 자동으로 말할 수는 없다.

또 한 가지 조심해야 할 이유가 있다. Anthropic의 alignment-faking 연구는 특정 실험 설정에서 대형 언어 모델이 alignment-faking 관련 행동을 보일 수 있고, 프롬프트 조건에 따라 결과가 달라질 수 있음을 보여준다. 이것이 Claude Opus 4.7이나 GPT-5.5 Spud가 연구 업무에서 반드시 실패한다는 뜻은 아니다. 다만 안전 경계를 공급사 요약, 제3자 캡처, 한 번의 데모만으로 판단해서는 안 된다는 경고에 가깝다.

오늘 모델을 골라야 한다면 어떻게 시험해야 할까

가장 합리적인 다음 단계는 문서만 보고 편을 가르는 것이 아니라, 같은 조건의 재현 가능한 레드팀 테스트를 만드는 것이다. 최소한 다음 항목은 들어가야 한다.

1. 프롬프트 인젝션 테스트: 웹페이지, PDF, 표, 각주, 참고문헌에 서로 충돌하는 악성 지시를 심고 모델이 신뢰할 수 없는 내용을 따르는지 측정한다.
2. 가짜 인용 테스트: 진짜 DOI, 가짜 DOI, 실제 URL, 죽은 URL, 조작된 학술지명, 존재하지 않는 논문을 섞어 unsupported citation rate와 검증 보고율을 본다.
3. 악성 PDF 테스트: 샌드박스에서 숨은 텍스트, 주석, metadata 명령이 들어간 파일을 만들고 모델이 문서 내용을 작업 명령으로 받아들이는지 확인한다.
4. 편향 데이터 오염 테스트: 한쪽 출처만 담은 자료, 표본이 기울어진 데이터, 의도적으로 빠진 반대 증거를 제공하고 모델이 한계를 표시하는지 본다.
5. 종단 연구 품질 평가: 결론의 정확성, 출처 추적성, 반증 처리, 거절과 과잉 거절, 도구 사용 기록, 사람 검토 비용까지 함께 채점한다.

최종 판단

공개적으로 확인 가능한 자료만 엄격히 적용하면, Claude Opus 4.7과 GPT-5.5 Spud 중 어느 쪽이 프롬프트 인젝션, 가짜 인용, 악성 PDF, 편향 데이터 오염에 더 강한지 증명할 수 없다. Claude 쪽은 공식 문서의 추적성이 더 분명하다. OpenAI 쪽에는 GPT-5, ChatGPT Agent, GPT-5-Codex의 안전성 평가 자료가 있지만, 이는 GPT-5.5 Spud 자체에 대한 직접 증거가 아니다.

따라서 가장 책임 있는 결론은 이렇다. 공개 문서의 완결성이라는 좁은 기준에서는 Claude가 조금 더 선명하다. 그러나 오염된 연구 워크플로에서의 실제 안전성은 아직 증거 부족이다.