Claude Opus 4.7 vs GPT-5.5 Spud: 업데이트 후 드리프트 근거가 실제로 말하는 것

회귀 드리프트란 무엇인가

프로덕션 AI에서 회귀 드리프트(regression drift)는 업데이트 전에는 통과하던 동작이 업데이트 후 같은 조건에서 실패하는 간극을 뜻한다. 원인은 모델 자체일 수도 있지만, 플랫폼 변경, 프롬프트 수정, 도구 스키마 변경, 검색·RAG 컨텍스트 차이, 평가 하네스 변경처럼 시스템 주변부에 있을 수도 있다.

겉으로는 모두 “답이 달라졌다”로 보일 수 있다. 하지만 출력이 바뀌었다고 해서 곧바로 모델 능력이 떨어졌다는 뜻은 아니다. 실제 품질 회귀일 수도 있지만, 토큰화 방식, 예산 설정, 타임아웃, 검색 결과, 테스트 하네스가 달라져 생긴 운영 재현성 문제일 수도 있다.

이 구분이 중요하다. 원인을 잘못 짚으면 모델을 잘못 교체하거나, 반대로 프롬프트와 평가 환경의 문제를 모델 탓으로 돌리게 된다.

일반 연구는 “주의하라”는 말은 해도 “승자”를 말하지 않는다

LLM이 시간이 지나며 다르게 행동할 수 있다는 일반적 우려는 연구 문헌에서도 확인된다. 한 연구는 두 LLM의 기본 행동 드리프트를 정량화하며, 드리프트가 모델마다 다르게 나타날 수 있다고 설명한다 . 또 다른 ChatGPT 연구는 GPT-3.5와 GPT-4의 성능 및 행동이 짧은 기간에도 변화했다고 보고한다 .

이런 근거는 모델이나 플랫폼이 바뀐 뒤 재측정이 필요하다는 주장을 뒷받침한다. 다만 이 연구들이 Claude Opus 4.7과 GPT-5.5 Spud의 드리프트율을 직접 측정했다는 뜻은 아니다. 따라서 어느 한쪽이 더 재현성이 높다고 결론 내리는 근거로 쓰기에는 부족하다.

Claude Opus 4.7에 대해 확인되는 것

Anthropic은 개발자가 Claude API를 통해 claude-opus-4-7을 사용할 수 있다고 안내한다 . 또 Claude Opus 4.7 관련 업데이트 문서에는 이 모델이 작업 예산과 새 토크나이저를 도입한다고 적혀 있다 . 같은 문서는 새 토크나이저가 이전 모델 대비 대략 1배에서 1.35배의 토큰을 사용할 수 있으며, 콘텐츠에 따라 최대 약 35% 더 많을 수 있다고 설명한다. 또한 /v1/messages/count_tokens가 Claude Opus 4.7에서는 Claude Opus 4.6 때와 다른 토큰 수를 반환한다고 밝힌다 .

여기서 도출할 수 있는 결론은 좁지만 실무적으로 중요하다. 토큰 수, 예산 임계값, 컨텍스트 한도, 라우팅 규칙, 비용 추정에 의존하는 워크플로는 프롬프트 문장이 그대로여도 Opus 4.7 이전 후 동일하게 동작하지 않을 수 있다 .

다만 이것이 곧 Opus 4.7의 품질 회귀가 측정됐다는 뜻은 아니다. 토크나이저와 작업 예산 변경은 시스템 수준의 반복 가능성에 영향을 줄 수 있지만, 그 자체만으로 모델이 “나빠졌다”는 증거는 아니다.

GPT-5.5 Spud에 대해 검증되는 것

GPT-5.5 Spud 쪽 근거는 훨씬 약하다. 제공된 OpenAI API 문서는 GPT-5.5 Spud의 공식 문서가 아니라 GPT-3.5-turbo 문서 경로에 대한 “Page not found” 결과다 . GPT-5.5 Spud를 다룬 2차 출처도 GPT-5.5의 공식 출시일, 모델 카드, API 가격이 발표되지 않았다고 말한다 .

이는 Spud의 실제 성능이나 가능성을 부정하는 말이 아니다. 다만 이 근거 묶음만으로는 Spud의 API 동작, 업데이트 주기, 토크나이저, 회귀 이력, 재현성을 말할 수 없다는 뜻이다.

근거별로 보면 무엇이 보이고, 무엇이 보이지 않나

모델 업데이트는 ‘교체’가 아니라 ‘마이그레이션’이다

실무적인 결론은 단순하다. 모델 업데이트를 드롭인 교체처럼 다루면 안 된다. 특히 재현성이 중요한 팀이라면 행동 품질 문제와 인프라·측정 문제를 분리해서 봐야 한다.

최소한 다음 절차는 갖추는 편이 안전하다.

1. 테스트 표면을 정확히 기록한다. 모델 식별자, 프롬프트, 시스템 지시문, 도구 스키마, 검색 컨텍스트, 입력 파일, 이미지 입력, 디코딩 설정을 남긴다. 이는 LLM 연구에서 재현성과 반복 가능성을 확보하려는 일반적 필요와도 맞닿아 있다 .
2. 기존 설정과 새 설정을 같은 케이스에 돌린다. 드리프트 연구는 모델 동작이 항상 고정돼 있다고 가정하지 말고 시간에 따라 측정해야 함을 시사한다 .
3. Opus 4.7 이전에는 토큰·예산 민감 테스트를 추가한다. Anthropic은 Opus 4.7의 토큰 수가 Opus 4.6과 다를 수 있고 작업 예산을 도입한다고 설명하므로, 한도 근처의 케이스는 토큰을 다시 세고 재실행해야 한다 .
4. 실패 원인을 분류한다. 예산 초과, 토큰 수 변화, 검색 누락, 평가 하네스 타임아웃은 추론 품질 회귀와 다르다.
5. 검증되지 않은 모델 소문을 문서화된 API 대상과 같은 선상에서 벤치마크하지 않는다. 이 근거 묶음 안에서 GPT-5.5 Spud에 대한 공식 문서나 안정적 API 레퍼런스가 확인되기 전까지, Spud의 재현성 주장은 뒷받침되지 않는다 .
6. 중요한 변경 뒤에는 매번 다시 테스트한다. 문헌은 LLM 동작이 변할 수 있고, 재현성은 평가 과정 안에 설계돼야 한다는 점을 뒷받침한다 .

결론

현재 방어 가능한 결론은 제한적이지만 분명하다. Claude Opus 4.7과 GPT-5.5 Spud 중 업데이트 후 회귀 드리프트나 재현성 측면에서 검증된 정면 비교 승자는 없다.

Claude Opus 4.7은 Anthropic의 공식 문서가 있으며, 토큰 또는 예산에 민감한 워크플로의 반복 가능성에 영향을 줄 수 있는 운영상 변화가 확인된다 . 반면 GPT-5.5 Spud는 검토된 근거 안에서 이에 상응하는 OpenAI 공식 자료가 없다. 제공된 OpenAI API 페이지는 “Page not found” 결과이고, 2차 출처는 공식 출시일·모델 카드·API 가격이 발표되지 않았다고 말한다 .

따라서 지금 할 수 있는 가장 합리적인 판단은 어느 모델을 승자로 선언하는 것이 아니라, 모델 업데이트를 체계적으로 재검증하는 것이다. LLM 드리프트와 재현성 문제는 무시해도 되는 예외가 아니라, 운영 평가 설계 안에서 관리해야 할 변수다 .