Claude Opus 4.7 và GPT-5.5 Spud: bằng chứng về regression drift thực sự nói gì?

Vì vậy, output khác đi không tự động chứng minh model kém hơn. Đó có thể là suy giảm chất lượng thật, nhưng cũng có thể là lỗi tái lập ở tầng vận hành: tokenizer đổi, ngân sách đổi, retrieval khác, timeout khác, hoặc harness kiểm thử đã thay đổi.

Nghiên cứu chung: có lý do để cẩn trọng, nhưng không có “người thắng”

Các nghiên cứu rộng hơn ủng hộ quan điểm rằng hành vi của LLM có thể thay đổi và cần được đo lại. Một bài nghiên cứu về nondeterministic drift cho biết họ định lượng drift hành vi nền trên hai LLM và lưu ý rằng drift có thể biểu hiện khác nhau giữa các model . Một nghiên cứu khác về ChatGPT báo cáo các thay đổi ngắn hạn trong hiệu năng và hành vi của GPT-3.5 và GPT-4 .

Những nguồn này đủ để nhắc các đội kỹ thuật không nên mặc định model sẽ “đứng yên” sau cập nhật. Nhưng chúng không đưa ra tỷ lệ drift riêng cho Claude Opus 4.7 hay GPT-5.5 Spud, cũng không chứng minh model nào tái lập tốt hơn model nào.

Phần chắc chắn hơn: Claude Opus 4.7 có thay đổi vận hành đã được ghi nhận

Anthropic nói nhà phát triển có thể dùng claude-opus-4-7 qua Claude API . Trong ghi chú cập nhật riêng cho model, Anthropic cho biết Claude Opus 4.7 giới thiệu task budgets và tokenizer mới . Cùng ghi chú này nói tokenizer mới có thể dùng khoảng 1x đến 1,35x số token so với các model trước, tối đa khoảng 35% nhiều hơn tùy nội dung, và endpoint /v1/messages/count_tokens sẽ trả về số token khác cho Claude Opus 4.7 so với Claude Opus 4.6 .

Điều này cho phép rút ra một kết luận hẹp nhưng quan trọng: nếu workflow của bạn phụ thuộc vào số token, ngưỡng ngân sách, giới hạn context, rule định tuyến hoặc ước tính chi phí, việc chuyển sang Opus 4.7 có thể khiến hệ thống không còn hành xử y hệt, dù văn bản prompt không đổi .

Nhưng kết luận đó không đồng nghĩa Opus 4.7 đã có regression chất lượng được đo lường. Thay đổi tokenizer và task budget có thể làm giảm khả năng tái lập ở cấp hệ thống mà không chứng minh bản thân model “tệ hơn”.

Phần còn thiếu: GPT-5.5 Spud chưa có nền tài liệu tương đương trong bộ nguồn này

Với GPT-5.5 Spud, bộ nguồn hiện tại yếu hơn nhiều. Trang OpenAI API được cung cấp là kết quả “Page not found” cho một URL tài liệu GPT-3.5-turbo, không phải nguồn chính thức về GPT-5.5 Spud . Một nguồn thứ cấp bàn về GPT-5.5 Spud cũng nói chưa có ngày phát hành chính thức, model card hoặc giá API cho GPT-5.5 được công bố .

Điều này không chứng minh Spud mạnh hay yếu, ổn định hay bất ổn. Nó chỉ có nghĩa là với bộ bằng chứng này, không thể đưa ra tuyên bố có căn cứ về hành vi API, nhịp cập nhật, tokenizer, lịch sử regression hoặc khả năng tái lập của Spud.

Tóm tắt bằng chứng

Nên kiểm thử cập nhật model như thế nào?

Bài học thực tế là: hãy xem cập nhật model như một lần di trú hệ thống, không phải thay một tên model rồi coi như xong. Muốn đánh giá đúng, cần tách chất lượng hành vi của model khỏi các hiệu ứng hạ tầng và đo lường.

Một kế hoạch tối thiểu nên gồm:

1. Ghi lại chính xác bề mặt kiểm thử. Lưu model identifier, prompt, system instructions, schema của tool, context retrieval, file đầu vào, ảnh đầu vào và cấu hình decoding. Cách làm này phù hợp với nhu cầu thiết kế nghiên cứu LLM sao cho có thể tái lập và kiểm chứng lại .
2. Chạy setup cũ và mới trên cùng bộ ca kiểm thử. Nghiên cứu về drift ủng hộ việc đo hành vi model theo thời gian, thay vì giả định nó bất biến .
3. Thêm test nhạy với token và ngân sách khi chuyển sang Opus 4.7. Hãy đếm lại token và chạy lại các ca sát giới hạn, vì Anthropic nói số token của Opus 4.7 có thể khác Opus 4.6 và model này giới thiệu task budgets .
4. Phân loại lỗi theo nguyên nhân có khả năng nhất. Bị cắt vì ngân sách, lệch số token, retrieval không trúng hoặc timeout trong harness là các vấn đề khác với regression về chất lượng suy luận.
5. Đừng benchmark một model chưa được xác minh như tin đồn với một API target đã có tài liệu. Cho đến khi có tài liệu chính thức hoặc API reference ổn định cho GPT-5.5 Spud trong bộ nguồn, các tuyên bố về khả năng tái lập của nó vẫn chưa được hỗ trợ ở đây .
6. Kiểm thử lại sau mỗi thay đổi đáng kể. Tài liệu nghiên cứu cho thấy hành vi LLM có thể dịch chuyển, và reproducibility phải được đưa vào quy trình đánh giá thay vì chỉ kiểm tra cảm tính .

Kết luận

Kết luận thận trọng nhưng quan trọng là: chưa có người thắng được xác minh trong so sánh Claude Opus 4.7 và GPT-5.5 Spud về regression drift hoặc khả năng tái lập sau cập nhật.

Claude Opus 4.7 có tài liệu chính thức từ Anthropic và có các thay đổi vận hành đã biết có thể ảnh hưởng đến độ lặp lại của workflow nhạy với token hoặc ngân sách . GPT-5.5 Spud không có bằng chứng chính thức tương đương từ OpenAI trong bộ nguồn đã xem xét; trang OpenAI API được cung cấp là “Page not found”, và một nguồn thứ cấp nói chưa có ngày phát hành, model card hoặc giá API chính thức . Các nghiên cứu rộng hơn cho thấy drift và vấn đề tái lập ở LLM là có thật, đủ để phải đo cẩn thận thay vì bỏ qua .