Trong hệ thống AI chạy production, regression drift có thể hiểu là tình huống hôm qua hệ thống trả lời đúng, đúng format, gọi đúng tool, không vượt giới hạn; hôm nay sau một thay đổi nào đó thì cùng bài kiểm thử lại trượt.
Thay đổi đó không nhất thiết chỉ nằm ở “não” của model. Nó có thể đến từ model mới, nền tảng API, prompt, tool, retrieval, bộ dữ liệu đưa vào, cấu hình decode, timeout hoặc chính bộ đánh giá. Biểu hiện cũng rất đa dạng: câu trả lời kém hơn, định dạng khác đi, gọi tool theo cách khác, bị cắt vì ngân sách tác vụ, số token thay đổi, hoặc lỗi khi tiến gần giới hạn context.
Vì vậy, output khác đi không tự động chứng minh model kém hơn. Đó có thể là suy giảm chất lượng thật, nhưng cũng có thể là lỗi tái lập ở tầng vận hành: tokenizer đổi, ngân sách đổi, retrieval khác, timeout khác, hoặc harness kiểm thử đã thay đổi.
Các nghiên cứu rộng hơn ủng hộ quan điểm rằng hành vi của LLM có thể thay đổi và cần được đo lại. Một bài nghiên cứu về nondeterministic drift cho biết họ định lượng drift hành vi nền trên hai LLM và lưu ý rằng drift có thể biểu hiện khác nhau giữa các model . Một nghiên cứu khác về ChatGPT báo cáo các thay đổi ngắn hạn trong hiệu năng và hành vi của GPT-3.5 và GPT-4 .
Những nguồn này đủ để nhắc các đội kỹ thuật không nên mặc định model sẽ “đứng yên” sau cập nhật. Nhưng chúng không đưa ra tỷ lệ drift riêng cho Claude Opus 4.7 hay GPT-5.5 Spud, cũng không chứng minh model nào tái lập tốt hơn model nào.
Anthropic nói nhà phát triển có thể dùng claude-opus-4-7 qua Claude API . Trong ghi chú cập nhật riêng cho model, Anthropic cho biết Claude Opus 4.7 giới thiệu task budgets và tokenizer mới . Cùng ghi chú này nói tokenizer mới có thể dùng khoảng 1x đến 1,35x số token so với các model trước, tối đa khoảng 35% nhiều hơn tùy nội dung, và endpoint /v1/messages/count_tokens sẽ trả về số token khác cho Claude Opus 4.7 so với Claude Opus 4.6 .
Điều này cho phép rút ra một kết luận hẹp nhưng quan trọng: nếu workflow của bạn phụ thuộc vào số token, ngưỡng ngân sách, giới hạn context, rule định tuyến hoặc ước tính chi phí, việc chuyển sang Opus 4.7 có thể khiến hệ thống không còn hành xử y hệt, dù văn bản prompt không đổi .
Nhưng kết luận đó không đồng nghĩa Opus 4.7 đã có regression chất lượng được đo lường. Thay đổi tokenizer và task budget có thể làm giảm khả năng tái lập ở cấp hệ thống mà không chứng minh bản thân model “tệ hơn”.
Với GPT-5.5 Spud, bộ nguồn hiện tại yếu hơn nhiều. Trang OpenAI API được cung cấp là kết quả “Page not found” cho một URL tài liệu GPT-3.5-turbo, không phải nguồn chính thức về GPT-5.5 Spud . Một nguồn thứ cấp bàn về GPT-5.5 Spud cũng nói chưa có ngày phát hành chính thức, model card hoặc giá API cho GPT-5.5 được công bố .
Điều này không chứng minh Spud mạnh hay yếu, ổn định hay bất ổn. Nó chỉ có nghĩa là với bộ bằng chứng này, không thể đưa ra tuyên bố có căn cứ về hành vi API, nhịp cập nhật, tokenizer, lịch sử regression hoặc khả năng tái lập của Spud.
| Câu hỏi | Nguồn hiện có ủng hộ điều gì | Nguồn hiện có không ủng hộ điều gì |
|---|---|---|
| LLM drift có phải vấn đề thật không? | Có, ở mức tổng quát. Drift đã được nghiên cứu trên LLM, và hành vi ChatGPT từng được báo cáo thay đổi trong các khoảng thời gian ngắn . | Không chứng minh Opus 4.7 hay GPT-5.5 Spud drift nhiều hơn hoặc ít hơn model còn lại. |
| Khả năng tái lập có phải thách thức đã biết không? | Có. Hướng dẫn nghiên cứu thực nghiệm với LLM đề cập trực tiếp đến thách thức về reproducibility và replicability . | Không chứng minh vài lần kiểm prompt thủ công là đủ để khẳng định hệ thống production ổn định. |
| Biết gì chắc hơn về Opus 4.7? | Anthropic có tài liệu về khả năng dùng claude-opus-4-7 qua API , và nói Opus 4.7 có task budgets cùng thay đổi tokenizer có thể làm số token khác đi . | Không có tỷ lệ regression sau cập nhật được công bố cho Opus 4.7 trong bộ nguồn này. |
| Biết gì chắc hơn về GPT-5.5 Spud? | Bằng chứng chính thức trong hồ sơ là không đủ; URL OpenAI được cung cấp là “Page not found” , còn một nguồn thứ cấp nói chưa có ngày phát hành, model card hoặc giá API chính thức . | Không thể nói Spud ổn định hơn, kém ổn định hơn, dễ tái lập hơn hoặc khó tái lập hơn Opus 4.7. |
| Có kết luận đối đầu về drift không? | Không. | Không có cơ sở nguồn để nói model nào là lựa chọn an toàn hơn về regression drift. |
Bài học thực tế là: hãy xem cập nhật model như một lần di trú hệ thống, không phải thay một tên model rồi coi như xong. Muốn đánh giá đúng, cần tách chất lượng hành vi của model khỏi các hiệu ứng hạ tầng và đo lường.
Một kế hoạch tối thiểu nên gồm:
Kết luận thận trọng nhưng quan trọng là: chưa có người thắng được xác minh trong so sánh Claude Opus 4.7 và GPT-5.5 Spud về regression drift hoặc khả năng tái lập sau cập nhật.
Claude Opus 4.7 có tài liệu chính thức từ Anthropic và có các thay đổi vận hành đã biết có thể ảnh hưởng đến độ lặp lại của workflow nhạy với token hoặc ngân sách . GPT-5.5 Spud không có bằng chứng chính thức tương đương từ OpenAI trong bộ nguồn đã xem xét; trang OpenAI API được cung cấp là “Page not found”, và một nguồn thứ cấp nói chưa có ngày phát hành, model card hoặc giá API chính thức . Các nghiên cứu rộng hơn cho thấy drift và vấn đề tái lập ở LLM là có thật, đủ để phải đo cẩn thận thay vì bỏ qua .