Snowflake Dynamic Model Routing: Cortex AI Gateway sẽ chọn mô hình AI như thế nào?

Snowflake vừa công bố tính năng Dynamic Model Routing cho Cortex AI Gateway — cơ chế được thiết kế để chọn một mô hình AI đã được phê duyệt cho từng tác vụ, thay vì gửi mọi yêu cầu tới cùng một mô hình frontier mạnh nhất. Tính năng này dự kiến sớm bước vào giai đoạn private preview, nên đây vẫn là thông báo sản phẩm, chưa phải một bản phát hành rộng rãi.

Ý tưởng cốt lõi khá dễ hiểu: dùng các mô hình rẻ và hiệu quả hơn khi chúng đủ khả năng xử lý công việc, đồng thời dành các mô hình mạnh cho những tác vụ cần suy luận sâu. Snowflake gọi cách tiếp cận này là “intelligence efficiency” — tối ưu chi phí cho một kết quả kinh doanh hoàn tất, thay vì chỉ tìm cách giảm giá từng token riêng lẻ.

Snowflake đã công bố những gì?

Dynamic Model Routing sẽ được cung cấp thông qua Cortex AI Gateway và tích hợp vào hai sản phẩm CoCo và CoWork của Snowflake. Các AI agent của bên thứ ba kết nối qua gateway cũng có thể sử dụng tính năng này. Doanh nghiệp sẽ được xác định những mô hình nào đủ điều kiện và muốn ưu tiên yếu tố nào trong từng ứng dụng, chẳng hạn chi phí, chất lượng hay độ trễ.

Bộ định tuyến được thiết kế để chọn mô hình có chi phí thấp nhất trong danh sách được quản trị viên phê duyệt, miễn là mô hình đó có thể hoàn thành tác vụ với mức độ tin cậy cần thiết. Những yêu cầu đơn giản, lặp lại hoặc ít phức tạp có thể được chuyển tới các mô hình mở hiệu quả hơn. Ngược lại, các tác vụ đòi hỏi suy luận sâu có thể chuyển sang mô hình frontier của Anthropic, OpenAI hoặc Google.

Doanh nghiệp vẫn có thể giữ quyền kiểm soát thủ công bằng cách cố định một mô hình cụ thể hoặc thu hẹp danh sách mô hình được phép sử dụng, thay vì bật định tuyến tự động hoàn toàn. Snowflake cũng cho biết hệ thống có thể tuân thủ yêu cầu về nơi lưu trữ dữ liệu, chính sách quản trị và ghi lại mô hình được chọn cho từng yêu cầu. Điều này khiến tính năng không chỉ liên quan đến quản lý chi phí AI mà còn hữu ích cho quy trình lựa chọn mô hình có thể kiểm toán.

Cơ chế định tuyến dự kiến hoạt động ra sao?

Snowflake mô tả hai cơ chế chính để xác định một tác vụ có cần năng lực mô hình cao hơn hay không.

Mô hình “advisor pattern”

Trong mô hình này, một mô hình nhỏ hơn sẽ thử xử lý tác vụ trước. Nếu không thể hoàn tất công việc ở mức đạt yêu cầu, mô hình nhỏ có thể gọi một mô hình lớn hơn như một công cụ, sau đó tiếp tục xử lý. Cách làm này nhằm tránh phải trả mức giá của mô hình frontier cho những yêu cầu mà mô hình nhỏ vẫn có thể giải quyết, nhưng vẫn duy trì đường lui cho các trường hợp khó hơn.

Định tuyến dựa trên bộ phân loại

Một bộ phân loại riêng có thể sử dụng các mẫu từ những truy vấn trước đây để nhận diện yêu cầu đơn giản và chuyển chúng tới các mô hình nhẹ hơn. Như vậy, hệ thống có hai hướng xử lý: bắt đầu bằng mô hình nhỏ rồi nâng cấp khi cần, hoặc phân loại yêu cầu trước khi chọn mô hình phù hợp.

Tuy nhiên, câu hỏi quan trọng trong vận hành không phải chỉ là hệ thống có chọn được mô hình rẻ hơn hay không. Một lần thử thất bại, việc chuyển cấp, gọi lại hoặc thực thi công cụ không thành công đều có thể làm tăng số token, độ trễ và độ phức tạp kỹ thuật.

Kết quả hiệu quả do Snowflake tự báo cáo

Snowflake cho biết trong một bài kiểm thử nội bộ trên tác vụ xây dựng pipeline dbt, định tuyến động đạt mức hiệu quả token cao hơn tối đa 3 lần khi duy trì chất lượng tương đương so với chỉ sử dụng mô hình frontier. Trong một bài kiểm thử khác với workload lập trình, công ty cho biết các nhóm kỹ sư vẫn duy trì số lượng pull request được xử lý trong khi dùng ít hơn khoảng 25% token.

Các con số này cần được xem là kết quả đánh giá nội bộ do nhà cung cấp báo cáo, chưa phải kết quả khách hàng được kiểm chứng độc lập. Hiệu quả thực tế cũng có thể thay đổi đáng kể tùy workload. Bộ định tuyến hoạt động tốt với tác vụ kỹ thuật dữ liệu hoặc lập trình lặp lại có thể cho kết quả khác khi xử lý nghiên cứu dài, sử dụng công cụ phức tạp hoặc các quyết định có rủi ro cao.

Vì vậy, chỉ số đáng quan tâm nhất không phải là “đã tiết kiệm bao nhiêu token” nếu đứng riêng lẻ. Doanh nghiệp nên đo chi phí để hoàn tất thành công một tác vụ được chấp nhận, đồng thời theo dõi chất lượng, độ trễ, độ tin cậy và lượng công việc phải sửa lại bằng tay.

Bổ sung DeepSeek và GLM vào danh mục mô hình

Snowflake đang mở rộng nhóm mô hình có thể sử dụng qua Cortex AI với DeepSeek-V4-Flash 0731 và GLM-5.3 của Z.ai. DeepSeek-V4-Flash 0731 đã được công bố cho private preview, trong đó có khả năng sử dụng trong CoCo. GLM-5.3 được mô tả là sẽ sớm đi vào private preview, tùy thuộc khả năng cung cấp.

Snowflake cho biết DeepSeek-V4-Flash đạt 74,4% trong ADE-bench qua kiểm thử nội bộ, sử dụng CoCo làm bộ khung cho AI agent. Công ty cũng dẫn lại kết quả kiểm thử trước đây với GLM-5.2, không phải GLM-5.3, ở mức 66% và có lượng token sử dụng thấp nhất trong bài đánh giá đó. Do đó, kết quả của GLM-5.2 không nên được hiểu là kết quả đã công bố của GLM-5.3.

Việc bổ sung thêm mô hình mở hỗ trợ trực tiếp cho chiến lược định tuyến: danh mục càng rộng, hệ thống càng có nhiều cơ hội ghép yêu cầu với một mô hình phù hợp về chi phí và hiệu năng. Khách hàng cũng có thêm lựa chọn ngoài nhóm nhà cung cấp mô hình frontier quen thuộc.

Lợi thế từ “vùng biên dữ liệu được quản trị”

Điểm khác biệt chiến lược mà Snowflake nhấn mạnh là việc định tuyến và quyền truy cập mô hình được gắn với môi trường dữ liệu đã được quản trị của nền tảng. Công ty cho biết mình trực tiếp cung cấp các mô hình mở mới, thay vì chỉ chuyển tiếp yêu cầu tới API của bên thứ ba; dữ liệu, năng lực tính toán suy luận, trọng số mô hình và hoạt động điều phối agent đều nằm trong vùng bảo mật của Snowflake. Công ty cũng viện dẫn các cơ chế kiểm soát truy cập dựa trên vai trò và kiểm toán hiện có.

Đây là tuyên bố về kiến trúc của Snowflake, không phải bảo đảm áp dụng giống nhau cho mọi triển khai. Doanh nghiệp vẫn cần xác minh các yếu tố cụ thể với môi trường của mình, bao gồm khu vực triển khai, yêu cầu về nơi lưu trữ dữ liệu, điều khoản hợp đồng, cách ghi log và những mô hình thực sự được phép dùng cho từng workload.

Giá trị của cách tiếp cận này rõ nhất với các tổ chức đã lưu trữ dữ liệu phân tích được quản trị và xây dựng ứng dụng AI trên Snowflake. Khi đó, lợi ích không chỉ nằm ở việc chọn mô hình rẻ hơn: gateway còn biến lựa chọn mô hình thành một phần của cùng hệ thống kiểm soát truy cập và kiểm toán dữ liệu.

Snowflake đứng ở đâu trong thị trường định tuyến mô hình?

Định tuyến mô hình không phải ý tưởng chỉ Snowflake mới có. Chẳng hạn, Amazon Bedrock cung cấp Intelligent Prompt Routing thông qua một endpoint serverless, cho phép phân phối yêu cầu giữa các mô hình nền tảng trong cùng một họ dựa trên chất lượng phản hồi dự đoán và chi phí.

So sánh quan trọng hơn nằm ở nơi quyết định định tuyến, chính sách quản trị, hoạt động thực thi mô hình, quyền truy cập dữ liệu và khả năng theo dõi chi phí được quản lý. Snowflake nhấn mạnh vùng biên dữ liệu được quản trị và tích hợp chặt với nền tảng. Các gateway khác có thể ưu tiên lựa chọn nhà cung cấp rộng hơn, quản lý lưu lượng, chuyển đổi khi lỗi hoặc khả năng linh hoạt giữa nhiều nền tảng. Đây là những ưu tiên kiến trúc khác nhau, chứ không đơn giản là sản phẩm nào “có định tuyến”.

Với bên mua, quyết định nên dựa trên môi trường vận hành thực tế:

• Chọn cách tiếp cận tích hợp khi dữ liệu được quản trị, quyền truy cập, điều phối agent và hoạt động sử dụng mô hình vốn đã tập trung trên một nền tảng dữ liệu.
• Ưu tiên gateway trung lập hơn khi khả năng chuyển đổi giữa nhiều nhà cung cấp, logic định tuyến độc lập hoặc tính linh hoạt đa đám mây quan trọng hơn mức độ tích hợp nền tảng.
• Kiểm tra danh mục mô hình thực tế thay vì mặc định rằng mọi gateway đều có thể định tuyến giữa cùng nhà cung cấp, họ mô hình, khu vực hoặc loại hình triển khai.

Cần đo gì trước khi tin vào cam kết tiết kiệm?

Một đánh giá nghiêm túc nên so sánh định tuyến tự động với phương án cố định một mô hình frontier, sử dụng các workload đại diện cho môi trường sản xuất. Tối thiểu cần theo dõi:

• Tổng chi phí cho mỗi tác vụ hoàn tất thành công, không chỉ giá token của mô hình được chọn.
• Chi phí suy luận của bộ định tuyến hoặc bộ phân loại, nếu có.
• Các lần gọi bổ sung do chuyển cấp, dự phòng, gọi lại hoặc thực thi công cụ thất bại.
• Độ trễ đầu-cuối, bao gồm định tuyến, truy xuất dữ liệu, tập hợp ngữ cảnh và các lần gọi mô hình bổ sung.
• Tỷ lệ hoàn thành và chất lượng theo từng nhóm workload.
• Hiện tượng bịa đặt, vi phạm chính sách và các suy giảm chất lượng do mô hình nhỏ hơn gây ra.
• Chi phí con người cho việc kiểm duyệt, sửa lỗi, chuyển cấp và làm lại.
• Ràng buộc về nơi lưu trữ dữ liệu, khả năng quan sát, chi phí truyền dữ liệu ra ngoài và nguy cơ phụ thuộc nhà cung cấp.

Snowflake cho biết không thu phí riêng cho quyết định định tuyến mà tính phí dựa trên lượng token sử dụng. Dù vậy, chuyển cấp và gọi lại vẫn có thể làm tăng tổng mức sử dụng cũng như độ trễ. Tiêu chí phù hợp nhất là liệu hệ thống có làm giảm chi phí cho một kết quả được hoàn tất và chấp nhận hay không, trong khi vẫn giữ được chất lượng và yêu cầu quản trị của ứng dụng.

Kết luận

Thông báo mới của Snowflake kết hợp hai hướng đi: tự động lựa chọn giữa các mô hình đã được phê duyệt và mở rộng danh mục mô hình có sẵn trong Cortex AI. Tính năng Dynamic Model Routing dự kiến sớm vào private preview; DeepSeek-V4-Flash 0731 đã được công bố cho private preview, còn GLM-5.3 sẽ đến sau tùy khả năng cung cấp.

Lợi thế đáng chú ý nhất của Snowflake không nằm ở ý tưởng phổ biến rằng tác vụ dễ nên dùng mô hình rẻ hơn. Điểm nhấn là nỗ lực đưa quyết định đó vào vùng biên dữ liệu và bảo mật được quản trị của Snowflake. Kết quả hiệu quả token cao hơn 3 lần mà công ty báo cáo là tín hiệu đáng chú ý, nhưng khách hàng vẫn cần thử nghiệm trên workload của chính mình và đánh giá bằng chi phí đầu-cuối, chất lượng, độ trễ, độ tin cậy cùng lượng công việc sửa lỗi — không chỉ bằng số token tiết kiệm.