Snowflake’in Cortex AI Gateway’i her görev için en uygun modeli seçmeye hazırlanıyor

Snowflake, Cortex AI Gateway için dinamik model yönlendirmesi özelliğini duyurdu. Özelliğin amacı, her isteği otomatik olarak aynı gelişmiş modele göndermek yerine, görevi yeterli kaliteyle tamamlayabilecek ve izin verilen modeller arasındaki en uygun seçeneği belirlemek. Özellik henüz genel kullanıma açılmış değil; yakında özel önizlemeye sunulması bekleniyor.

Şirketin yaklaşımı basit: Rutin ve düşük karmaşıklıktaki işler daha ucuz, verimli modellere bırakılacak; daha derin akıl yürütme gerektiren görevler ise daha güçlü modellere aktarılacak. Snowflake bu stratejiyi “zekâ verimliliği” olarak tanımlıyor. Buradaki hedef yalnızca token başına fiyatı düşürmek değil, kabul edilebilir kalitede tamamlanan bir işin toplam maliyetini optimize etmek.

Snowflake ne duyurdu?

Dinamik model yönlendirmesi Cortex AI Gateway üzerinden sunulacak ve Snowflake’in CoCo ile CoWork ürünlerine entegre edilecek. Şirket, gateway’e bağlanan üçüncü taraf yapay zekâ ajanlarının da bu özellikten yararlanabileceğini belirtiyor. Müşteriler hangi modellerin kullanılabileceğini önceden tanımlayabilecek ve uygulamanın hangi dengeyi önceliklendireceğini seçebilecek: maliyet, kalite, hız ya da gecikme gibi.

Yönlendiricinin hedefi, görevi güvenilir biçimde tamamlayabilecek yönetici onaylı modeller arasından en ekonomik olanı seçmek. Basit sınıflandırma, tekrar eden veri işlemleri veya daha düşük karmaşıklıktaki istekler verimli açık modellere gönderilebilir. Daha zor akıl yürütme gerektiren görevler ise Anthropic, OpenAI ve Google gibi sağlayıcıların gelişmiş modellerine aktarılabilir. Kurumlar otomatik seçimi tamamen serbest bırakmak zorunda da olmayacak: Belirli bir modeli sabitleyebilir veya kullanılabilecek model havuzunu daraltabilir.

Snowflake ayrıca yönlendirmenin veri yerleşimi koşullarına ve yönetişim politikalarına uyabileceğini, her istek için hangi modelin seçildiğini kayda alabileceğini söylüyor. Bu nedenle özellik yalnızca maliyet yönetimi açısından değil, denetlenebilir bir model seçimi süreci arayan kurumlar açısından da önem taşıyor.

Sistem nasıl çalışacak?

Snowflake, bir görevin daha güçlü bir modele ihtiyaç duyup duymadığını anlamak için iki mekanizma tanımlıyor.

“Advisor pattern” yaklaşımı

Bu yöntemde küçük bir model önce görevi deniyor. İşi yeterli düzeyde tamamlayamazsa daha büyük bir modeli araç olarak çağırıp süreci sürdürebiliyor. Böylece küçük bir modelin rahatlıkla çözebileceği istekler için gelişmiş model ücretleri ödenmemesi, ancak zor görevler için bir üst modele geçiş yolunun korunması hedefleniyor.

Sınıflandırıcı tabanlı yönlendirme

İkinci yöntemde ayrı bir sınıflandırıcı, geçmiş sorgulardan öğrendiği örüntülerle basit istekleri belirleyerek bunları daha küçük modellere yönlendirebiliyor. Bu, ilk denemeyi küçük modelle yapıp gerektiğinde yükseltme yaklaşımının yanında ikinci bir seçenek oluşturuyor: Sistem ya görevi önce küçük bir modele verir ya da isteği daha baştan sınıflandırarak uygun modeli seçer.

Buradaki kritik soru, sistemin yalnızca daha ucuz bir model seçip seçmediği değil, görevin tamamını daha iyi sonuçlandırıp sonuçlandırmadığı. Başarısız ilk deneme, üst modele geçiş veya yeniden deneme; ek token, gecikme ve operasyonel karmaşıklık yaratabilir.

Snowflake’in açıkladığı verimlilik sonuçları

Snowflake, dinamik yönlendirme kullanıldığında ve kalite, yalnızca gelişmiş modellerin kullanıldığı senaryoya yakın kaldığında, şirket içi bir dbt veri hattı iş yükünde 3 kata kadar token verimliliği elde edildiğini bildirdi. Ayrı bir kodlama iş yükü testinde ise mühendislik ekiplerinin pull request üretim hızını korurken yaklaşık yüzde 25 daha az token kullandığı belirtildi.

Bu rakamlar, bağımsız olarak doğrulanmış müşteri sonuçları değil, Snowflake’in şirket içi değerlendirmelerinden geliyor. Sonuçlar iş yüküne göre önemli ölçüde değişebilir. Tekrarlayan veri mühendisliği veya kodlama görevlerinde iyi çalışan bir yönlendirici; uzun bağlamlı araştırma, karmaşık araç kullanımı ya da yüksek riskli karar süreçlerinde aynı performansı göstermeyebilir.

Bu nedenle müşteriler için en anlamlı ölçüm yalnızca “kaç token tasarruf edildiği” olmamalı. Başarı; kalite, gecikme, güvenilirlik ve insanların yaptığı düzeltmelerle birlikte, başarıyla tamamlanıp kabul edilen bir görevin toplam maliyeti üzerinden değerlendirilmelidir.

Yeni model seçenekleri: DeepSeek ve GLM

Snowflake, Cortex AI üzerinden kullanılabilecek model havuzunu DeepSeek-V4-Flash 0731 ve Z.ai’ın GLM-5.3 modeliyle genişletiyor. DeepSeek-V4-Flash 0731 için CoCo dahil özel önizleme duyuruldu. GLM-5.3’ün ise kullanılabilirlik durumuna bağlı olarak yakında özel önizlemeye açılacağı belirtildi.

Snowflake, CoCo’nun ajan altyapısı olarak kullanıldığı şirket içi testte DeepSeek-V4-Flash’ın ADE-bench’te yüzde 74,4 puan aldığını açıkladı. Şirket ayrıca GLM-5.3 değil, daha önce test edilen GLM-5.2 için aynı değerlendirmede yüzde 66 puan ve en düşük token kullanımını bildirdi. GLM-5.2’ye ait bu sonuç, GLM-5.3 için yayımlanmış bir test sonucu olarak yorumlanmamalı.

Daha fazla açık modelin eklenmesi, yönlendirme stratejisinin temelini güçlendiriyor: Model havuzu genişledikçe sistem, görevin gerektirdiği performans ile maliyet arasında daha uygun eşleşmeler bulabilir. Bu durum müşterilere, yalnızca en bilinen gelişmiş model sağlayıcılarına bağlı kalmadan daha fazla seçenek de sunuyor.

Snowflake’in “yönetilen veri sınırı” iddiası

Snowflake’in öne çıkardığı temel fark, model yönlendirmesini mevcut yönetilen veri ortamına bağlaması. Şirket, yeni açık modelleri yalnızca üçüncü taraf API’lerine aracılık ederek sunmadığını; verilerin, çıkarım hesaplamalarının, model ağırlıklarının ve ajan orkestrasyonunun Snowflake’in güvenlik sınırı içinde çalıştığını belirtiyor. Snowflake ayrıca mevcut rol tabanlı erişim denetimlerine ve denetim kayıtlarına işaret ediyor.

Bu, Snowflake’e ait bir mimari iddia; her dağıtım için otomatik bir güvence anlamına gelmiyor. Kurumların kendi ortamları açısından kritik ayrıntıları ayrıca doğrulaması gerekir. Bunlar arasında dağıtım bölgesi, veri yerleşimi gereksinimleri, sözleşme koşulları, günlükleme davranışı ve belirli bir iş yükü için hangi modellerin gerçekten uygun olduğu bulunuyor.

Bu yaklaşımın pratik değeri özellikle yönetilen analitik verilerini ve yapay zekâ uygulamalarını zaten Snowflake üzerinde tutan kuruluşlar için yüksek olabilir. Böyle bir ortamda mesele yalnızca daha ucuz bir model seçmekten ibaret değil; model seçimi, veri erişimiyle aynı kontrol ve denetim çerçevesinin parçası haline geliyor.

Pazar karşılaştırması: Fark, yalnızca yönlendirme özelliği değil

Model yönlendirmesi Snowflake’e özgü değil. Örneğin Amazon Bedrock, aynı model ailesi içindeki temel modeller arasında istekleri tek bir sunucusuz uç nokta üzerinden yönlendirebiliyor. Sistem, tahmin edilen yanıt kalitesi ve maliyete göre seçim yapmayı hedefliyor.

Databricks’in Unity AI Gateway’i istekleri model ve MCP hizmetlerine merkezi bir kontrol düzleminden yönlendirerek farklı sağlayıcılar arasında kapasite, kullanılabilirlik ve harcamayı yönetmeye odaklanıyor. Google Cloud’un API Gateway model yönlendirmesi ise OpenAI uyumlu istekleri belirli Gemini Enterprise Agent Platform uç noktalarına aktaran yönetilen bir trafik katmanı olarak çalışıyor.

NVIDIA’nın NeMo Switchyard’ı sağlayıcıdan bağımsız bir SDK ve yönlendirme katmanı sunarken, OpenRouter daha çok çoklu sağlayıcı erişimi ve sağlayıcılar arası yönlendirmeyle öne çıkıyor. OpenRouter, varsayılan olarak çalışma süresini artırmak için uygun sağlayıcılar arasında yük dengelemesi yapıyor.

Dolayısıyla asıl karşılaştırma “hangi ürün daha ucuz modeli seçebiliyor?” sorusundan çok şu noktalarda yatıyor: Yönetişim politikası nerede uygulanıyor, veriye kim erişiyor, çıkarım nerede çalışıyor, faturalandırma nasıl izleniyor ve kurum ne ölçüde sağlayıcı bağımlılığına giriyor?

• Entegre yaklaşım, yönetilen veriler, erişim kontrolleri, ajan orkestrasyonu ve model kullanımının zaten tek bir veri platformunda toplandığı durumlarda avantajlı olabilir.
• Daha tarafsız bir gateway, sağlayıcılar arası taşınabilirlik, çoklu bulut esnekliği veya bağımsız yönlendirme mantığı daha önemliyse tercih edilebilir.
• Model havuzu mutlaka doğrulanmalı. Her gateway’in aynı sağlayıcılar, model aileleri, bölgeler veya dağıtım türleri arasında yönlendirme yapabildiği varsayılmamalı.

Tasarruf iddiaları kabul edilmeden önce ne ölçülmeli?

Ciddi bir değerlendirme, otomatik yönlendirmeyi temsili üretim iş yüklerinde sabit bir gelişmiş model kullanımıyla karşılaştırmalı. En azından şu ölçümler izlenmeli:

• Yalnızca seçilen modelin token fiyatı değil, başarıyla tamamlanan görev başına toplam maliyet.
• Varsa yönlendirici veya sınıflandırıcı ücretleri.
• Advisor yaklaşımındaki üst modele geçiş, geri dönüş, yeniden deneme veya başarısız araç çalıştırmalarından kaynaklanan ek çağrılar.
• Yönlendirme, veri getirme, bağlam oluşturma ve ikinci model çağrıları dahil uçtan uca gecikme.
• İş yükü kategorilerine göre görev başarı oranı ve çıktı kalitesi.
• Küçük modellerin yol açabileceği halüsinasyonlar, politika ihlalleri ve kalite gerilemeleri.
• İnsan incelemesi, düzeltme, eskalasyon ve yeniden işleme maliyetleri.
• Veri yerleşimi, gözlemlenebilirlik, veri çıkışı ve sağlayıcı bağımlılığı kısıtları.

Snowflake, yönlendirme kararını ayrıca ücretlendirmediğini ve bunun yerine token tüketimi üzerinden faturalandırma yaptığını söylüyor. Buna rağmen üst modele geçişler ve yeniden denemeler toplam kullanımı ve gecikmeyi artırabilir. Doğru kabul kriteri, yönlendirmenin uygulamanın kalite ve yönetişim gereksinimlerini korurken kabul edilen bir sonucun maliyetini düşürüp düşürmediğidir.

Sonuç

Snowflake’in duyurusu iki gelişmeyi bir araya getiriyor: Onaylı modeller arasında dinamik seçim ve Cortex AI içindeki model seçeneklerinin genişletilmesi. Özelliğin yakında özel önizlemeye açılması bekleniyor; DeepSeek-V4-Flash 0731 için özel önizleme duyurulurken GLM-5.3 erişiminin daha sonra ve kullanılabilirliğe bağlı olarak sunulacağı belirtildi.

Snowflake’in en güçlü stratejik iddiası, kolay görevleri ucuz modellere göndermek fikrinin kendisi değil. Asıl fark, bu kararı şirketin yönetilen veri ve güvenlik sınırı içinde vermeye çalışması. Bildirilen 3 kata kadar token verimliliği dikkat çekici olsa da kurumlar, sistemi kendi iş yüklerinde test etmeli ve başarıyı yalnızca token azalmasıyla değil; uçtan uca maliyet, kalite, gecikme, güvenilirlik ve insan düzeltmeleriyle birlikte değerlendirmeli.