Snowflake vill sänka AI-kostnaderna med dynamisk modellrouting

Företag ska kunna bestämma vilka modeller som får användas och vilka avvägningar som ska prioriteras i en viss applikation eller arbetsbelastning – exempelvis kostnad, kvalitet eller svarstid. Routern ska sedan välja den billigaste modell som administratören har godkänt och som med tillräcklig säkerhet kan slutföra uppgiften.

Rutinmässiga och repetitiva förfrågningar kan styras till effektiva open source-modeller. Uppgifter som kräver mer avancerat resonemang kan i stället skickas till frontier-modeller från exempelvis Anthropic, OpenAI eller Google. Den som inte vill lämna modellvalet till automatiken kan låsa fast en specifik modell eller begränsa listan över tillåtna modeller.

Snowflake uppger också att routingen kan ta hänsyn till krav på datalokalisering och organisationens styrningsregler. Systemet ska dessutom dokumentera vilken modell som valdes för varje förfrågan. Därmed handlar funktionen inte bara om kostnadskontroll, utan även om att skapa ett granskningsbart beslutsflöde för modellval.

Så ska modellvalet fungera

Snowflake har beskrivit två mekanismer för att avgöra hur mycket modellkapacitet en uppgift behöver.

Advisor-mönstret

I det så kallade advisor-mönstret försöker en mindre modell lösa uppgiften först. Om den inte klarar arbetet på ett tillräckligt bra sätt kan den anropa en större modell som ett verktyg och fortsätta därifrån. På så vis ska företag slippa betala frontier-priser för enkla uppgifter, samtidigt som det finns en väg vidare när uppgiften visar sig vara svårare.

Klassificeringsbaserad routing

En separat klassificerare kan använda mönster från tidigare frågor för att identifiera okomplicerade förfrågningar och styra dem till enklare modeller. Det skapar två parallella arbetssätt: systemet kan antingen börja med en mindre modell och eskalera vid behov, eller klassificera frågan först och välja modell därefter.

Den viktiga frågan i praktiken är dock inte bara om routern väljer en billigare modell. Ett misslyckat första försök, en eskalering eller ett nytt försök kan öka både tokenförbrukning, svarstid och teknisk komplexitet.

Snowflakes rapporterade resultat

I ett internt test av ett dbt-arbetsflöde rapporterar Snowflake upp till tre gånger bättre tokeneffektivitet när dynamisk routing gav jämförbar kvalitet med en lösning som enbart använde frontier-modeller. I ett separat test av kodningsarbete uppger företaget att ingenjörsteam kunde behålla samma genomströmning av pull requests med ungefär 25 procent färre tokens.

Resultaten är Snowflakes egna interna utvärderingar och har inte validerats oberoende i kundmiljöer. Utfallet kan också variera kraftigt mellan olika typer av arbete. En router som fungerar väl för repetitiva dataingenjörsuppgifter eller kodning kan ge ett annat resultat vid forskning med lång kontext, avancerad verktygsanvändning eller beslut med hög risk.

Det mest relevanta måttet för en kund är därför inte enbart hur många tokens som sparas. Det är kostnaden för en uppgift som faktiskt slutförs, godkänns och håller tillräcklig kvalitet – inklusive svarstid, tillförlitlighet och eventuell mänsklig efterbearbetning.

DeepSeek och GLM breddar modellutbudet

Snowflake utökar samtidigt modellutbudet i Cortex AI med DeepSeek-V4-Flash 0731 och Z.ai:s GLM-5.3. DeepSeek-V4-Flash 0731 har annonserats för privat förhandsversion, bland annat i CoCo. GLM-5.3 ska enligt Snowflake komma till privat förhandsversion senare, beroende på tillgänglighet.

I en intern utvärdering uppger Snowflake att DeepSeek-V4-Flash fick 74,4 procent i ADE-bench när CoCo användes som agentmiljö. Företaget hänvisar också till ett tidigare test av GLM-5.2, inte GLM-5.3, där modellen uppges ha fått 66 procent och samtidigt haft den lägsta tokenförbrukningen i testet. Resultatet för GLM-5.2 ska alltså inte tolkas som en publicerad utvärdering av GLM-5.3.

Fler open source-modeller ger routern fler alternativ att välja mellan. Det kan göra det lättare att matcha en uppgifts krav på pris, kvalitet och svarstid – och ger kunderna fler alternativ än de mest etablerade frontier-leverantörerna.

Snowflakes argument om en styrd datamiljö

Snowflakes främsta differentieringsargument är att modellrouting och modellåtkomst kopplas till företagets befintliga miljö för styrda data. Snowflake säger att bolaget själv tillhandahåller de nya open source-modellerna, snarare än att enbart vidarebefordra anrop till ett externt API. Data, beräkningskraft för inferens, modellvikter och agentorkestrering ska enligt företaget ligga inom Snowflakes säkerhetsperimeter, tillsammans med befintliga rollbaserade åtkomstkontroller och granskningsfunktioner.

Detta är ett arkitekturpåstående från Snowflake, inte en generell garanti för varje installation. Kunder behöver fortfarande kontrollera sådant som driftsregion, krav på datalagring, avtalsvillkor, loggning och vilka modeller som faktiskt får användas för en viss arbetsbelastning.

Värdet är sannolikt störst för organisationer som redan har sina styrda analysdata och AI-applikationer i Snowflake. I ett sådant upplägg handlar nyttan om mer än att välja en billigare modell: modellvalet kan bli en del av samma kontroll- och granskningsramverk som används för dataåtkomst.

Hur Snowflake står sig mot andra routinglösningar

Modellrouting är inte unikt för Snowflake. Amazon Bedrock erbjuder exempelvis intelligent prompt-routing via en serverlös slutpunkt som styr förfrågningar mellan grundmodeller inom samma modellfamilj, baserat på förväntad svarskvalitet och kostnad.

Databricks Unity AI Gateway fungerar som en central kontrollpunkt för trafik till modeller och MCP-tjänster och fokuserar på kapacitet, tillgänglighet och kostnader mellan leverantörer. Googles API Gateway erbjuder i sin tur ett hanterat trafiklager för OpenAI-kompatibla förfrågningar som kan styras till angivna modelländpunkter.

Nvidias NeMo Switchyard är utformat som ett leverantörsoberoende SDK- och routinglager, medan OpenRouter främst fungerar som en samlingspunkt för flera modell- och leverantörsalternativ med konfigurerbar leverantörsrouting.

Den viktiga jämförelsen är därför inte bara vem som kan välja en billigare modell. Frågan är snarare var styrningsregler, dataåtkomst, modellkörning, routinglogik och kostnadsuppföljning hanteras.

• En integrerad plattform kan passa bäst när data, åtkomstkontroller, agentorkestrering och modellförbrukning redan är samlade hos en och samma leverantör.
• En mer neutral gateway kan vara mer attraktiv när portabilitet mellan leverantörer, oberoende routinglogik eller flexibilitet i flera moln väger tyngre.
• Modellutbudet måste verifieras. Alla gateways kan inte routa mellan samma leverantörer, modellfamiljer, regioner eller driftsformer.

Vad företag bör mäta innan de räknar hem besparingen

En seriös utvärdering bör jämföra automatisk routing med en fast frontier-modell och använda representativa produktionsliknande arbetsflöden. Följ åtminstone upp:

• Den totala kostnaden per slutförd och godkänd uppgift – inte bara tokenpriset för den valda modellen.
• Eventuella avgifter för router eller klassificerare.
• Extra anrop som uppstår genom eskalering, reservlösningar, nya försök eller misslyckad verktygsanvändning.
• Svarstid från början till slut, inklusive routing, informationshämtning, kontextuppbyggnad och eventuella andrapass.
• Uppgiftens framgångsgrad och kvalitet uppdelad på olika arbetsbelastningar.
• Hallucinationer, policyöverträdelser och kvalitetsförsämringar som kan uppstå när mindre modeller används.
• Kostnader för mänsklig granskning, korrigering, eskalering och omarbete.
• Begränsningar kopplade till datalagring, insyn, dataöverföring och leverantörsberoende.

Snowflake säger att företaget inte tar separat betalt för själva routingbeslutet, utan debiterar tokenförbrukningen. Eskaleringar och nya försök kan ändå höja både den totala användningen och svarstiden. Den riktiga acceptanskriteriet bör därför vara om routingen minskar kostnaden för ett accepterat resultat utan att kvaliteten, tillförlitligheten och styrningskraven försämras.

Slutsats

Snowflakes besked består i praktiken av två delar: automatisk routing mellan godkända modeller och ett bredare modellutbud i Cortex AI. Funktionen väntas gå till privat förhandsversion inom kort. DeepSeek-V4-Flash 0731 har redan annonserats för privat förhandsversion, medan GLM-5.3 kommer senare beroende på tillgänglighet.

Den strategiskt mest intressanta delen är inte grundidén att skicka enkla frågor till billigare modeller – det gör flera aktörer. Snowflake försöker i stället placera beslutet inom sin styrda data- och säkerhetsperimeter.

De rapporterade resultaten på upp till tre gånger bättre tokeneffektivitet är lovande, men företag bör testa tekniken mot sina egna arbetsflöden. Den verkliga vinsten avgörs av kostnaden för ett färdigt resultat, tillsammans med kvalitet, svarstid, driftsäkerhet och behovet av mänskliga korrigeringar – inte av tokenminskningen ensam.