Ramp Router: Én API for flere AI-modeller

Ramp går fra å overvåke programvareutgifter til å kontrollere en av de raskest voksende kostnadstypene innen teknologi: AI-inferens. Den nye tjenesten Router gir utviklere ett API-endepunkt for å bruke og bytte mellom modeller fra flere leverandører. Deretter kan trafikken styres etter regler for kvalitet, svartid, stabilitet og kostnad. 12

Tilbudet har likevel tydelige begrensninger. Router er foreløpig bare tilgjengelig i USA, rutinggebyret er fjernet ut 2026, og kundene må fortsatt betale leverandørenes kostnader for modellbruken. Nye brukere får 26 dollar i modellkreditt, mens Ramp ikke har opplyst hva Router skal koste i 2027. 2

Hva gjør Ramp Router?

Router ligger mellom en applikasjon og AI-leverandørene som behandler forespørslene. I stedet for å knytte en applikasjon permanent til én modell kan utvikleren bruke ett endepunkt for å få tilgang til, evaluere og flytte trafikk mellom modeller etter hvert som behovene endrer seg. 1

Ved lansering inkluderer Router modeller fra OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI og Z.ai. Grunntanken ligner på OpenRouter: Leverandørintegrasjonene skjules bak ett grensesnitt, slik at team kan sammenligne modeller og bytte uten å bygge om hele applikasjonen. Ramp har imidlertid et mindre utvalg enn OpenRouter i startfasen. 25

Slik velger Router modell

Ramp beskriver flere metoder tjenesten kan bruke for å ta eller teste rutingbeslutninger.

Ruting til fleksibelt tjenestenivå

En leverandør kan tilby et rabattert tjenestenivå med mindre forutsigbar svartid. Router kan sende forespørsler dit når den observerte ytelsen er sammenlignbar med leverandørens standardnivå. Hvis svartiden ikke er god nok, blir forespørselen værende på standardtjenesten. 1

Ruting basert på referansetester

Team kan velge og vekte opptil tre referansetester. Router bruker disse prioriteringene til å rangere tilgjengelige modeller og velger modellen som scorer høyest ut fra teamets krav. 1

Testing med skyggemodell

Router kan speile et utvalg av forespørsler fra produksjon til en aktuell kandidatmodell, samtidig som den eksisterende produksjonsmodellen fortsetter å betjene brukerne. Dermed kan teamet sammenligne kvalitet, svartid og kostnad før trafikken flyttes i produksjon. 1

Oppskalering etter oppgavens vanskelighetsgrad

Nvidia Switchyard er laget for agentbaserte oppgaver som består av flere trinn. Enklere trinn kan kjøres på en rimeligere modell, mens mer krevende trinn sendes videre til en mer kapabel – og potensielt dyrere – modell. 1

Samlet gjør dette Router til mer enn en statisk modellvelger. Tjenesten er ment å hjelpe team med å teste modeller fortløpende og justere trafikken når ytelse, priser og kompleksiteten i arbeidsbelastningen endrer seg.

Hva viser kontrollpanelet?

Overvåkingsverktøyene viser detaljer for enkeltforespørsler, blant annet hvilken modell og leverandør som ble valgt, tjenestenivå, tokenbruk, svartid, kostnad og eventuelle forsøk på å falle tilbake til en annen modell. Kontrollpanelet viser også samlet kostnadsinformasjon. 1

Dette er relevant fordi modellvalget bare er én del av AI-regningen. Antall token, nye forsøk, reservevalg, tjenestenivåer og fordelingen mellom enkle og komplekse oppgaver kan alle påvirke den totale kostnaden for inferens. En samlet oversikt kan gjøre utgiftene enklere å undersøke, men materialet som foreligger viser ikke hvordan Router står seg mot andre gateway-tjenester når det gjelder nøyaktighet eller stabilitet.

Pris og tilgjengelighet

De nåværende lanseringsvilkårene er som følger:

• Tilgjengelighet: Foreløpig bare i USA. 2
• Rutinggebyr: Gratis til og med 31. desember 2026. 2
• Kostnader for modellbruk: Ikke inkludert. Kunden betaler fortsatt for tokenene som brukes hos modellleverandøren. 2
• Kreditt ved lansering: Nye brukere får 26 dollar i modellkreditt. 2
• Pris fra 2027: Ikke opplyst ved lansering. 2

Gratisperioden betyr derfor ikke ubegrenset gratis AI-bruk. Den fjerner gebyret for selve Router-tjenesten resten av 2026, mens kostnadene hos modellleverandørene består.

Datalagring og personvern

Router lagrer som standard inndata, utdata og verktøykall i ett år, men brukerne kan reservere seg mot dette. Ramp sier at selskapet fjerner personlig identifiserbar informasjon før lagret innhold brukes til produktforbedring. 2

Dette er et viktig punkt for team som vurderer tjenesten. En gateway kan gjøre leverandørstyringen enklere, men legger samtidig et ekstra ledd inn i applikasjonens dataflyt. Organisasjoner bør gå gjennom vilkårene og vurdere om standardinnstillingen for lagring passer med kravene deres til datastyring.

Hva hevder Ramp om kostnadsbesparelser?

Ramp sier at selskapet har bygget og driftet rutinginfrastrukturen internt i tre år, og at egen AI-trafikk i produksjon nå går gjennom systemet. Selskapet opplyser at kunder som bruker Router, i gjennomsnitt har redusert kostnadene for AI-inferens med 40 prosent. 1

Tallet bør leses som et resultat Ramp selv rapporterer, ikke som en uavhengig referansemåling. Den faktiske besparelsen vil avhenge av arbeidsbelastning, modellmiks, trafikkmønster, kvalitetskrav og hvor villig teamet er til å bruke rabatterte eller mindre forutsigbare tjenestenivåer. Router har trolig størst verdi for organisasjoner med nok trafikk og variasjon i modellbruken til at løpende optimalisering gir utslag.

Hvorfor er Router viktig for Ramp?

Router gir Ramp mulighet til å ta steget direkte inn i AI-inferenslaget, i stedet for bare å hjelpe selskaper med å overvåke eller administrere utgiftene som oppstår der. På sikt kan tjenesten gi inntekter fra rutinggebyrer etter gratisperioden, komplettere Ramps produkter for overvåking av tokenbruk og AI-utgifter, og gi selskapet tettere forhold til modellutviklere og leverandører av inferenstjenester.

Tjenesten kan også bli en utviklerdrevet inngang til Ramps bredere virksomhet innen utgiftsstyring. Det er en strategisk mulighet, ikke en offentliggjort prognose fra selskapet. Foreløpig blir den praktiske testen om Router gjør det enkelt nok for team å bytte modell og kontrollere inferenskostnader – og om Ramps fremtidige priser bevarer denne fordelen etter 2026.