Ramp Router: één API voor meerdere AI-modellen

Ramp verschuift van software voor het bijhouden van bedrijfsuitgaven naar een deel van de AI-keten waar de kosten snel oplopen: inferentie, oftewel het verwerken van aanvragen door AI-modellen. Met de nieuwe dienst Router krijgen ontwikkelaars één API voor modellen van verschillende aanbieders. Router kan vervolgens verkeer verdelen op basis van kwaliteit, snelheid, beschikbaarheid en kosten. 12

De lancering komt wel met duidelijke grenzen. Router is momenteel alleen beschikbaar in de Verenigde Staten. De routing zelf is gratis tot en met 31 december 2026, maar klanten betalen de kosten van de gebruikte modellen nog altijd zelf. Nieuwe gebruikers krijgen bovendien 26 dollar aan modeltegoed. Wat Router vanaf 2027 kost, heeft Ramp nog niet bekendgemaakt. 2

Wat doet Ramp Router precies?

Router bevindt zich tussen een applicatie en de AI-aanbieders die de aanvragen verwerken. Een ontwikkelaar hoeft zijn applicatie daardoor niet vast te zetten op één model. Via één endpoint kan een team verschillende modellen gebruiken, vergelijken en later verkeer verplaatsen zonder de applicatie volledig opnieuw te bouwen. 1

Het concept lijkt daarmee op OpenRouter: de dienst neemt de afzonderlijke integraties met modelaanbieders uit handen. De eerste selectie van Ramp is echter kleiner dan die van OpenRouter. 25

Bij de start biedt Router toegang tot modellen van:

• OpenAI
• Anthropic
• DeepSeek
• Moonshot
• Minimax
• Nvidia
• xAI
• Z.ai 2

Hoe bepaalt Router welk model een aanvraag krijgt?

Ramp biedt verschillende manieren om routingbeslissingen te nemen of nieuwe modellen uit te proberen.

Routing via flexibele serviceniveaus

Aanbieders kunnen een goedkoper serviceniveau aanbieden met minder voorspelbare responstijden. Router kan aanvragen naar zo’n niveau sturen wanneer de gemeten prestaties vergelijkbaar zijn met die van de standaarddienst. Valt de snelheid tegen, dan blijft de aanvraag op het standaardniveau. 1

Selectie op basis van benchmarks

Teams kunnen maximaal drie benchmarks kiezen en daar gewichten aan toekennen. Router gebruikt die voorkeuren om beschikbare modellen te rangschikken en het model te selecteren dat het beste aansluit op de eisen van het team. 1

Testen met een schaduwmodel

Router kan een deel van productieaanvragen kopiëren naar een kandidaatmodel, terwijl het huidige productiemodel de gebruiker gewoon blijft bedienen. Teams kunnen zo kwaliteit, snelheid en kosten vergelijken voordat ze live verkeer omzetten. 1

Opschalen bij moeilijkere agenttaken

Nvidia Switchyard is bedoeld voor meerstapsopdrachten van AI-agents. Eenvoudige stappen kunnen op een goedkoper model blijven draaien. Alleen complexere stappen worden doorgestuurd naar een krachtiger en mogelijk duurder model. 1

Daarmee is Router meer dan een eenvoudige modelkiezer. Het doel is dat teams modellen voortdurend kunnen testen en hun verkeer kunnen aanpassen wanneer prijzen, prestaties of de complexiteit van hun taken veranderen.

Welke informatie staat in het dashboard?

Het dashboard toont per aanvraag onder meer:

• het gekozen model;
• de aanbieder;
• het serviceniveau;
• het aantal gebruikte tokens;
• de latency, oftewel de responstijd;
• de kosten;
• eventuele pogingen om naar een ander model over te schakelen. 1

Daarnaast is geaggregeerde informatie over de uitgaven beschikbaar. Dat kan helpen om de totale AI-rekening beter te begrijpen. Niet alleen de modelkeuze telt mee: ook het aantal tokens, nieuwe pogingen, terugvalopties, serviceniveaus en de verhouding tussen eenvoudige en complexe taken beïnvloeden de inferentiekosten.

De beschikbare informatie laat nog niet zien hoe Router zich op het gebied van nauwkeurigheid of betrouwbaarheid verhoudt tot andere gateways.

Wat kost Router?

De huidige voorwaarden zijn als volgt:

• Beschikbaarheid: voorlopig alleen in de Verenigde Staten. 2
• Routingkosten: gratis tot en met 31 december 2026. 2
• Kosten voor AI-inferentie: niet inbegrepen; klanten betalen voor de tokens die zij bij de onderliggende modellen gebruiken. 2
• Starttegoed: nieuwe gebruikers ontvangen 26 dollar aan modeltegoed. 2
• Prijs vanaf 2027: nog niet bekendgemaakt. 2

“Gratis” betekent dus niet dat onbeperkt AI-gebruik niets kost. Alleen de toeslag voor de Router-laag vervalt tot het einde van 2026; de kosten van de modelaanbieders blijven bestaan.

Bewaartermijn en privacy

Router bewaart invoer, uitvoer en toolaanroepen standaard één jaar. Gebruikers kunnen zich volgens Ramp afmelden voor die bewaartermijn. Ramp zegt bovendien persoonlijk identificeerbare informatie te verwijderen voordat bewaarde inhoud voor productverbetering wordt gebruikt. 2

Dat is een belangrijk aandachtspunt voor organisaties. Een gateway kan het beheer van meerdere modelaanbieders eenvoudiger maken, maar wordt ook een extra schakel in de gegevensstroom van een applicatie. Bedrijven zullen daarom moeten nagaan of de standaardinstellingen passen bij hun eigen eisen rond gegevensbeheer en privacy.

Ramp claimt 40% lagere inferentiekosten

Ramp zegt dat het bedrijf zijn routinginfrastructuur al drie jaar intern bouwt en gebruikt. Inmiddels zou ook het eigen productieverkeer via dat systeem lopen. Volgens Ramp hebben klanten die Router gebruiken hun inferentiekosten gemiddeld met 40% verlaagd. 1

Dat percentage moet worden gelezen als een door Ramp gerapporteerd resultaat, niet als een onafhankelijke benchmark. De daadwerkelijke besparing hangt af van het soort werkbelasting, de gebruikte modellen, verkeerspatronen, kwaliteitseisen en de bereidheid om goedkopere maar minder voorspelbare serviceniveaus te gebruiken.

De dienst zal vooral interessant zijn voor organisaties die genoeg AI-verkeer en variatie hebben om voortdurende optimalisatie lonend te maken.

Waarom lanceert Ramp Router?

Met Router begeeft Ramp zich direct in de laag waar AI-inferentie wordt afgenomen, in plaats van alleen de daaruit voortvloeiende uitgaven te monitoren. Op termijn kan de dienst routinginkomsten opleveren zodra de gratis periode afloopt. Ook sluit Router aan op Ramps bestaande producten voor het volgen en beheren van tokengebruik en AI-uitgaven.

Daarnaast kan de dienst Ramp nauwere relaties geven met AI-labs en aanbieders van inferentie-infrastructuur. De ontwikkelaars die Router gebruiken, kunnen mogelijk een ingang vormen naar Ramps bredere aanbod voor uitgavenbeheer. Dat is een strategische mogelijkheid, geen officiële prognose van het bedrijf.

De praktische vraag is voorlopig dan ook eenvoudig: maakt Router het voor teams echt makkelijker om van model te wisselen en hun AI-rekening te beheersen? En blijft dat voordeel bestaan wanneer Ramp na 2026 een prijs voor de routinglaag gaat rekenen?