Ramp Router: näin tekoälymallien reitityspalvelu toimii ja mitä se maksaa

Ramp tunnetaan yritysten kulujen seuranta- ja hallintaohjelmistosta. Nyt yhtiö laajentaa toimintaansa yhteen nopeasti kasvavista kulueristä: tekoälyn inferenssiin eli mallien vastausten tuottamisesta syntyviin laskuihin.

Rampin uusi Router-palvelu antaa kehittäjille yhden rajapinnan, jonka kautta he voivat käyttää useiden palveluntarjoajien tekoälymalleja ja vaihtaa niiden välillä. Palvelu pyrkii reitityssääntöjen avulla tasapainottamaan vastausten laatua, viivettä, toimintavarmuutta ja hintaa. 12

Tarjous on kiinnostava, mutta siinä on selvät rajat. Router on tällä hetkellä saatavilla vain Yhdysvalloissa, reititysmaksut on poistettu vuoden 2026 loppuun asti ja asiakkaat maksavat edelleen varsinaisten mallien käytöstä. Uudet käyttäjät saavat 26 dollarin arvosta mallikrediittejä, mutta Ramp ei ole kertonut, mitä Router maksaa vuonna 2027. 2

Mitä Ramp Router tekee?

Router toimii sovelluksen ja tekoälypalveluntarjoajien välissä. Kehittäjän ei tarvitse sitoa sovellusta pysyvästi yhteen malliin, vaan liikennettä voi lähettää yhden päätepisteen kautta eri malleille ja siirtää mallista toiseen tarpeiden muuttuessa. 1

Julkaisuvaiheessa Router tarjoaa malleja OpenAI:lta, Anthropicilta, DeepSeekiltä, Moonshotilta, Minimaxilta, Nvidialta, xAI:lta ja Z.ai:lta. Perusajatus muistuttaa OpenRouteria: palveluntarjoajakohtaiset integraatiot piilotetaan yhden rajapinnan taakse, jolloin tiimit voivat vertailla malleja ja vaihtaa niitä ilman, että koko sovellusta rakennetaan uudelleen. Rampin alkuperäinen mallivalikoima on kuitenkin OpenRouteria suppeampi. 25

Miten palvelu valitsee mallin?

Ramp kuvaa useita tapoja, joilla Router voi tehdä reitityspäätöksiä tai testata vaihtoehtoja.

Joustavan palvelutason reititys

Palveluntarjoaja voi tarjota alennettua palvelutasoa, jonka viive on tavallista epäennustettavampi. Router voi ohjata pyynnön tälle tasolle, jos havaittu suorituskyky on verrattavissa palveluntarjoajan vakiotasoon. Jos viive ei ole vertailukelpoinen, pyyntö ohjataan vakiopalveluun. 1

Vertailuarvoihin perustuva reititys

Tiimi voi valita enintään kolme vertailuarvoa ja määrittää niille painotukset. Router käyttää näitä asetuksia mallien pisteyttämiseen ja valitsee tiimin vaatimukset parhaiten täyttävän vaihtoehdon. 1

Varjotestaus

Router voi lähettää osan tuotantopyynnöistä samanaikaisesti ehdokasmallille, vaikka nykyinen tuotantomalli jatkaa käyttäjien palvelemista. Näin tiimi voi verrata laatua, viivettä ja kustannuksia ennen kuin liikennettä siirretään uudelle mallille. 1

Agenttien tehtävien eskalointi vaikeusasteen mukaan

Nvidia Switchyard on suunniteltu monivaiheisiin agenttitehtäviin. Helpommat vaiheet voidaan pitää edullisemmassa mallissa, kun taas vaikeammat vaiheet voidaan siirtää kyvykkäämpään ja mahdollisesti kalliimpaan malliin. 1

Näiden ominaisuuksien vuoksi Router ei ole vain staattinen mallivalitsin. Tarkoitus on auttaa tiimejä testaamaan malleja jatkuvasti ja säätämään liikennettä suorituskyvyn, hintojen ja tehtävien monimutkaisuuden muuttuessa.

Mitä hallintapaneeli näyttää?

Routerin seurantanäkymät näyttävät yksittäisistä pyynnöistä muun muassa valitun mallin, palveluntarjoajan, palvelutason, tokenien määrän, viiveen, kustannuksen ja tehdyt varayritykset. Hallintapaneeli tarjoaa myös koontitietoja kokonaiskulutuksesta. 1

Tämä on olennaista, koska mallin valinta on vain yksi osa tekoälylaskua. Kokonaiskustannuksiin vaikuttavat myös tokenien määrä, uudelleenyritykset, varamallit, palvelutasot sekä yksinkertaisten ja vaativien tehtävien suhde. Yksi koontinäkymä voi helpottaa kulujen tarkastelua, mutta käytettävissä olevat tiedot eivät osoita, miten Router vertautuu muihin yhdyskäytäviin tarkkuudessa tai toimintavarmuudessa.

Hinta ja saatavuus

Julkaisun tämänhetkiset ehdot ovat seuraavat:

• Saatavuus: toistaiseksi vain Yhdysvalloissa. 2
• Reititysmaksut: maksuttomia 31. joulukuuta 2026 asti. 2
• Mallien inferenssikulut: eivät sisälly hintaan, vaan asiakas maksaa käyttämiensä mallien tokenit. 2
• Aloituskrediitti: uudet käyttäjät saavat 26 dollarin arvosta mallikrediittejä. 2
• Hinnoittelu vuodesta 2027 eteenpäin: ei julkistettu julkaisun yhteydessä. 2

Maksuton jakso ei siis tarkoita rajattomasti ilmaista tekoälyn käyttöä. Se poistaa Routerin oman palvelumaksun vuoden 2026 loppuun saakka, mutta mallipalveluntarjoajien veloitukset jäävät voimaan.

Tietojen säilytys ja yksityisyys

Router säilyttää oletusarvoisesti syötteet, tulosteet ja työkalukutsut yhden vuoden ajan. Käytännössä säilytyksestä voi kieltäytyä. Ramp kertoo poistavansa henkilötiedot ennen kuin säilytettyä sisältöä käytetään tuotteen kehittämiseen. 2

Käytäntö on tärkeä huomio palvelua arvioiville tiimeille. Yhdyskäytävä voi helpottaa palveluntarjoajien hallintaa, mutta samalla se lisää sovelluksen tietovirtaan uuden välikerroksen. Organisaatioiden kannattaa tarkistaa sovellettavat ehdot ja arvioida, sopiiko oletusarvoinen säilytysaika niiden tietoturva- ja hallintavaatimuksiin.

Mitä Ramp sanoo säästöistä?

Ramp kertoo rakentaneensa ja käyttäneensä reititysinfrastruktuuriaan sisäisesti kolmen vuoden ajan. Yhtiön mukaan sen oma tuotantoliikenne kulkee nyt järjestelmän kautta, ja Routeria käyttävät asiakkaat ovat pienentäneet inferenssikulujaan keskimäärin 40 prosenttia. 1

Lukemaa on kuitenkin syytä pitää yhtiön ilmoittamana tuloksena, ei riippumattomana vertailuarvona. Todelliset säästöt riippuvat muun muassa työkuormasta, käytettyjen mallien yhdistelmästä, liikenteen vaihtelusta, laatukriteereistä sekä siitä, kuinka paljon tiimi on valmis hyödyntämään alennettuja tai viiveeltään epävarmempia palvelutasoja.

Routerin arvolupaus on todennäköisesti vahvimmillaan organisaatioissa, joissa tekoälyliikennettä on paljon ja joissa tehtävien vaatimukset vaihtelevat riittävästi jatkuvan optimoinnin hyödyttämiseksi.

Miksi Router on Rampille tärkeä?

Router antaa Rampille mahdollisuuden siirtyä kulujen seurannasta suoremmin tekoälyn inferenssikerrokseen. Palvelu voi myöhemmin tuoda reititysmaksuihin perustuvaa liikevaihtoa maksuttoman jakson päätyttyä, täydentää yhtiön tokenien käytön ja tekoälykulujen hallintatuotteita sekä vahvistaa suhteita mallien kehittäjiin ja inferenssipalveluiden tarjoajiin.

Palvelu voi toimia myös kehittäjälähtöisenä väylänä Rampin laajempaan kulujenhallintaliiketoimintaan. Tämä on strateginen mahdollisuus, ei yhtiön julkistama ennuste. Käytännön testi on nyt se, tekeekö Router mallien vaihtamisesta ja inferenssikulujen hallinnasta riittävän helppoa, jotta tiimit ottavat sen käyttöön – ja säilyykö etu, kun hinnoittelu muuttuu vuoden 2026 jälkeen.