Mitä OpenAI:n Jalapeño-vertailut oikeastaan osoittavat?

OpenAI:n ensimmäiset yksityiskohtaiset Jalapeño-tulokset esittävät rajatun mutta merkittävän väitteen: yhtiön oma erikoispiiri voi ajaa suuria kielimalleja pienemmällä energiankulutuksella ja lyhyemmällä vasteajalla kuin vertailuun valitut Nvidia GB200- ja GB300-järjestelmät. SemiAnalysisin julkisessa InferenceX-vertailussa OpenAI raportoi 1,5–1,9 kertaa enemmän tekoälytyötä wattia kohden sekä 1,7–3,6 kertaa pienemmän kokonaisviiveen kolmella avoimesti saatavalla painomallilla.

Tulos on OpenAI:lle tärkeä, koska yhtiö käsittelee valtavan määrän tekoälypyyntöjä. Se ei kuitenkaan tarkoita, että Jalapeño olisi todistetusti kaikkialla nopeampi tai halvempi kuin grafiikkasuorittimet. Testit olivat rajattuja, siru on suunniteltu vain päättelyyn ja tulokset syntyivät pääosin OpenAI:n omilla teknisen kehitysvaiheen piireillä. 14

Vertailujen tärkeimmät tulokset

OpenAI vertasi Jalapeñoa Nvidian GB200- ja GB300-järjestelmiin InferenceX-testissä, jonka tarkoituksena on mitata tekoälypyynnön koko palveluprosessia. Energiatehokkuusluvut normalisoitiin kiihdyttimien julkaistujen teholukemien perusteella.

Raportoidut tulokset olivat seuraavat:

• 1,5–1,9 kertaa enemmän tekoälytyötä wattia kohden huippuläpimenolla kuin vertailuun valituilla Nvidia-järjestelmillä.
• 1,7–3,6 kertaa pienempi kokonaisviive.
• 2,1–4,1 kertaa parempi suorituskyky erittäin vuorovaikutteisissa kuormissa OpenAI:n valitsemissa käyttöpisteissä. 4

Suurin toimitettuihin lukuihin perustuva viive-ero nähtiin DeepSeek R1 670B -mallilla: Jalapeño käsitteli pyynnön 1,65 sekunnissa, kun GB300-pohjaiselta järjestelmältä kului 5,99 sekuntia. 1112

Kyse on suhteellisista vertailutuloksista, ei lupauksesta siitä, että ChatGPTin vastausajat tai rajapintojen hinnat lyhenisivät saman verran. Todellinen suorituskyky riippuu muun muassa mallista, palvelinohjelmistosta, pyyntöjen ryhmittelystä, verkkoyhteyksistä, kontekstin pituudesta, vastauksen pituudesta sekä siitä, tavoitellaanko pientä viivettä vai suurta läpimenoa.

Mitä malleja ja kuormia testattiin?

Vertailussa käytettiin kolmea julkisesti saatavilla olevaa painomallia:

Malli	Nvidia-vertailu	Raportoitu Jalapeño-tulos
GPT-OSS 120B	GB200	Noin 1,9 kertaa enemmän työtä wattia kohden; kokonaisviive 1,03 sekuntia verrattuna 1,80 sekuntiin
DeepSeek R1 670B	GB300	Noin 1,7 kertaa enemmän työtä wattia kohden; viive 1,65 sekuntia verrattuna 5,99 sekuntiin
Kimi K2.5 1T	GB300	Noin 1,5 kertaa enemmän työtä wattia kohden; viive 1,56 sekuntia verrattuna 5,31 sekuntiin

Yllä olevat luvut ovat raportoituja vertailuyhteenvetoja, eivät riippumattomasti toistettuja koko testisarjan tuloksia. 61112

Kuorma oli nimellisesti yksikierroksinen: syötteenä käytettiin 8 000 tokenia ja vastauksena 1 000 tokenia. Asetelma helpottaa laitteiden hallittua vertailua, mutta se ei kuvaa kaikkea tekoälypalveluiden liikennettä. Se ei esimerkiksi kerro riittävästi monikierroksisista keskusteluista, työkaluja käyttävistä pyynnöistä, agenttityönkuluista, vaihtelevan pituisista vastauksista, pyyntöjen ryhmittelystä tai erittäin pitkistä konteksteista. 813

Vertailu koski lisäksi tiettyjä laite- ja ohjelmistokokoonpanoja. Kääntäjien, kernelien, kvantisoinnin, ajoituksen, mallirakenteen tai Nvidian ohjelmistopinon muutokset voivat muuttaa suorituskykyeroa.

Millainen Jalapeñon palvelinkokonaisuus on?

Jalapeño on Broadcomin kanssa kehitetty sovelluskohtainen ASIC-piiri eli application-specific integrated circuit, joka on tarkoitettu suurten kielimallien päättelyyn. Toisin kuin yleiskäyttöinen GPU, se on optimoitu koulutettujen mallien ajamiseen ja vastausten tuottamiseen. 15

Raportoidut järjestelmätiedot ovat seuraavat:

• 128 kiihdytinpiiriä palvelinkaappia kohden.
• Noin 1,7 eksaflopsia 4-bittistä laskentatehoa.
• Noin 27 teratavua suuren kaistanleveyden muistia koko järjestelmässä.
• 700 watin nimellisteho piirille, kun GB200:n julkaistu lukema on 1 200 wattia ja GB300:n 1 400 wattia. 121419

Sirutasolla raportoidussa B0-versiossa on TSMC:n N3P-prosessilla valmistettu retikkelin kokoinen laskentasuulake, jonka MXFP4-laskentatehoksi ilmoitetaan 13,4 petaflopsia. 18

Arkkitehtuuri on suunniteltu kokonaisena järjestelmänä, ei vain yksittäisenä kiihdyttimenä. Muisti, liitäntätekniikka, verkotus ja palvelinkaappien välinen viestintä ovat keskeisiä erittäin suurten mallien ajamisessa, sillä pyynnöt on usein jaettava useille piireille. 1819

Miten nopeasti piiri syntyi, ja mikä oli tekoälyn rooli?

OpenAI ja Broadcom etenivät tiettävästi konseptista tape-out-vaiheeseen eli tuotantoon lähetettävään piirikuvaukseen noin yhdeksässä kuukaudessa. Se on poikkeuksellisen lyhyt aika tehokkaan erikoispiirin kehitykselle. 720

Tekoälyavusteinen suunnittelu kuului kehitysprosessiin, mutta tämä ei tarkoita, että tekoälymalli olisi itsenäisesti suunnitellut ja valmistanut suorittimen. Arkkitehtuurista, suunnittelusta, puolijohdetoteutuksesta, valmistuksesta ja järjestelmäintegraatiosta vastasivat edelleen ihmiset, Broadcomin tekniset tiimit ja valmistuskumppanit. 713

Varovaisempi tulkinta on, että OpenAI hyödynsi ymmärrystään kielimallien kuormista ja tekoälytyökaluja suunnitellakseen laitteiston ja ohjelmiston yhdessä tiettyä palvelutehtävää varten. Erikoistuminen voi parantaa tehokkuutta, mutta samalla se vähentää joustavuutta ohjelmoitavaan GPU:hun verrattuna.

Miksi Jalapeño on tarkoitettu vain päättelyyn?

Jalapeño on rakennettu valmiiden mallien palvelemiseen, ei uusien huippumallien kouluttamiseen. OpenAI tarvitsee siksi edelleen ohjelmoitavia kiihdyttimiä, etenkin GPU:ita, mallien koulutukseen, tutkimukseen, kokeiluihin ja kuormiin, jotka eivät sovi hyvin kiinteämmin optimoituun päättelypiiriin. 813

Tämä rajoittaa myös väitteen siitä, että Jalapeño olisi "päihittänyt Nvidian". Jalapeño voi olla valituissa päättelymittareissa nopeampi kuin testatut Nvidia-kokoonpanot, vaikka Nvidia-laitteisto säilyy välttämättömänä muissa OpenAI:n laskentatehtävissä. Erikois-ASIC voi olla erinomainen ennakoitavassa ja suuren volyymin tehtävässä korvaamatta laajempaa alustaa, jolla malleja koulutetaan ja muutetaan nopeasti.

Mitä vertailut eivät osoita?

Tuloksia kannattaa lukea muodossa "parempi näissä raportoiduissa testeissä", ei muodossa "paras tekoälyjärjestelmä kokonaisuutena". Useat rajoitteet ovat olennaisia:

• Testeissä käytettiin kiinteää ja melko yksinkertaista yksikierroksista kuormaa, ei tuotantoliikenteen koko kirjoa. 1112
• Julkaistut luvut syntyivät OpenAI:n testeissä teknisen kehitysvaiheen piireillä. SemiAnalysisiin liittyvän raportoinnin mukaan testiajoja varmennettiin OpenAI:n laboratoriossa, mutta varsinaiset luvut toimitti silti OpenAI. 214
• Energiatehokkuus normalisoitiin julkaistujen piiritehojen perusteella. Se on hyödyllinen vertailutapa, mutta ei vastaa kattavaa datakeskuksen kustannus- tai energiankulutusanalyysiä. 11
• Tulokset voivat muuttua kääntäjien, kernelien, ajoaikojen, kvantisoinnin, pyyntöjen ryhmittelyn, verkotuksen ja Nvidian ohjelmistojen päivitysten myötä.
• Vertailu ei osoittanut Jalapeñon suorituskykyä kaikkia uusia tai tulevia kiihdyttimiä vastaan. Mukana eivät olleet esimerkiksi Nvidian Blackwellin jälkeiset tuotteet tai Googlen, Amazonin, Microsoftin ja AMD:n uusimmat järjestelmät. 238

Näiden tulosten perusteella ei myöskään voi väittää, että kustannukset laskisivat yleisesti 50 prosenttia, API-hinnat varmasti alenisivat tai Nvidia väistyisi nopeasti. Saatavilla oleva näyttö tukee suorituskyky- ja tehokkuusväitteitä tietyissä olosuhteissa, ei laajempia kaupallisia johtopäätöksiä.

Milloin OpenAI ottaa Jalapeñon käyttöön?

OpenAI suunnittelee aloittavansa Jalapeñon käyttöönoton omassa infrastruktuurissaan vuoden 2026 loppuun mennessä. Volyymituotantoa ja laajempaa käyttöönottoa odotetaan vuonna 2027. Pidemmän aikavälin suunnitelmaan kuuluu gigawattien mittakaavan datakeskuksia Microsoftin ja muiden infrastruktuurikumppaneiden kanssa sekä useita piirien sukupolvia. 16

Piiri on tarkoitettu ensisijaisesti OpenAI:n omaan käyttöön, ei myytäväksi erillisenä tuotteena. Ulkopuolisten yritysten ei siksi pidä odottaa voivansa ostaa Jalapeño-laitteistoa tai vuokrata julkista Jalapeño-pilvi-instanssia näiden ilmoitusten perusteella. 16

Sisäinen käyttö antaa OpenAI:lle mahdollisuuden optimoida piirin omille malleilleen, kerneleilleen ja palvelujärjestelmilleen. Samalla yhtiö välttää perinteisen puolijohdetoimittajan asiakastuen, ohjelmistoekosysteemin, myynnin ja kilpailuasetelman vaatimukset. Nämä ovat strateginen tulkinta käyttömallista; vahvistettu suunnitelma on sisäinen käyttöönotto, ei ulkoinen piirien myynti. 16

Mihin Jalapeño sijoittuu tekoälypiirien kilpailussa?

Jalapeño kannattaa nähdä osana OpenAI:n laajempaa kokonaisvaltaista laskentastrategiaa. Yhtiö yhdistää Microsoftin ja muiden pilvipalvelukumppaneiden kapasiteettia, Nvidia-tyyppisiä GPU:ita joustavuutta ja koulutusta vaativiin tehtäviin sekä omaa piitä vakaaseen päättelyliikenteeseen, jossa erikoistumisesta voi olla hyötyä. OpenAI:n oma kuvaus laskentaportfoliosta sisältää Microsoftin, Nvidian, AWS:n, AMD:n, Broadcomin, Cerebrasin, CoreWeaven, Oraclen, SB Energyn ja SoftBankin.

Kehitys heijastaa laajempaa alan muutosta. Google kehittää TPU-piirejä, Amazon tarjoaa Trainium- ja Inferentia-kiihdyttimiä, Microsoftilla on Maia, AMD kilpailee yleiskäyttöisillä tekoäly-GPU:illa ja Nvidia toimittaa edelleen laajasti ohjelmoitavia järjestelmiä. Myös Anthropic pyrkii yhä räätälöidympään infrastruktuuriin pilvikumppaniensa kautta, vaikka käytettävissä oleva vertailunäyttö ei mahdollista suoraa suorituskykyvertailua Anthropicin järjestelmiin.

Lyhyellä aikavälillä kyse ei siis ole yksinkertaisesta GPU:iden korvaamisesta. Jalapeño voi antaa OpenAI:lle enemmän hallintaa päättelyn kustannuksiin, viiveeseen, toimitusvarmuuteen ja laitekehityksen tiekarttaan. Nvidia pysyy tärkeänä koulutuksessa ja joustavissa tutkimustehtävissä, kun taas OpenAI:n oma piiri tarjoaa erikoistuneen vaihtoehdon ennakoitavaan ja suuren volyymin palveluliikenteeseen. 813