DeepSeek julkaisi 20. lokakuuta 2026 lisää tekoälymallien ajamiseen käyttämäänsä ohjelmistoa. Yhtiön mukaan DeepInfer on sen tuotantopalveluiden inferenssikehys eli ohjelmisto, joka tuottaa vastauksia opetetun mallin avulla. Sen rinnalla julkaistu deepseek-recipe huolehtii pyyntöjen ja tokenien käsittelystä. Olennainen rajaus on kuitenkin tämä: avoin julkaisu tarjoaa offline-inferenssin, ei valmista korvaajaa DeepSeekin verkossa toimivalle API-palvelulle.
3
4
33
Mitä DeepInfer ja deepseek-recipe tekevät?
DeepInfer on kehys, jolla koulutettua mallia ajetaan vastausten tuottamiseksi. Julkaisun ensimmäinen versio tukee DeepSeek-V4.1-Flashia, ja ohjelmisto on julkaistu Apache 2.0 -lisenssillä.
4
5
Kehyksen ominaisuuksiin kuuluvat muun muassa hajautettu inferenssi, optimoidut ytimet, spekulatiivinen dekoodaus, asynkroninen ajoitus, eräkoosta riippumaton inferenssi ja rakenteinen tuloste.
33
34 Rakenteinen tuloste tarkoittaa, että mallin vastaus voidaan rajata noudattamaan esimerkiksi JSON-skeemaa, säännöllistä lauseketta tai EBNF-kielioppia.
29
30
deepseek-recipe on rinnakkainen komponentti, joka muuntaa pyynnöt mallin syötteiksi ja käsittelee tuotetut vastaukset takaisin sovelluksen käyttöön. Lähteissä mainitaan tuttujen API-pyyntömuotojen tuki, mutta se ei yksin todista, että komponentti vastaisi kaikilta ominaisuuksiltaan DeepSeekin isännöityä API-palvelua.
3
9
Malli- ja laitetuki on toistaiseksi rajattu
Julkaisun yhteydessä DeepInferin tuettuna mallina mainitaan DeepSeek-V4.1-Flash. Laitteistoluettelossa ovat NVIDIA SM100 -grafiikkasuorittimet ja Huawei Ascend 950 -kiihdyttimet.
3
5 Tämä ei tarkoita, että kehys tukisi kaikkia NVIDIA- tai Huawei-laitteita; lähteet eivät myöskään vahvista yksittäisten laitemallien yhteensopivuutta.
Mitä suorituskykyväitteistä voi päätellä?
DeepSeek kuvaa DeepInferia tehokkaaksi inferenssikehykseksi. Bloombergin mukaan julkaisu voi tehdä mallien ajamisesta yrityksille halvempaa ja helpompaa, jos ohjelmisto auttaa hyödyntämään laskentakapasiteettia tehokkaammin.
33
45 Kyse on mahdollisista hyödyistä, ei lupauksesta siitä, että jokainen käyttöönotto laskisi kustannuksia, energiankulutusta tai viivettä tai saavuttaisi tietyn läpimenon.
DeepSeekin ilmoittama 155 biljoonan tokenin päivävauhti klusteria kohden on toistunut uutisoinnissa, mutta saatavilla olevat lähteet eivät vahvista lukua riippumattomasti eivätkä anna riittävästi tietoa vertailuun muiden järjestelmien kanssa.
1
5 The Next Webin mukaan myöskään DeepSeekin nopeuslukuja ei ole testattu riippumattomasti.
49
Miksi julkaisu ei ole valmis verkkopalvelu?
Avoin julkaisu tarjoaa offline-inferenssin. Käyttöönottoa käsittelevissä lähteissä mainitaan lisäksi useita palvelutasolta puuttuvia osia: KV-välimuistin hallinta, kehotteen käsittelyn ja tokenien generoinnin eriyttäminen (prefill/decode-eriyttäminen) sekä kuormantasaus rinnakkaisten mallipalvelinten välillä.
4
7
Jos organisaatio haluaa tarjota mallia useille käyttäjille reaaliaikaisena palveluna, sen on siis rakennettava tai hankittava myös näihin tehtäviin tarvittava infrastruktuuri. DeepInfer sopii luontevimmin tiimeille, joilla on jo osaamista inferenssijärjestelmien suunnittelusta. Se ei ole valmis hosting-palvelu. Itse ylläpidetyn ratkaisun kustannukset riippuvat tarvittavasta laitteistosta ja operointityöstä; julkaisu ei yksin kerro, tuoko se säästöjä.
Yhteenveto
DeepInfer avaa yrityksille DeepSeek-V4.1-Flashin inferenssikehyksen, ja deepseek-recipe tuo rinnalle työkalun pyyntöjen ja vastausten käsittelyyn. Nämä ovat uusia rakennuspalikoita omia ajoja suunnitteleville infrastruktuuritiimeille. Käyttöönotossa kannattaa silti erottaa kehittäjän ilmoittamat optimointiominaisuudet riippumattomasti mitatuista tuloksista ja huomioida työ, jota offline-inferenssin muuttaminen luotettavaksi verkkopalveluksi vaatii.
3
4
33
49