DeepSeek heeft op 20 oktober 2026 een deel van de software waarmee het zijn AI-modellen uitvoert beschikbaar gemaakt voor andere ontwikkelaars. Het gaat om DeepInfer, de inferentie-engine die volgens het bedrijf achter zijn productiediensten zit, en om deepseek-recipe, dat helpt bij het verwerken van verzoeken en modeluitvoer. De belangrijkste kanttekening: de openbare versie biedt offline-inferentie, geen kant-en-klare vervanger voor de gehoste API van DeepSeek.
3
4
33
Wat DeepInfer en deepseek-recipe doen
DeepInfer is een framework voor inferentie: software die een getraind model antwoorden laat genereren. De eerste versie ondersteunt DeepSeek-V4.1-Flash en is uitgebracht onder de Apache 2.0-licentie.
4
5
In de documentatie noemt DeepSeek functies als gedistribueerde inferentie, geoptimaliseerde kernels, speculatief decoderen, asynchrone planning, batch-invariante inferentie en gestructureerde uitvoer.
33
34 Met gestructureerde uitvoer kan een model bijvoorbeeld worden beperkt tot een voorgeschreven formaat, zoals een JSON-schema, reguliere expressie of EBNF-grammatica.
29
30
deepseek-recipe is de aanvullende component die verzoeken omzet naar invoer voor het model en de uitvoer terugvertaalt naar een antwoord. Volgens berichtgeving kan de software overweg met bekende API-verzoekformaten. Dat bewijst op zichzelf niet dat elk gedrag van DeepSeeks gehoste API wordt nagebootst.
3
9
Ondersteund model en hardware
Bij de eerste release noemt DeepInfer één model: DeepSeek-V4.1-Flash. De opgegeven hardware bestaat uit NVIDIA SM100-GPU’s en Huawei Ascend 950-NPU’s.
3
5 Daaruit volgt niet dat het framework op elke NVIDIA-GPU of Huawei-accelerator werkt. De beschikbare bronnen bevestigen ook geen ondersteuning voor afzonderlijke kaartvarianten.
Wat de prestatieclaims wel en niet zeggen
DeepSeek presenteert DeepInfer als een framework met hoge prestaties. Bloomberg schrijft dat de software het voor bedrijven mogelijk goedkoper en eenvoudiger kan maken om DeepSeek-modellen zelf te draaien, doordat rekenkracht efficiënter wordt benut.
33
45 Dat zijn beoogde voordelen, geen garantie op lagere kosten, minder energieverbruik, kortere wachttijden of een bepaalde verwerkingssnelheid bij elke installatie.
In berichtgeving wordt een cijfer van 155 biljoen tokens per dag per cluster aan DeepSeek toegeschreven. De beschikbare bronnen controleren die claim niet onafhankelijk en geven onvoldoende informatie om het cijfer rechtstreeks met dat van andere systemen te vergelijken.
1
5 The Next Web meldt eveneens dat de snelheidscijfers van DeepSeek niet onafhankelijk zijn getest.
49
Waarom dit nog geen complete online dienst is
De openbare release is bedoeld voor offline-inferentie. In berichtgeving over de implementatiedocumentatie worden bovendien onderdelen genoemd die niet zijn inbegrepen: beheer van de KV-cache, het scheiden van prefill en tokenaanmaak (prefill/decode-disaggregatie) en load balancing tussen replica’s.
4
7
Organisaties die een live dienst voor meerdere gebruikers willen aanbieden, moeten dus zelf aanvullende infrastructuur regelen. DeepInfer is daarmee eerder geschikt voor teams met ervaring in inferentie-infrastructuur dan voor bedrijven die een kant-en-klare hostingdienst zoeken. Of zelf hosten goedkoper uitpakt, hangt af van de benodigde hardware en het operationele werk; de release op zichzelf geeft daar geen uitsluitsel over.
De praktische conclusie
DeepInfer stelt infrastructuurteams in staat om met de productiegerichte inferentie-engine voor DeepSeek-V4.1-Flash aan de slag te gaan. deepseek-recipe biedt een aanvullende laag voor het verwerken van verzoeken en antwoorden. Dat levert bouwstenen op voor zelf hosten, maar bedrijven moeten geadverteerde optimalisaties onderscheiden van onafhankelijk gemeten prestaties. Ook moeten ze rekening houden met het werk dat nodig is om van offline-inferentie een betrouwbare online dienst te maken.
3
4
33
49