DeepSeek ha reso disponibile il 20 ottobre 2026 una parte del software usato per eseguire i propri modelli: DeepInfer, il motore d’inferenza che, secondo l’azienda, alimenta i suoi servizi di produzione. Insieme è arrivato deepseek-recipe, il componente che si occupa di convertire le richieste in input per il modello e di rielaborarne le risposte. Il punto da tenere presente è che il rilascio offre inferenza offline, non un servizio completo pronto a sostituire l’API ospitata da DeepSeek.
3
4
33
Che cosa fanno DeepInfer e deepseek-recipe
Un motore d’inferenza è il software che permette a un modello già addestrato di generare risposte. Al debutto, DeepInfer supporta DeepSeek-V4.1-Flash ed è distribuito con licenza Apache 2.0, che consente anche l’uso commerciale.
4
5
Tra le funzioni elencate da DeepSeek figurano l’inferenza distribuita, kernel ottimizzati, decodifica speculativa, pianificazione asincrona, inferenza batch-invariant e output strutturati.
33
34 Quest’ultima funzione permette, per esempio, di vincolare la risposta a un formato preciso, come uno schema JSON, un’espressione regolare o una grammatica EBNF.
29
30
deepseek-recipe è il componente complementare che converte le richieste in una rappresentazione utilizzabile dal modello e trasforma i risultati in risposte. Le fonti descrivono il supporto a formati di richiesta API familiari, ma questo non dimostra che ogni funzionalità del servizio API ospitato da DeepSeek sia replicata integralmente.
3
9
Modello e hardware supportati
Per il rilascio iniziale, DeepInfer indica un solo modello, DeepSeek-V4.1-Flash, e due famiglie di acceleratori: GPU NVIDIA SM100 e NPU Huawei Ascend 950.
3
5 L’elenco non conferma la compatibilità con qualsiasi GPU NVIDIA o acceleratore Huawei, né specifica tutte le varianti delle schede supportate.
Prestazioni: vantaggi possibili, non risparmi garantiti
DeepSeek presenta DeepInfer come un framework ad alte prestazioni. Secondo Bloomberg, rendere disponibile questo software potrebbe aiutare le aziende a eseguire i suoi modelli a costi inferiori e con maggiore facilità, grazie a un uso più efficiente delle risorse di calcolo.
33
45 Si tratta però di benefici potenziali: il rilascio non garantisce una riduzione dei costi o dei consumi energetici, né prestazioni specifiche in termini di latenza o throughput per ogni configurazione.
Alcune notizie riportano la cifra di 155.000 miliardi di token al giorno per cluster. Le fonti disponibili non la verificano in modo indipendente e non forniscono elementi sufficienti per confrontarla direttamente con i risultati di altri sistemi.
1
5 Anche The Next Web segnala che le dichiarazioni di DeepSeek sulla velocità non sono state testate da soggetti esterni.
49
Perché non basta per offrire un servizio online
La versione pubblica di DeepInfer esegue inferenza offline. Nella documentazione di distribuzione sono inoltre indicati alcuni componenti per la gestione di un servizio online che non fanno parte del rilascio: la gestione della KV cache, la separazione tra elaborazione del prompt e generazione dei token (prefill/decode disaggregation) e il bilanciamento del carico tra repliche.
4
7
In pratica, chi vuole offrire un servizio live a più utenti deve predisporre e gestire anche questa infrastruttura. DeepInfer può quindi interessare soprattutto organizzazioni con competenze di ingegneria dell’inferenza, più che team alla ricerca di una soluzione di hosting già pronta. L’eventuale risparmio dell’auto-gestione dipenderà dall’hardware e dal lavoro operativo necessario: il rilascio, da solo, non permette di stabilirne il costo.
In sintesi
DeepInfer mette a disposizione un motore d’inferenza pensato per DeepSeek-V4.1-Flash; deepseek-recipe aggiunge strumenti per elaborare richieste e risposte. Per i team infrastrutturali sono nuovi mattoni con cui costruire una soluzione autonoma, ma le funzionalità dichiarate non vanno confuse con risultati misurati in modo indipendente. E per passare dall’inferenza offline a un servizio online affidabile serve ancora lavoro aggiuntivo.
3
4
33
49