ZDTaichu5.0-9B : un modèle multimodal ouvert de 9 milliards de paramètres pour mieux raisonner dans l’espace

ZDTaichu5.0-9B est un modèle de fondation multimodal ouvert publié par TaichuAI. Il cible la compréhension visuelle, le raisonnement spatial, l’usage d’outils par des agents et la recherche en IA incarnée — autrement dit, des systèmes qui doivent percevoir un environnement et raisonner sur les objets qui s’y trouvent. Son intérêt ne se limite donc pas à décrire une image : il est pensé pour comparer des points de vue, relier plusieurs images et exploiter de longues séquences vidéo. 2

Une architecture texte-image-vidéo

Le modèle associe un décodeur de langage Qwen3.5-9B, d’environ 9 milliards de paramètres, et un encodeur visuel C-RADIOv4-H. Il accepte du texte, une ou plusieurs images ainsi que de la vidéo. La documentation annonce la prise en charge d’entrées visuelles de toute résolution et une fenêtre de contexte allant jusqu’à 128 000 tokens. 2

Ce périmètre le destine à davantage que la légende d’images. La fiche du modèle cite notamment les documents, graphiques, schémas, l’OCR — la reconnaissance de texte dans les images —, les questions-réponses visuelles et les mathématiques visuelles. 2

Ce que le modèle cherche à mieux comprendre

TaichuAI met l’accent sur des situations où les modèles vision-langage généralistes rencontrent souvent des difficultés : le changement de référentiel, les relations entre objets ou la lecture d’une scène depuis plusieurs angles.

Les capacités annoncées incluent notamment :

• le raisonnement spatial en 2D et en 3D, ainsi que la structure d’une scène ;
• les changements de point de vue et les transformations mentales de la scène ;
• l’association entre plusieurs vues et leur comparaison ;
• la compréhension de vidéos et de séries d’images, dont le suivi d’événements et la recherche de détails dans des séquences longues ;
• des notions utiles à l’IA incarnée, comme la perception spatiale, les affordances, la compréhension de manipulations et la planification d’actions de haut niveau. 2

Le modèle peut aussi participer à des interactions orientées agents, en planifiant des appels d’outils dans des flux à plusieurs étapes ou plusieurs tours. Cela ne signifie pas qu’il exécute ces outils de manière autonome : l’application hôte reste chargée de leur exécution, de leur validation et de leur sécurisation. 2

Le raisonnement récurrent adaptatif, en termes simples

La principale revendication technique de ZDTaichu5.0-9B est l’Entropy-Gated Adaptive Recurrent Reasoning, ou raisonnement récurrent adaptatif piloté par l’entropie. Plutôt que d’ajouter la même quantité de calcul à chaque token généré, le système estime les zones d’incertitude et déclenche, lorsque nécessaire, des étapes supplémentaires de raffinement dans l’espace latent. 2

En clair, les étapes simples suivent le chemin normal, tandis qu’une prédiction plus ambiguë peut bénéficier d’un traitement interne additionnel. L’objectif est d’augmenter la profondeur de calcul effective sur les raisonnements difficiles sans alourdir uniformément toute la génération. 2

Cette approche est particulièrement pertinente pour les questions spatiales : une erreur sur la position relative de deux objets ou sur un changement d’angle de caméra peut suffire à faire basculer la réponse finale.

Résultats de benchmarks rapportés

TaichuAI publie les scores suivants dans les documents du modèle :

Domaine d’évaluation	Benchmark	Score rapporté
Spatial / IA incarnée	ViewSpatial	62,50
Spatial / IA incarnée	MMSI-Bench	47,20
Spatial / IA incarnée	MindCube-tiny	78,27
Spatial / IA incarnée	ERQA	48,00
Spatial / IA incarnée	RoboSpatial	56,00
Agent / suivi d’instructions	TAU2-Bench	87,70
Agent / suivi d’instructions	Claw-Eval	71,40
Agent / suivi d’instructions	IFEval	93,70

2

Le projet présente ZDTaichu5.0-9B comme un leader du raisonnement spatial et incarné parmi les modèles vision-langage généralistes d’environ 10 milliards de paramètres retenus dans ses comparaisons, tout en conservant de solides capacités visuelles générales. 2

Il faut toutefois lire ce positionnement avec prudence. Ces chiffres sont communiqués par l’éditeur et dépendent des modèles comparés, de leurs versions, des prompts, du prétraitement, des réglages de décodage et du protocole d’évaluation choisis. Des reproductions indépendantes, avec ces paramètres rendus publics, restent nécessaires avant de considérer ces comparaisons comme définitivement établies. 2

Disponibilité, licence et déploiement

ZDTaichu5.0-9B est disponible dans le dépôt Hugging Face de TaichuAI. La publication indique que le modèle repose sur du code personnalisé et renvoie vers des ressources consacrées au raisonnement récurrent et au déploiement. 2

La licence indiquée pour les éléments publiés est la NVIDIA Open Model License, tandis que des notices Apache-2.0 accompagnent les composants Qwen3.5. Les équipes envisageant une redistribution ou un usage commercial doivent consulter directement les fichiers de licence et les notices à jour du dépôt. 2

Pour l’inférence, TaichuAI documente des parcours personnalisés avec vLLM 0.26.0 et Docker, avec des préréglages d’échantillonnage distincts pour les tâches d’ancrage spatial et les tâches généralistes. 2

À retenir

ZDTaichu5.0-9B est un modèle multimodal ouvert d’environ 9 milliards de paramètres dont la spécialisation est claire : raisonner entre images, points de vue, scènes et vidéos, au-delà de la simple reconnaissance de contenu visuel. Sa fenêtre de contexte de 128 000 tokens, la prise en charge d’images de toute résolution et son raisonnement récurrent adaptatif en font une option à suivre pour la recherche sur les modèles vision-langage spatiaux, l’IA incarnée et les agents contrôlés par une application hôte. 2

Ses résultats publiés sont prometteurs, surtout sur les benchmarks spatiaux, mais ils restent des données rapportées par le fournisseur tant qu’ils n’auront pas été confirmés par des évaluations indépendantes et transparentes. 2