ZDTaichu5.0-9B richt zich op ruimtelijk inzicht in beeld en video

ZDTaichu5.0-9B is een open multimodaal basismodel van TaichuAI voor visueel begrip, ruimtelijk redeneren, agentachtige toolplanning en onderzoek naar embodied AI: AI die waarneemt en handelt in een fysieke omgeving. De interessante inzet zit dus niet alleen in het herkennen van wat er op een afbeelding staat, maar vooral in het afleiden van posities, gezichtspunten en gebeurtenissen over meerdere beelden of langere video’s heen. 2

Architectuur en invoer

Het model koppelt een taaldecoder van ongeveer 9 miljard parameters, Qwen3.5-9B, aan de C-RADIOv4-H-visionencoder. Het accepteert tekst, één of meer afbeeldingen en video. Volgens de release kan het visuele invoer van elke resolutie verwerken en heeft het een contextvenster van maximaal 128K tokens. 2

Daarmee is het toepassingsgebied breder dan beeldbeschrijvingen. De modelkaart noemt onder meer documenten, grafieken, diagrammen, OCR (tekstherkenning in beeld), visual question answering en visuele wiskunde, naast de interpretatie van complete scènes. 2

Waar het model zich op richt

TaichuAI legt nadruk op ruimtelijke en embodied taken die voor algemene vision-language-modellen vaak lastig zijn. De opgegeven mogelijkheden omvatten:

• 2D- en 3D-ruimtelijk redeneren, zoals objectrelaties en de structuur van een scène;
• wisselingen van gezichtspunt en mentale transformaties, waarbij het referentiekader verandert;
• koppelingen tussen meerdere camerastandpunten en vergelijkingen tussen beelden;
• begrip van video en reeksen afbeeldingen, inclusief het volgen van gebeurtenissen en het terugvinden van details in langere opnames;
• concepten voor embodied AI, zoals ruimtelijke waarneming, affordances (welke handelingen een object toelaat), begrip van manipulatie en planning van acties op hoofdlijnen. 2

Het model ondersteunt ook workflows waarin een agent tools gebruikt. Dat betekent nadrukkelijk niet dat het zelf autonoom acties uitvoert: het kan toolaanroepen plannen en aan meerstaps- of meerturninteracties deelnemen, maar de hostapplicatie moet die tools uitvoeren, controleren en beveiligen. 2

Extra rekenwerk wanneer het antwoord onzeker is

De belangrijkste technische claim heet Entropy-Gated Adaptive Recurrent Reasoning. In plaats van elk token dezelfde extra redeneercapaciteit te geven, gebruikt het systeem onzekerheid om te bepalen op welke plekken aanvullende verfijning in de latente ruimte nodig is. 2

Eenvoudig gezegd: voor voor de hand liggende stappen kan het model direct doorgaan, terwijl moeilijke of onzekere voorspellingen extra interne iteraties krijgen. Het beoogde voordeel is meer effectieve rekendiepte op lastige redeneerstappen, zonder de volledige uitvoer uniform zwaarder te maken. 2

Dat is vooral relevant bij ruimtelijke vragen. Eén verkeerd ingeschatte relatie — bijvoorbeeld na een camerawisseling of bij de positie van twee objecten ten opzichte van elkaar — kan de uiteindelijke conclusie onjuist maken.

Door TaichuAI gemelde benchmarkscores

TaichuAI rapporteert de volgende resultaten in zijn modelmateriaal:

Evaluatiegebied	Benchmark	Gemelde score
Ruimtelijk / embodied	ViewSpatial	62,50
Ruimtelijk / embodied	MMSI-Bench	47,20
Ruimtelijk / embodied	MindCube-tiny	78,27
Ruimtelijk / embodied	ERQA	48,00
Ruimtelijk / embodied	RoboSpatial	56,00
Agent / instructievolging	TAU2-Bench	87,70
Agent / instructievolging	Claw-Eval	71,40
Agent / instructievolging	IFEval	93,70

2

Volgens het project behoort het model bij de vergeleken algemene vision-language-modellen rond de 10B-schaal tot de koplopers in ruimtelijk en embodied redeneren, terwijl de algemene visuele prestaties sterk zouden blijven. 2

Dat is bruikbare informatie voor ontwikkelaars die een compact open model zoeken voor ruimtelijk complexe taken. Het is echter geen universele ranglijst: de vergelijking hangt af van de door de leverancier gekozen modelversies, prompts, voorbewerking, decodinginstellingen en evaluatieopzet. Onafhankelijke reproductie met transparante details blijft nodig voordat deze resultaten als vaststaande vergelijkende prestaties kunnen gelden. 2

Beschikbaarheid, licentie en deployment

ZDTaichu5.0-9B is beschikbaar in TaichuAI’s repository op Hugging Face. De release beschrijft het als een model met eigen code en verwijst naar materiaal voor recurrent reasoning en deployment. 2

Voor het uitgebrachte modelmateriaal noemt TaichuAI de NVIDIA Open Model License; voor Qwen3.5-componenten gelden Apache-2.0-vermeldingen. Teams die het model willen herdistribueren of commercieel inzetten, doen er goed aan de actuele licentiebestanden en kennisgevingen in de repository zelf te controleren. 2

Voor serving documenteert TaichuAI aangepaste routes voor vLLM 0.26.0 en Docker, met verschillende sampling-presets voor taken rond spatial grounding en voor algemene taken. 2

Conclusie

ZDTaichu5.0-9B is een open multimodaal model van circa 9 miljard parameters met een duidelijke specialisatie: niet alleen visuele inhoud herkennen, maar redeneren over beelden, gezichtspunten, scènes en video. De combinatie van een contextvenster van 128K tokens, visuele invoer op elke resolutie en adaptief recurrent redeneren maakt het een opvallende optie voor onderzoek en ontwikkeling rond ruimtelijke vision-language-modellen, embodied AI en door een hostapplicatie beheerde agentworkflows. 2

De gepubliceerde benchmarks zijn veelbelovend, met name voor ruimtelijke evaluaties. Maar het blijft bewijs dat door de leverancier zelf is gerapporteerd, totdat onafhankelijke partijen de tests onder transparante omstandigheden hebben gereproduceerd. 2