Tencent Hy4 Preview: wat het 770B-model kan en waar de grenzen liggen

Tencent Hy4 Preview is het grootste open-weight taalmodel dat Tencent tot nu toe heeft uitgebracht. Het model is bedoeld voor softwareontwikkeling, onderzoek, financiële analyse en andere taken waarbij een AI-agent meerdere stappen moet uitvoeren. Tencent koppelt Hy4 bovendien rechtstreeks aan producten voor programmeren en kantoorwerk. 112

De cijfers zijn indrukwekkend: 770 miljard parameters in totaal, 49 miljard actieve parameters per token en een contextvenster van meer dan één miljoen tokens. De voorzichtige conclusie is voorlopig dat Hy4 tot de sterkste Chinese open-weight modellen voor code en productiviteit behoort. Dat het model concurrenten overal verslaat, is nog niet onafhankelijk aangetoond; een belangrijk deel van de beschikbare benchmarkinformatie komt van Tencent zelf. 18

Wat is Tencent Hy4 Preview?

Hy4 Preview is een zogenoemd Mixture-of-Experts-model (MoE). Daarbij wordt niet voor ieder token het volledige model geactiveerd. Een routeringssysteem selecteert telkens een kleiner deel van het netwerk. Zo kan Tencent een model met een zeer grote totale capaciteit bouwen zonder bij elke invoer alle parameters volledig te benutten.

Tencent positioneert Hy4 niet alleen als chatbot, maar vooral als model voor zogenoemd agentic work: taken waarbij de AI zelfstandig stappen plant en uitvoert. Denk aan programmeren, kantoorwerk, onderzoek en financiële analyse. Het model wordt daarom geïntegreerd in softwareontwikkelings- en productiviteitsproducten. 18

De term ‘open source’ moet hier vooral worden gelezen als open gewichten met ruime mogelijkheden voor implementatie. Tencent publiceerde Hy4 onder de Apache 2.0-licentie en levert ook richtlijnen voor serveren, finetunen en kwantiseren. 812

Specificaties en architectuur

De belangrijkste eigenschappen van Hy4 Preview:

• Totale parameters: 770 miljard
• Actieve parameters per token: 49 miljard
• Contextvenster: meer dan één miljoen tokens
• Architectuur: Mixture of Experts
• Licentie: Apache 2.0
• Modelversies: BF16 en FP8
• Ondersteuning voor serveren: recepten voor vLLM en SGLang, plus een OpenAI-compatibele API-route 812

De backbone van het model telt 78 lagen. De eerste laag gebruikt een dense feed-forward network. De overige 77 lagen werken met MoE-routering, 256 gerouteerde experts en één gedeelde expert. Per token worden acht gerouteerde experts samen met de gedeelde expert geselecteerd. Hy4 heeft daarnaast een ingebouwde laag voor multi-token prediction, bedoeld om speculative decoding te ondersteunen. 8

Voor de attention gebruikt Tencent Gated DeepSeek Sparse Attention met IndexCache. Daarmee kunnen sparse-aandachtsindices tussen lagen worden hergebruikt. Tencent zegt dat delen van het ontwerp zijn geïnspireerd door benaderingen die met DeepSeek en GLM worden geassocieerd. 8

Het belang van die architectuur zit dus niet alleen in het hoge parameter­aantal. Hy4 combineert een grote capaciteit met sparse routing, lange contexten en technieken die de kosten en belasting tijdens inferentie moeten beperken.

Hy4 versus Hy3: wat is er veranderd?

Hy4 is een forse uitbreiding van zijn voorganger Hy3:

Specificatie	Hy3	Hy4 Preview	Verschil
Totale parameters	295 miljard	770 miljard	Ongeveer 2,6 keer groter
Actieve parameters per token	21 miljard	49 miljard	Ongeveer 2,3 keer meer actieve berekening
Contextvenster	262.000 tokens	Meer dan 1 miljoen tokens	Ongeveer 4 keer groter
Modelontwerp	MoE	Uitgebreide MoE met wijzigingen in sparse attention	Meer capaciteit en langere context

Tencent verhoogt daarmee zowel de totale modelcapaciteit als de hoeveelheid actieve berekening per token. Het bedrijf zegt ook dat het de trainingsdata heeft uitgebreid en ingrijpende wijzigingen heeft aangebracht in pretraining en posttraining. 814

Voor gebruikers kan vooral het grotere contextvenster relevant zijn. Een venster van meer dan één miljoen tokens biedt ruimte voor grote codebases, omvangrijke onderzoeksdossiers en complexe werkdocumenten. In de praktijk hangt de bruikbaarheid echter ook af van de kwaliteit van retrieval, de latentie en het vermogen van het model om bij lange invoer accuraat te blijven.

Hoe verhoudt Hy4 zich tot Chinese concurrenten?

De duidelijkste gepubliceerde vergelijking is een interne blinde test van Tencent. Daarin beoordeelden 163 interne experts antwoorden op 203 engineeringtaken. Hy4 Preview kreeg gemiddeld 2,99 uit 4, tegenover 2,92 voor GLM-5.3 van Zhipu en 2,94 voor Kimi K3 van Moonshot. 8

In die test eindigde Hy4 dus nipt boven beide concurrenten. Het resultaat is echter geen neutrale, allesomvattende ranglijst: de beoordelaars waren interne experts van Tencent en de test draaide om engineeringtaken. Andere benchmarkoverzichten laten bovendien wisselende resultaten zien tegenover modellen van onder meer Alibaba’s Qwen en DeepSeek. 113

Ook worden in secundaire berichtgeving grote verbeteringen ten opzichte van Hy3 genoemd op codeerbenchmarks zoals Terminal-Bench 2.1 en DeepSWE. Die cijfers geven een indicatie van de vooruitgang die Tencent claimt, maar moeten voorzichtig worden geïnterpreteerd zolang de testomstandigheden en resultaten niet breed onafhankelijk zijn gereproduceerd. 1718

De meest verdedigbare conclusie is daarom dat Hy4 tot de topgroep van Chinese open-weight modellen voor code en productiviteit behoort. De beschikbare gegevens bewijzen nog niet dat het model iedere concurrent op iedere taak overtuigend achter zich laat.

Waar kun je Hy4 Preview gebruiken?

Tencent biedt Hy4 zowel als downloadbare modelgewichten als via gehoste diensten aan.

Downloaden en zelf implementeren

Het model en de FP8-versie zijn beschikbaar via Hugging Face, ModelScope, GitCode en CNB. Tencent publiceert implementatierecepten voor vLLM en SGLang, een lokale OpenAI-compatibele API-route, instructies voor finetuning en hulpmiddelen voor kwantisering. 812

Dat maakt experimenteren en het bouwen van een aangepaste serving-stack toegankelijker voor ontwikkelaars. ‘Open weight’ betekent echter niet dat het model licht of eenvoudig te draaien is. De referentieconfiguratie voor FP8 gebruikt tensor parallelism over acht GPU’s. Een model van 770 miljard parameters lokaal serveren blijft dus een serieus infrastructuurproject met hoge eisen aan geheugen, netwerkverbindingen en GPU-capaciteit. 8

Tencent-producten en gehoste API’s

Gebruikers kunnen Hy4 openen via WorkBuddy, CodeBuddy, Yuanbao en ima. Tencent vermeldt daarnaast toegang via Tencent Cloud TokenHub en OpenRouter. Bij de lancering bood het bedrijf twee weken gratis toegang via WorkBuddy en CodeBuddy; toegang tot het oudere Hy3 werd verlengd tot en met 30 september. 12

Een rapport van een externe aanbieder noemt voor OpenRouter een invoerprijs van ongeveer 0,834 dollar per miljoen tokens. Dat bedrag moet worden gezien als een kanaalspecifieke prijs en niet als een permanente officiële Tencent-prijs: beschikbaarheid en tarieven kunnen per provider en regio verschillen. 3

Waarom de distributie van Tencent belangrijk is

Hy4 staat niet los van Tencent’s productstrategie. Het bedrijf zegt dat het model samen met WorkBuddy en CodeBuddy is ontwikkeld, met taakgegevens en feedback van interne engineers, gameontwikkelaars, financiële analisten en beveiligingsspecialisten. 8

Daarmee heeft Tencent mogelijk een voordeel dat verder gaat dan de modelarchitectuur. Het kan Hy4 rechtstreeks testen in echte programmeer- en kantoorworkflows en feedback uit die producten gebruiken voor volgende versies. Tegelijkertijd krijgt het model via Tencent’s distributienetwerk een groot aantal mogelijke gebruikers, zonder dat zij zelf een systeem van 770 miljard parameters hoeven te hosten.

Er zijn vroege signalen dat Tencent’s bredere Hunyuan-distributie snel gebruik kan genereren. Tencent meldde dat de introductie van Hunyuan 3 in productie het gemiddelde dagelijkse tokengebruik ongeveer zes keer hoger maakte dan tijdens de previewfase. Dat wijst op snelle groei in gebruik, maar is geen onafhankelijk bewijs voor tevredenheid of langdurige retentie.

Tencent investeert bovendien zwaar in de infrastructuur die deze strategie moet dragen. De uitgaven aan faciliteiten en apparatuur bedroegen in het tweede kwartaal van 2026 52,784 miljard renminbi, ongeveer 2,8 keer zoveel als een jaar eerder. Het management gaf daarbij prioriteit aan AI-infrastructuur en investeringen rond WorkBuddy.

Tencent omschrijft WorkBuddy als de meest gebruikte productiviteitsdienst met AI-agents in China. Dat blijft een bedrijfsclaim en is geen onafhankelijk gecontroleerde meting van marktaandeel. 4

Huidige beperkingen

Hy4 Preview wordt nadrukkelijk niet als eindproduct gepresenteerd. Tencent erkent dat het model bij moeilijke opdrachten soms langer redeneert dan nodig en het eigen werk te vaak opnieuw controleert. Dat kan leiden tot hogere latentie en hogere inferentiekosten. 8

De schaal van het model vormt een tweede praktische beperking. Hoewel door MoE-routering per token slechts 49 miljard parameters actief zijn, moet het volledige model wel worden opgeslagen en beschikbaar worden gehouden. Organisaties die zelf willen hosten hebben daarom veel geheugen, snelle netwerkverbindingen en meerdere krachtige GPU’s nodig.

Ook het benchmarkbewijs heeft beperkingen. De interne evaluatie van Tencent laat slechts een kleine voorsprong zien op GLM-5.3 en Kimi K3 voor engineeringtaken, terwijl bredere vergelijkingen per benchmark verschillen. Vroege rankings zijn daarom vooral richtinggevend en nog niet definitief. 8

Ten slotte staat een contextvenster van één miljoen tokens niet automatisch gelijk aan betrouwbaar redeneren over één miljoen tokens. De prestaties hangen af van de taak, de promptstructuur, de retrievalstrategie en de gekozen servingconfiguratie.

Welke verbeteringen komen waarschijnlijk hierna?

Tencent heeft geen formele, gedetailleerde roadmap gepresenteerd, maar de gewenste richting is wel duidelijk. Het bedrijf noemt verdere pretraining en posttraining, sneller en minder repetitief redeneren, voortdurende feedback uit WorkBuddy en CodeBuddy en compressie- en kwantiseringstechnieken om de implementatiekosten te verlagen. 8

Die verbeteringen zouden de centrale afweging rond Hy4 aanpakken: het model biedt aanzienlijk meer capaciteit en een veel langere context dan Hy3, maar het label ‘Preview’ laat zien dat snelheid, efficiëntie en betrouwbaarheid in productie nog verder worden verfijnd.

Eindoordeel

Hy4 Preview is een grote stap vooruit ten opzichte van Hy3. Het totale aantal parameters stijgt van 295 naar 770 miljard, het aantal actieve parameters van 21 naar 49 miljard en het contextvenster van 262.000 naar meer dan één miljoen tokens. Daar komt een opvallend sterke koppeling met Tencent’s codeer-, kantoor-, cloud- en consumentenproducten bij. 812

Voor ontwikkelaars maken de Apache 2.0-gewichten en de beschikbare implementatietools Hy4 interessant om te testen. Voor organisaties kan gehoste toegang via Tencent-producten en API’s praktischer zijn dan zelf hosten.

De juiste conclusie is voorlopig nuchter: Hy4 Preview oogt als een krachtig Chinees open-weight model voor programmeren en agentische productiviteit. Onafhankelijke benchmarks, bredere adoptie door ontwikkelaars en langdurige prestaties in echte productieomgevingen zullen moeten uitwijzen of de veelbelovende eerste resultaten uitgroeien tot een blijvende voorsprong.