腾讯于 2026 年 7 月 6 日正式发布了第三代混元大模型 Hy3(此前 Hy3 Preview 于 4 月 22-23 日开源)。这是腾讯首个定位为“前沿级”的模型,由前 OpenAI 研究员 姚顺雨 带队打造 DJ。
架构与规格
- 总参数量: 295B,采用 Mixture-of-Experts (MoE) 架构,每个 token 仅激活 21B 参数,另含 3.8B 的 MTP(多 token 预测)层用于推测解码 DAF。
- 结构: 80 层 Transformer,192 个路由专家(top-8)+ 1 个共享专家,GQA 注意力机制(64 头,8 KV 头)。