迄今为止最高性价比的Hy模型!腾讯混元Hy4 flash发布,速度大幅提升
11 月 16 日,腾讯混元最新语言模型 Hy4 flash 发布,模型总参数量为 224B (其中 64B Engram 参数),激活参数仅为 12B,支持多模态和 1M 上下文长度。Hy4 flash 是迄今为止最高性价比的 Hy 模型:每百万 Token 输入 0.5 元、输出 2 元,命中缓存时仅需 0.02 元,价格相比 Hy4 大幅降低。为了达到极致的性价比,同时兼顾智能水平和实用性,混元团队做了一系列工作:在预训练阶段,Hy4 flash 加入了混合注意力、LatentMoE、Engram 等架构特性,KV cache 大小仅为 Hy3 的 1/24、Hy4 的 1/6,且通过大...


