凤凰网科技讯(编辑/宋淑美) 11月18日,腾讯混元宣布开放Hy4 flash系列模型权重,包括Hy4 flash、Hy4 flash-FP8和Hy4 flash-base。相关模型及部署资料已上线GitHub、Hugging Face、ModelScope和GitCode,开发者可下载并进行本地部署。

其中,Hy4 flash为指令模型,Hy4 flash-FP8是经过FP8量化的指令模型,主要用于降低部署所需的计算和显存资源;Hy4 flash-base则为预训练基础模型,尚未进行面向对话场景的指令微调。
腾讯披露的开源资料显示,Hy4 flash总参数约2200亿,其中包括约635亿Engram参数,每个Token激活参数约120亿。该模型采用混合专家架构,支持文本和图像输入、文本输出,上下文窗口最高可达100万Token。
在模型结构方面,Hy4 flash引入混合注意力、LatentMoE和Engram等技术,并内置用于推测解码的DFly2模块。腾讯称,通过模型结构及推理优化,其解码速度可超过每秒150个Token。上述性能数据来自腾讯内部测试。
Hy4 flash于11月16日正式发布,此前主要通过腾讯云TokenHub及腾讯旗下部分产品提供服务。此次开放模型权重后,开发者可依据腾讯Hy License进行部署、微调及相关应用开发。腾讯混元同时表示,Hy4系列其他模型也在推进开放。