腾讯微信 AI 团队推出新型扩散语言模型 WeDLM，提升推理效率

4 小时前

腾讯微信AI团队发布新型扩散语言模型框架WeDLM，突破传统大模型并行推理效率限制。该框架结合拓扑重排技术，将扩散模型与标准因果注意力机制相融合，并兼容KV缓存技术，有效解决了传统扩散模型推理速度受限的问题，提升了推理速度且保证了生成质量。在实际测试中，WeDLM-8B在GSM8K等任务中展现出显著的速度优势，同时在多个基准测试中生成质量相当或更优。WeDLM适用于智能客服等多个场景，有望降低计算成本、提升用户体验，推动AI技术广泛应用。