京东重磅推出国产芯片驱动的 xLLM 推理引擎

2 天前

京东宣布开源其自主研发的大模型推理引擎xLLM，该引擎基于国产芯片，旨在帮助企业以高性能、低成本的方式部署AI应用，促进行业智能化转型。xLLM具有多项技术亮点，包括基于请求优先级的动态调度器、动态自适应的PD分离架构，支持多模态场景。技术架构上，xLLM采用多级流水线执行引擎、计算优化套件和多级KV缓存全局管理系统。该引擎源自京东零售核心业务，已在多个场景中应用，效率提升超5倍，机器成本降低90%。京东表示，未来将根据社区需求开放更多功能，与产学研伙伴共同推动国产AI基础设施技术创新。开源后，开发者可体验该引擎，推动中国AI技术生态发展。