京东开源基于国产芯片的xLLM推理引擎
核心要点
京东于2025年9月29日宣布开源自主研发的xLLM推理引擎，该引擎基于国产芯片开发，旨在帮助企业以更高性能和更低成本部署人工智能应用，推动行业智能化转型。
技术特性
核心架构
- 动态调度器：基于请求优先级的动态调度机制，可根据不同请求的重要性智能分配计算资源
- 自适应架构：动态自适应PD分离架构，可根据实时负载调整处理实例比例
- 多模态适配：专门针对多模态场景优化，配备EPD混合分离调度器
性能优化
- 多级流水线执行引擎：基于硬件特性的多级流水线执行引擎
- 计算优化套件：包含图融合、推测推理和动态负载均衡
- 缓存管理系统：使用Mooncake构建多级KV缓存全局管理系统
应用成效
实际应用场景
- 京东AI助手
- 智能客服系统
- 风险控制系统
- 供应链助手
性能提升数据
- 效率提升：超过5倍
- 成本降低：机器成本下降90%
未来发展
京东零售AI基础设施团队表示，开源只是第一步，未来将：
- 根据社区需求持续开放更多高级功能
- 与清华大学、北京大学、中国科学技术大学等研究机构和产业伙伴合作
- 共同推动国产AI基础设施技术的创新与发展
行业意义
xLLM的开源将为开发者提供体验强大推理引擎的机会，助力中国AI技术生态系统的建设和发展。
