Google DeepMind推出革命性MoR架构：有望取代传统Transformer模型
核心创新
- 混合递归架构(Mixture-of-Recursions, MoR)：通过动态令牌级路由实现参数共享与自适应计算
- 递归深度动态分配：轻量级路由系统为每个token分配专属递归深度
- 先进缓存机制：基于token递归深度选择性缓存关键值对
技术突破
-
效率提升：
- 在不增加模型成本情况下达到大模型性能
- 显著降低内存带宽压力
- 提高推理吞吐量
-
成本优化：
- 通过参数共享、计算路由等多重优化
- 参数数量减少近50%
- 计算成本显著降低
性能表现
| 对比维度 | MoR表现 | 基准模型 |
|---|---|---|
| 参数量 | 减少50% | 传统Transformer |
| 计算预算相同情况下 | 超越原始Transformer | 递归Transformer |
| 少样本学习准确率 | 平均准确率更高 | 基准模型 |
| 模型规模>360M时 | 中低预算下经常超越对手 | 原始Transformer |
应用前景
- 大规模预训练：验证了可扩展性
- 实际部署：高效计算策略支持更多训练token处理
- AI研究突破：为LLM效率问题提供新解决方案
论文索引：alphaxiv.org/abs/2507.10524 (非正式发表)
