Transformer：动态适应的大语言模型框架

传统的大型语言模型（LLM）微调方法通常计算密集，处理多样任务时显得静态。为解决这些问题，Sakana AI 引入了一个新的自适应框架——Transformer。该框架可以在推理过程中实时调整 LLM 的权重，使其像章鱼一样灵活地适应各种未知任务。

核心机制

1. 调度系统分析：第一阶段通过用户查询识别任务属性。
2. 动态混合专家向量：第二阶段动态混合同步训练的多个“专家”向量。这些向量使用强化学习进行训练，每个向量专注于特定类型的任务，生成当前任务定制化的模型行为。

关键技术

奇异值微调（SVF）

这是一种创新且参数高效的微调方法，通过提取和调整模型权重矩阵的奇异值来实现目标。该方法降低过拟合风险、减少计算需求，并具备内在组合能力。使用窄数据集上的强化学习训练，可以获取一组有效的领域特定“专家”向量，直接优化每个主题的任务性能。

适应性策略

在推理阶段，Transformer 使用三种不同的适应性策略来结合通过 SVF 训练的专家向量。这些策略可以根据测试条件动态调整 LLM 的权重，实现自我适应。

特点与优势

• 动态自适应：根据环境或内部状态的变化评估和修改行为。
• 参数效率：相比如 LoRA 等方法，SVF 使用更少的参数而实现更高性能。
• 模块化能力：“专家”向量提供模块化功能，适应性策略可以动态确定并结合最合适的向量来处理输入任务。
• 强化学习优化：通过强化学习直接优化任务性能，无需昂贵的微调过程和大规模数据集。
• 跨模型兼容性：SVF 专家向量可以通过其内在排名结构在不同 LLM 模型间转移。

实验结果

多项实验表明，在多个 LLM 和任务上，SVF 的表现持续优于传统微调策略（如 LoRA）。Transformer 的适应性策略显著改进了各种未知任务的表现。使用分类专家进行任务分类比直接应用提示工程获得了更高的准确性。自适应系数 (k) 对不同模型和任务组合的贡献存在差异。

未来展望

尽管 Transformer 已取得重大进展，但仍存进一步改善空间。未来的研究可以探索模型合并技术，将不同的专家模型整合为更强大的单一模型，并关注如何扩展 CEM 方法以应对更加专业的领域。总的来说，Transformer 在自适应 LLM 领域迈出了一大步，为进一步开发真正动态和自我组织的 AI 系统铺平了道路。

[论文地址：Copyright AIbase Base 2024](Click to View Source)

Source:https://www.aibase.com/news/14743