新型多语言编码器mmBERT：速度与效率超越XLM-R！

模型概述

约翰斯·霍普金斯大学研究团队近期推出mmBERT，这是一款专为填补当前多语言自然语言处理领域空白而设计的新型多语言编码器。该模型在多项任务上表现优于XLM-R，速度比先前模型快2至4倍，为多语言应用研发提供更强支持。

架构特点

• 双配置设计：
  • 基础模型：22个Transformer层，隐藏层维度1152，总参数量约3.07亿
  • 小型模型：参数量1.4亿
• 先进技术应用：
  • 采用Gemma2分词器，支持256K词汇量
  • 使用旋转位置嵌入（RoPE）和FlashAttention2技术，显著提升处理效率
  • 序列长度从1024个令牌扩展至8192个令牌，可处理更长上下文信息

训练数据与过程

• 数据规模：使用3万亿令牌，覆盖1833种语言
• 语言分布：英语仅占整个语料库的10%-34%
• 三阶段训练：
  1. 预训练阶段
  2. 中期训练阶段
  3. 衰减阶段
• 训练过程中逐步接触更多语言和更高质量数据，有效提升低资源语言性能

性能表现

基准测试结果

• 英语自然语言理解（GLUE）任务：
  • mmBERT基础模型：86.3分
  • XLM-R：83.3分
• 多语言自然语言理解（XTREME）任务：
  • mmBERT：72.8分
  • XLM-R：70.4分

其他任务表现

• 在嵌入任务和代码检索任务中表现优异
• 在法罗语和提格里尼亚语等低资源语言上的性能超越其他大型模型

核心优势

1. 速度提升：处理速度比先前模型快2-4倍
2. 长文本支持：支持最长8192个令牌的输入
3. 低资源语言优化：特别关注低资源语言的训练性能
4. 多场景适用：在多种应用场景中展现强大潜力

意义与影响

mmBERT不仅提升了多语言处理的速度和效率，更为下一代多语言自然语言处理系统奠定了坚实基础。它以高效和开放的方式重新定义了多语言编码器的潜力，标志着一个新时代的到来。

GitHub项目：可通过官方GitHub页面获取更多技术细节和源代码

注：本文源自AIbase Daily，扫描查看完整内容

火龙果频道