Meta AI 研究员：网络上的文本基本都是“狗屎” Llama 3 没有使用任何人类书写的答案 全是合成数据

概要：

Meta发布了有史以来最强大和最具能力的开源模型Llama 3-405B，训练在15T令牌上，超过了GPT-4在所有主要基准测试中的表现。Llama 3的8B和70B型号也进行了重大升级。

核心观点：

1. 合成数据的重要性：

   • Llama 3的后期训练完全依赖于Llama 2生成的纯合成数据，没有使用任何人类书写的答案。
   • 合成数据被广泛应用于多个领域，包括代码生成、数学推理、多语言处理、长文本处理和工具使用。

2. 具体应用细节：

   • 代码生成：通过代码执行反馈、编程语言翻译和文档反向翻译生成合成数据。
   • 数学推理：借鉴“让我们逐步验证”方法生成合成数据。
   • 多语言处理：继续预训练90%的多语言令牌，收集高质量的人类注释。
   • 长文本处理：依赖合成数据进行长文本问答、长文档摘要和代码库推理。
   • 工具使用：在Brave搜索、Wolfram Alpha和Python解释器上进行单次、嵌套、并行和多轮函数调用的训练。

3. 强化学习与人类反馈（RLHF）：

   • 使用广泛的人类偏好数据进行训练，强调选择而非创作。

4. 未来计划：

   • Meta已经在6月份开始训练Llama 4，重点将围绕智能体展开。
   • 多模态版本将有更多参数，稍后发布。

总结：
Llama 3利用大量的合成数据和强化学习显著提升了模型性能，超越了GPT-4，并在多个技术领域实现了突破。Meta正在积极推进下一代模型Llama 4，继续探索更广泛的应用场景。

Source:https://xiaohu.ai/p/11770