Ai2发布全新OLMo2系列：开放源代码AI的新里程碑
非营利性人工智能研究机构Ai2最近宣布了其新的OLMo2系列，这是“开放语言模型”（Open Language Model, OLMo）系列的第二代产品。OLMo2不仅为AI社区提供了强大的技术支持，还以其完全开源的特性代表了开源AI领域的最新发展。
与其他市场上所谓的“开放”语言模型不同，如Meta的Llama系列，OLMo2严格符合开源倡议的标准，这意味着用于开发该模型的所有训练数据、工具和代码都是公开且可被任何人使用的。根据开源倡议组织10月刚刚最终确定的标准，OLMo2完全满足了“开源AI”的标准。
OLMo2的主要特点
- 全系列开放：在OLMo2的整个开发过程中，所有训练数据、代码、培训计划、评估方法以及中间检查点都是完全公开的。这旨在通过资源共享促进开放式社区中的创新和发现。
- 参数规模：OLMo2包含两个版本，分别拥有70亿（OLMo7B）和130亿（OLMo13B）个参数。模型中参数的数量直接影响其性能，更多的参数通常意味着能够处理更复杂的任务。
性能与应用
在常见文本任务上，如回答问题、文档摘要生成和代码编写等方面，OLMo2的表现都非常出色。为了训练OLMo2，Ai2使用了一个包含五万亿个令牌的数据库。这些令牌是语言模型中的最小单位，一千万个令牌大约相当于75万字。训练数据包括高质量网站内容、学术论文、问答讨论板以及合成数学练习册，所有这些都是经过精心挑选以确保模型的有效性和准确性。
性能对比与授权
Ai2对其OLMo2的表现充满信心，并声称其性能可媲美Meta的Llama3.1等开源模型。值得注意的是，OLMo7B甚至超过了Llama3.18B，在一定程度上成为目前最强的完全开源语言模型之一。所有OLMo2模型及其组件都可以从Ai2官方网站免费下载，并且在Apache 2.0许可证下授权使用，这意味着这些模型既可用于研究也可用于商业应用。
(图片来源：由Midjourney服务提供商授权生成)
