上海人工智能实验室Shusheng大模型升级分析
上海人工智能实验室宣布其Shusheng大模型的重大版本更新，引入了Shusheng Puyou 3.0（InternLM3）。根据实验室的介绍，新版本通过优化的数据框架显著提高了数据使用效率，提升了认知密度。
模型概述
- 训练数据量：升级后的InternLM3-8B-Instruct模型仅使用4TB的数据进行训练。
- 性能表现：总体性能优于同类开源模型，并且训练成本降低了超过75%。
- 创新特性：首次实现了常规对话和深度思考能力的融合，使其能够更好地处理多种现实世界应用场景。
模型评估
研究团队采用Sinan OpenCompass开放评估框架进行统一、可重复的方法评估。评估涵盖多个权威测试集，包括CMMLU和GPQA，在推理、数学、编程、指令跟随、长文本生成、对话以及整体性能等多个维度进行了全面考量。结果显示，Shusheng Puyou 3.0在大多数评估集中表现领先，并且总体性能非常接近GPT-4o-mini。
开源社区亮点
上海人工智能实验室还指出，该新版本模型是开源社区中第一个支持浏览器使用的通用对话模型，能够支持超过20步的网络导航，从而实现深度信息挖掘。
关键点总结
- 数据训练量：Shusheng Puyou 3.0使用4TB的数据进行训练，总体性能超越同类规模的其他开源模型，并且将训练成本降低了75%以上。
- 评估表现：在多个权威测试集中领先，显著提升了认知和对话能力的融合度。
- 浏览器支持：新模型支持浏览器使用，能够实现深度信息挖掘，在开源社区中成为亮点。
来源：AIbase Base 2024
