微软研究论文泄露顶尖语言模型参数信息
微软发布的一篇关于评估医疗AI的研究论文,意外地披露了多家公司开发的顶级大型语言模型的参数大小。这篇发表于12月26日的论文不仅揭示了OpenAI和Anthropic等公司的模型参数数据,还引发了行业对模型架构和技术能力的讨论。
模型参数详情
- OpenAI o1-preview: 约3000亿个参数
- GPT-4o: 大约2000亿个参数
- GPT-4o-mini: 仅80亿个参数
- Claude3.5Sonnet: 约1750亿个参数
行业讨论
这篇论文的数据真实性引发了业界的热烈讨论。一些人认为,如果Claude3.5Sonnet确实以较少的参数实现了优秀的表现,这将突出Anthropic的技术实力。其他分析师则推测部分参数估计基于模型定价是合理的。
值得注意的是,该研究的主要目的是介绍一个名为MEDEC的医疗领域基准测试。研究团队分析了来自美国三家医院的488份临床记录,评估不同模型在识别和纠正医学文档中的错误的能力。结果显示,Claude3.5Sonnet以70.16分的成绩领先于其他模型。
参数估计与遗漏
特别值得注意的是,尽管论文对主流模型进行了参数估算,但未提及Google Gemini的具体参数。一些分析师推测这可能与Gemini使用TPU而非Nvidia GPU有关,使得通过生成令牌速度难以准确评估。
结论
随着OpenAI逐渐淡化其开源承诺,核心信息如模型参数将继续成为行业关注的焦点。此次意外泄露再次引发了对AI模型架构、技术路径及商业竞争的深刻反思。