Nvidia发布小型开源模型Nemotron-Nano-9B-v2：支持可切换推理功能！
模型概览
Nvidia于2025年9月1日正式推出新型小型语言模型Nemotron-Nano-9B-v2，标志着小模型热潮的回归。该模型具有9亿参数，虽然相比其他百万参数级别的小型模型规模较大，但已从最初的12亿参数大幅缩减，旨在单个Nvidia A10 GPU上高效运行。
核心特性
架构创新
- 采用混合架构，处理大批量数据时比同等规模的Transformer模型快6倍
- 使用"零计算专家"机制，仅激活每个token所需的参数，确保计算效率
多语言支持
支持英语、德语、西班牙语、法语、意大利语、日语等多种语言，适用于指令跟随和代码生成等任务
创新功能
- 推理切换功能：用户可通过简单控制令牌（如
think或nothink）切换AI的"推理"过程 - 思维预算管理：开发者可设置推理过程中使用的token数量，平衡准确性和响应速度
- 默认生成推理轨迹，但用户可控制此过程
性能表现
在多项基准测试中表现优异：
- 在"启用推理"模式下，在AIME25、MATH500、GPQA和LiveCodeBench测试中取得满意结果
- 在指令跟随和长上下文基准测试中展现卓越性能
- 相比其他开源小型模型显示出更高准确性
许可协议
Nvidia为该模型设置了开放许可协议：
- 允许开发者自由使用和商业分发
- 明确声明不主张对生成输出的所有权
- 企业可立即投入生产，无需额外谈判，无需担心使用障碍或费用
技术意义
Nemotron-Nano-9B-v2为开发者提供了在小规模上实现推理能力和高效部署的新工具。其运行预算控制和推理切换功能为系统构建者提供了灵活性，旨在提高准确性和响应速度，进一步推动小型语言模型的发展。
关键要点
- 专为高效部署设计的9亿参数小型语言模型
- 支持多语言和推理切换功能，可根据需求调整响应
- 开放许可协议允许自由使用和分发，无额外成本或许可协议限制
