IBM发布Granite 4.0 Nano系列边缘AI模型
核心亮点
- 模型定位：专为本地和边缘推理设计的小型模型系列
- 开源许可：全部采用Apache 2.0许可证
- 企业级认证：通过ISO42001认证，具备加密签名和治理能力
模型规格
架构特点
- 混合架构：结合SSM（状态空间模型）与Transformer的混合架构
- 两种变体：
- H变体：交替使用SSM层和Transformer层
- Transformer变体：确保最大运行时兼容性
具体型号
| 型号 | 参数量 | 架构类型 |
|---|---|---|
| Granite 4.0 H1B | 约15亿参数 | 混合SSM架构 |
| Granite 4.0 H350M | 3.5亿参数 | 混合SSM架构 |
| Granite 4.0 1B | 约10亿参数 | Transformer架构 |
| Granite 4.0 350M | 3.5亿参数 | Transformer架构 |
技术优势
性能表现
- 内存效率：相比纯Transformer架构，混合架构在内存增长方面优势显著
- 通用性：保持了Transformer模块的通用性
训练数据
- 训练规模：使用超过15万亿token进行训练
- 训练方法：遵循大规模Granite 4.0模型的相同训练流程
- 能力增强：经过指令调优，提升工具使用和指令遵循能力
性能对比
在与其他同类模型（Qwen、Gemma、LiquidAI LFM）的对比中，Granite 4.0 Nano系列在以下领域表现突出：
- 通用知识
- 数学能力
- 代码生成
- 安全性
应用场景
部署环境
- 支持平台：vLLM、llama.cpp、MLX等流行运行时环境
- 部署方式：边缘计算、本地部署、浏览器级别部署
任务表现
在以下评测中表现优异：
- IFEval代理任务
- Berkeley函数调用排行榜v3
获取方式
用户可通过以下平台获取模型：
- Hugging Face
- IBM watsonx.ai
目标用户
主要面向早期AI工程师和软件团队，帮助更好地实施AI项目
