Google推出Gemma 2 2B模型 能够在手机、笔记本电脑、台式机等边缘设备上运行

Google推出Gemma 2 2B模型概要

模型简介

Gemma 2 2B是Google推出的一款轻量级AI模型，具有2亿参数。该模型通过知识蒸馏技术，从更大、更复杂的模型中学习，将其知识传递到较小的模型中。适用于多种文本生成任务，包括问答、摘要和推理。

主要特点

1. 卓越性能

   • 性能表现：在LMSYS Chatbot Arena排行榜上超过所有GPT-3.5模型，展示了出色的对话AI能力。
   • 优化：能够高效运行于各种硬件，包括边缘设备、笔记本电脑和云部署。

2. 灵活且具有成本效益的部署

   • 硬件兼容性：可在广泛的硬件上运行，包括NVIDIA RTX、GeForce RTX GPU和Jetson模块。
   • 经济高效：设计允许在成本效益较高的硬件上运行，可在Google Colab的T4 GPU免费层上进行开发和实验。

3. 模型集成与兼容性

   • 支持流行的深度学习框架如Keras和JAX，简化模型训练和推理。
   • 兼容Hugging Face、NVIDIA NeMo和Ollama平台，提升模型性能。
   • 即将支持MediaPipe，用于实时处理视频和音频流任务。

评估结果

在多个基准测试中表现出色，关键性能指标如下：

• MMLU (5-shot, top-1): 51.3
• HellaSwag (10-shot): 73.0
• PIQA (0-shot): 77.8
• BoolQ (0-shot): 72.5
• ARC-e (0-shot): 80.1
• TriviaQA (5-shot): 59.4
• GSM8K (5-shot, maj@1): 23.9

模型下载

可通过以下链接下载：https://huggingface.co/google/gemma-2-2b

Source:https://xiaohu.ai/p/12197