Meta开源SAM 3D：单张图片秒生成交互式3D模型，革新空间理解能力

核心功能

• 模型类型：提供两种权重版本
  • SAM3D Objects：通用物体和场景重建
  • SAM3D Body：人体图像重建
• 输入要求：仅需单张2D照片
• 输出能力：生成包含纹理、材质和几何一致性的3D资源

技术突破

• 核心技术：采用"空间位置-语义"联合编码
• 预测能力：为每个像素预测3D坐标和表面法线
• 物理精度：模型具有物理准确性
• 性能表现：
  • SAM3D Objects在公共数据集上：
    • 减少28% Chamfer Distance
    • 提升19% 法线一致性
  • SAM3D Body在AGORA-3D基准测试中：
    • MPJPE指标比现有最优单图像方法提升14%
    • 支持与Mixamo骨骼驱动一键绑定

应用场景

• AR/VR：直接应用于增强现实和虚拟现实
• 机器人技术：空间理解和交互
• 影视后期：电影制作和特效
• 电商应用：Facebook Marketplace已推出"View in Room"功能，用户可将产品3D模型投影到自家房间预览

开放生态

• 开源内容：权重、推理代码和评估基准
• 平台集成：已集成到Quest 3和Horizon Worlds创作工具
• API调用：开发者可通过Edits和Vibes应用调用
• 收费标准：每模型0.02美元
• 未来计划：2026年第一季度发布实时移动推理SDK

项目信息

• 发布时间：2025年11月20日
• 项目地址：SAM3D开源项目
• 发布机构：Meta AI（Segment Anything系列最新模型）

该技术显著优于现有的NeRF和高斯泼溅解决方案，在真实世界图像处理方面表现突出。

火龙果频道