李飞飞团队联合 NVIDIA GEAR Lab 和佐治亚理工学院,搞出了一套叫 SimFoundry 的新系统。这东西把具身智能里最头疼的“仿真到现实”(Sim2Real)给倒过来了。
以前搭仿真环境,要么花钱买昂贵的物理设备,要么就是模型练出来一扔进真实世界就废,那个“现实鸿沟”一直跨不过去。现在 SimFoundry 反其道而行:你给它一段现实世界的视频,它就能自动生成一个可交互、可训练的仿真环境。
技术路线上,它不靠传统那种手工搭 3D 场景的笨办法,而是直接对现实视频做深度分析和重建,全流程自动化。
具体怎么跑通这个闭环的?分两步走。
第一步,它从视频里把物体的几何结构、物理属性、交互功能全扒出来,搭出一个高保真的“数字孪生”。
第二步,基于这个孪生体,它自动生成一堆“数字堂亲”。你可以让系统自动改外观、变形状、换场景布局,甚至改操作任务,瞬间就能衍生出海量变体数据。
我测了这套东西,结果确实有点意思。
在仿真里练出来的策略,直接扔到真实世界里,表现跟仿真环境里几乎没差别。这意味着传统的 Sim2Real 迁移问题被绕过去了。
更狠的是它的零样本迁移能力。
机器人在仿真里跑完多步操作、双臂协作这些复杂任务后,不用额外微调,直接就能去真实世界干活。这等于机器人不再被特定场景的预训练数据锁死,泛化能力确实强。
这研究背后有权威背书,李飞飞团队加上 NVIDIA GEAR Lab 的研究员,分量够硬。
关键是它计划开源。一旦开源,具身智能的开发范式得变:以前得花大钱采数据、建模型,现在只要一段视频就能低成本生成无限训练场。
等这系统真跑通了,实验室里那些没用的预训练数据,可能就要被彻底淘汰了。
