2026-11-18 17:49:46
多任务、多场景、多视角,具身视频生成走向规模化。实验室里,机械臂摇匀试剂;工厂里,机械狗巡检、转向、爬上台阶;市场里,人形机器人搬货上架;手术台上,灵巧手穿线打结……画面越丰富,越照出一个现实:机器人要走进千行百业,缺的不是模型,而是覆盖不同物体、不同空间、不同视角的交互数据。
记者日前从同济大学获悉,针对这一问题,同济大学联合考拉悠然科技有限公司推出悠然无界系列代码驱动具身世界模型框架BWM-Forge,这一模型能够给出一套可规模化的解法。该模型把机器人本体、场景物体、动作过程与相机视角写进一段可执行的三维场景程序。先用代码搭出世界骨架,机器人怎么动、物体在哪里、镜头从哪儿看,一目了然;再交给视频生成模型补上材质、光影与环境细节。换本体、换场景、换机位,都不必从零重来。对数据生产而言,成本结构从“每次重拍”变成“一次搭建、多次复用”。该项目由考拉悠然董事长、同济大学计算机学院院长申恒涛领衔。
在生产流程上,用户输入任务描述和机器人资产后,系统可提供空间语义驱动、运动先验驱动、真实示范驱动三种范式,由Agent(智能体)搭建场景、导入本体、编排动作与镜头,先产出代理视频,再结合参考图像与提示词生成高保真视频。多任务方面,同一套流程可覆盖单臂、双臂、四足及人形机器人等不同本体;多场景方面,一段动作通过改变环境材质、光照和背景,可生成市场、工业仓库、垂直农场等不同视觉语境的数据;多视角方面,三路相机共享同一三维场景和运动时间线,可分别生成原始、跟随、近似第一人称等互补视角。
申恒涛介绍,面向具身智能,BWM-Forge为机器人视觉数据的规模化扩充提供了一条新路径。下一步,同济大学与考拉悠然将继续扩大任务覆盖、完善自动审查与生成流程,并进一步验证生成视频对下游机器人学习的实际增益。(经济日报记者 卢杨静)