高德发布WorldRoam-Bench,重新定义世界模型长时交互评测标准

2026-07-09 16:16 2

近日,阿里巴巴集团旗下高德联合清华大学、北京大学、南京大学共同发布面向交互式世界模型的开放评测基准WorldRoam-Bench,该基准重点考察模型在真实漫游过程中的动作跟随、视觉质量、物理交互和记忆一致性。

当前,视频生成模型和交互式世界模型发展迅速,模型已经能够基于图像、文本或控制信号生成高质量动态场景。但在真实漫游任务中,一个可用的世界模型不仅要生成连贯画面,还需要在连续操作中稳定响应用户输入,在复杂场景中遵守基本物理约束,并在重访空间或持续观察主体时保持场景、结构和身份的一致性。

现有世界模型评测大多聚焦视频质量、整体轨迹或有限轮次交互,难以充分刻画开放域长时漫游中的真实失效模式。比如模型可能会出现最终轨迹看起来接近目标,却在过程中漏掉多个关键输入,或者在长时推理中出现画面漂移、结构退化、主体身份变化等问题。

WorldRoam-Bench针对上述问题重新设计了评测方式:它不只看模型“像不像一个世界”,更关注这个世界能否被稳定控制、是否遵守物理约束、能否在长时间交互中保持记忆一致性。

本次基准发布共包含600多个测试案例,覆盖第一人称和第三人称视角,以及室内、自然、城市三类开放域场景。评测通过10–60秒的连续WASD/IJKL交互,模拟真实漫游体验,并设置15个细分指标,衡量逐帧动作准确率、3D一致性、场景保持、幻觉率等能力。

目前,WorldRoam-Bench已评测10多个前沿交互式世界模型,并实现开源模型和闭源产品的全面覆盖,呈现行业整体能力分布。该基准还提供公开积分榜,用于持续追踪模型在世界漫游任务中的能力进展。

据介绍,评测设计围绕四个维度展开:

在动作跟随方面,WorldRoam-Bench不只评估最终轨迹是否接近目标,还会检查模型是否真实响应每一次控制输入。这一设计可以避免“轨迹看起来正确,但过程中多次漏响应”的问题被掩盖。对于交互式世界模型而言,逐帧动作响应比单纯的终点对齐更接近用户的实际体验。

在视觉质量方面,WorldRoam-Bench不只评估单帧画质和美学表现,还重点观察长时间生成中的漂移和退化,包括颜色变化、模糊累积、结构坍塌和局部细节损失。对于需要持续探索的世界模型来说,稳定性与即时画面质量同样重要。

在物理交互方面,WorldRoam-Bench覆盖碰撞、穿模、形变、地形跟随、重力、反射、阴影和3D一致性等现象,并通过可控性门控机制区分动作失败和物理失败。这样可以避免把“没有跟上控制”误判为“物理不一致”,也能更准确地诊断模型的真实短板。

在记忆能力方面,WorldRoam-Bench将记忆评估具体落到场景结构、空间布局、主体外观和状态的一致性保持上。它通过3D点云重建评估视频的幻觉率,并结合SAM2跟踪和视觉语言模型推理,评估第三人称场景中主体身份、结构与外观的保持能力。

WorldRoam-Bench当前结果显示,交互式世界模型仍处于快速发展且尚未收敛的阶段:没有任何一款模型能够在所有维度上同时领先,视觉质量、动作可控性、物理一致性和记忆能力之间存在明显阵营区分。这也说明,下一代世界模型的竞争将不再只围绕画面质量展开,而会进入长时稳定性、可控性、物理可信度和记忆一致性的系统竞争阶段。

WorldRoam-Bench致力于成为更具研究价值的世界模型评测入口,为研究者提供模型诊断工具、定位能力短板,也为产业界判断交互式世界模型的实用性提供参考。未来,WorldRoam-Bench将持续扩展场景类型、交互难度等方面基准,推动交互式世界模型走向高可用的全域开放阶段。

附WorldRoam-Bench项目页面:https://worldroam.amap.com/