世界模型的下一步?牛津、NUS团队提出「心智世界建模」MWM:远不止物理世界
来源:36kr 3 小时前

当前的世界模型(World Model)能够预测门会怎么开,却无法正确回答“一个人为什么会拒绝开门”

这是因为,现有世界模型的默认建模对象仍是物体、几何、运动、遮挡、可供性等物理场景,缺少人类用于决定下一步行动的心智(Mental)判断,即“当事人是否知道门后有什么、对说话者是否信任、是否担心失态、是否承担某种角色义务等”。

因此,一个仅追踪物理轨迹的世界模型,对一个“看起来正确”的场景,往往会给出“看起来正确”却实际错误的动作预测。

在这项工作中,牛津大学、新加坡国立大学团队提出了一个名为“心智世界建模”(Mental World Modeling,MWM)的通用理论框架,把信念、目标、意图、情绪、社会规范等心智变量作为世界模型核心组成部分,进而与物理状态联合演化。

论文链接:https://arxiv.org/pdf/2607.27201

如下图,当女孩转身望向别处时,她的杯子被移到了柜子里,仅追踪物体状态的世界模型,在看似正确的场景下会预测出错误的行为(右上);而同时追踪她的信念的世界模型,则能预测出她实际会采取的行动(右下)

作为参考实现,他们同时发布了一个训练无关、全程可检视的 MENTIS 基线,并在自建的 Menti-Bench 数据集上对 8 个主流世界模型进行了系统测试。结果显示,显式建模心智状态是预测人类决策的必要条件;去掉心智通道后,8 个模型无一例外地退化。

这项工作的意义在于,它把“心智”从后置的合理性解释变成与物理状态并列的状态变量,并提供了可落地的状态分解、观测渲染、动作分解、联合转移的形式化路径。对于服务机器人、医疗辅助、协作 Agent 等“人类相关”场景,这意味着世界模型从“模拟物理场景”迈向“模拟场景中行动着的心智”。

适用于哪些场景?

值得一提的是,心智世界建模并非适用于所有场景

研究团队写道,“当物理场景不足以决定最优动作,而人的心智状态又会改变行动的合理性、可接受性或结果时,建模成本才是值得的。”

一个实用的判断标准包含三个条件:目标人物看到的状态与全局状态存在差异;心智变量会改变什么行动才算合理或可接受;行动除了物理效果,还带有社会含义。如果其中任一条件不存在,更简单的物理模型或专用任务模型可能是更好的选择。

以下是几个心智世界建模的潜在应用场景。

1.具身协作:进展不只发生在物理世界

在厨房、诊室或共享办公室中,机器人不只是要判断“什么可以移动”。它还要判断:对方是否注意到了自己?某件物品是否在社会意义上可被擅自处理?现在打断对方是否合适?这个动作会被理解为帮助还是施压?

以移动药瓶为例,机器人可能物理上更高效,却因用户不知道药瓶为何被移动,而造成不安全或不信任。协作还要求系统追踪共同进展:门被打开这一事实,并不足以说明后续该做什么;谁为谁打开、对方是否注意到、由此产生了什么期待,都会改变接下来的修复、解释、等待或交还控制权的选择。

2.照护与建议:失误常常不在事实本身

在照护、支持和建议场景里,问题往往不是系统没有检索到正确知识,而是没有理解对方已经明白什么、害怕什么、默认什么,或正受什么社会压力影响。

同一句建议,对患者来说可能是安慰,也可能是责备或强迫;对一位老年人来说,一次提醒可能不只是便利,也可能被感受为自主性被削弱。心智世界建模的作用不是取代专业判断,而是将理解程度、信任、焦虑、义务和依赖等变量明确写入系统的决策状态。

这也意味着更保守的自动化边界:当系统对同意、痛苦感受或责任归属没有足够把握时,合理动作可能不是替人决定,而是询问、暂缓、升级处理,或提供选项。

3.教育与训练:干预的目标是学习者的下一状态

教学中的同一个错误答案,可能来自不同原因:概念误解、注意力分散、对失败的焦虑、猜测策略,或只是暂时没有看见关键信息。仅根据答错这一物理可见结果,很难判断下一步该提示、追问、示范还是等待。

在心智世界建模视角下,教育干预的目标不是立即改变表面答案,而是改变学习者随后的知识、信心、注意与策略状态。系统需要估计对方已经掌握了什么、错在何处、能否接受直接纠正,以及某次提示会带来理解还是依赖。

4.交互式智能体与社会世界:持续性需要心智转移。

大型生成式模型正越来越多地驱动游戏、数字人和模拟社会日常行为的 Agent 社会。这些系统需要的不只是画面的视觉连贯性,数字角色应当记住承诺、隐藏未观测到的信息、对朋友和陌生人做出不同反应,并维持连贯的情绪和规范轨迹。研究团队认为,一个世界之所以令人信服,不是因为画面逼真,而是因为 Agent 的信念、关系和规范能够在反事实分支中保持一致演化

下一步是什么?

需要注意的是,研究团队将心智世界建模定位为研究计划,而非已经完成的架构。

现阶段的重点不再只是证明是否需要显式心智结构,还包括补齐与人类参考之间的分数差距。他们指出,主要瓶颈在于后继状态的转移模拟和状态解析,价值评估仍有较小残余误差,多阶段错误还会相互传递。

同时,未来评估不能只看最终选项是否正确。随着结果分数接近上限,状态是否忠实、目标视角是否无信息泄漏、转移是否合理,都会成为更重要的指标。一个“答对但理由不对”的系统,在输入发生变化时尤其不可靠。

在建模层面,下一步是从数据中学习物理与心智状态转移,并借助反事实样本、人的解释、后续行为及时间一致性进行间接监督。他们强调,不应轻易将这一过程压缩为不可拆解的端到端预测器;物理与心智因素保持可分离,才能分别检查。

此外,系统还需要学会处理不确定性和递归信念。心智状态本质上常是待验证的假设,证据不足时,系统应倾向询问或暂缓,而不是断言最可能的结论。与此同时,“我认为你认为”的嵌套推理不应被无差别展开:多数场景无需复杂层级,但少数错误信念场景又高度依赖它,因此推理深度和计算资源需要按情境自适应分配。

更长远的心智世界建模还必须跨越单步决策。承诺、义务、声誉、共同历史与信任都会随时间累积,评估对象也应从一次选择扩展到完整轨迹:信念是否持续一致,关系是否与真实发生过的事件共同演化。

最后,他们还将安全视为这一方向的内在问题,而非附加条款。能帮助系统理解人的信念、恐惧与可被影响之处的能力,同样可能被用于操纵。因而,心智推断应被视为敏感信息:保持不确定性、限定任务范围、留存记录,并优先询问而非武断判断。

总体而言,心智世界建模的价值,不只是提高一个结果分数,而是让 AI 对“为什么要对人采取这个行动”给出可检查、可质疑的解释。

简体中文 English