这项由德国图宾根大学与KE:SAI（Kyutai ELLIS可扩展自主智能研究机构）联合开展的研究，以arXiv预印本形式于2026年7月1日发布，编号为arXiv:2607.00917。有兴趣深入了解的读者可通过该编号查询完整论文。
**当机器需要为未来做计划**
假设你正在学开车，教练让你在十字路口做决策。你不仅需要看清眼前的路况，还要在脑海中飞速模拟"如果我现在打方向盘……接下来会发生什么？"这种在脑子里预演未来、选出最优动作的能力，正是人类驾驶的核心技能之一。
对于人工智能来说，这件事同样至关重要——而且同样困难。研究人员把帮助AI"在脑海中预演未来"的那个模块，称为"世界模型"。世界模型就像AI的想象力：它让AI不必真的在现实中撞墙，就能预判"如果我这样做，会有什么后果"。
这篇论文的核心问题就是：如何让AI的这套"想象力"既足够丰富、能涵盖各种可能的未来，又足够快速、可以在真实控制任务中实时使用？两位研究者提出了一个新方案——Valdi，即"价值扩散世界模型"，并在赛车模拟环境中进行了初步验证。
一、为什么AI的"想象力"这么难做好
在正式介绍Valdi之前，有必要先弄清楚问题出在哪里。
目前，AI规划领域有两种主流路线。第一种是"模型预测控制"（MPC），可以理解为AI版的"走一步、算三步"的棋手。它让AI在脑海里快速预演多种未来，给每种未来打分，然后选择最优的当下动作。这类方法对速度要求很高——因为AI需要实时做决策，没时间慢慢思考。为了够快，它通常把"想象未来"这件事压缩成一个轻量级的数学模型，在一个紧凑的"隐空间"里操作，而不是在原始图像上操作。这类在压缩空间里做预测的模型，就叫"潜在世界模型"。
第二种路线是近年大火的"扩散模型"。你可能听说过Stable Diffusion这类图像生成工具——它的原理是从一堆随机噪声出发，一步一步地"去噪"，最终生成一张清晰的图像。这种方式天然擅长表达不确定性：同样的起点，每次去噪的路径略有不同，因此可以生成各种各样的合理结果，这正好契合"未来有多种可能"的现实。于是，有研究者开始用扩散模型来构建世界模型，让AI能"想象"出丰富多样的未来图像。
然而，这两条路线各有硬伤。潜在世界模型的预测过程虽然快，但它通常是"确定性"的——每次对同样的输入只给出一个固定答案，就像一个只会背标准答案的学生，面对"未来有多种可能"的真实世界时显得过于武断。扩散模型虽然能表达丰富的可能性，但它需要经过许多轮迭代去噪才能得到结果，计算量很大，速度慢，很难与要求实时响应的控制任务兼容。
Valdi的目标，就是在这两者之间架一座桥。
二、Valdi的核心设计：一个能"联合训练"的扩散规划器
Valdi的整体架构，可以用"一套剧本生成系统"来理解。在一场即兴戏剧里，演员（AI）需要随时根据当前场景，在脑海中快速生成一段未来剧情（预测未来轨迹），然后判断哪段剧情结局最好，并据此决定下一步怎么演。
为了做到这件事，Valdi由四个协同工作的模块组成。
第一个模块叫"表征模型"，它是整套系统的翻译官，负责把AI看到的原始图像和传感器数据压缩成一个64维的紧凑数字向量——也就是"潜在表示"。具体来说，图像部分通过一个卷积神经网络处理，车速、方向等七维传感器数据通过一个小型神经网络处理，两路结果拼接后再经过投影层，最终得到一个64维的向量。你可以把这个向量理解成"当前世界状态的精华摘要"。
第二个模块是核心创新所在，叫"扩散动力学模型"。它负责根据"当前状态摘要"和"计划执行的动作序列"，一次性生成接下来H步（论文中设为5步世界模型步，对应15个实际环境步）的整条未来轨迹。注意，它不是像传统方法那样每次只预测"下一步"然后逐步推演，而是直接跳出整条轨迹。这个模块的底层架构是一个双向的Transformer（类似于理解整段文字之间关系的语言模型），能够让轨迹中各个时刻相互"参照"，从而生成更连贯的预测。
第三个模块是"奖励预测模型"，它根据某一时刻的状态和动作，预测AI在那一时刻能拿到多少奖励分数——在赛车环境里，大致对应于"开了多少路、有没有偏离跑道"。
第四个模块是"价值预测模型"，它预测从某个状态出发、按照最优策略往后走，AI总共能拿多少奖励。这个模块是AI对"这个位置将来有多好"的长期判断，是做规划时的重要参考。有趣的是，Valdi没有用TD-MPC那套"动作-价值函数+策略网络"的组合，而是直接用状态价值函数，简化了整体结构。
这四个模块不是分开训练的，而是放在一个在线控制循环中联合训练。换句话说，AI一边在赛车环境里实际跑圈、积累经验，一边用这些经验同步更新四个模块的参数。这种"边干边学"的方式，让整套系统能够持续自我优化。
三、扩散模型的"单步诀窍"：快与好能否兼得
扩散模型最大的速度瓶颈，在于它通常需要几十甚至上百步的迭代去噪过程。那么，能不能只用一步就完成去噪，同时不牺牲预测质量？
这正是Valdi的一个关键实验发现。研究团队在训练时统一使用单步去噪，推理时也默认只用单步，结果发现：在赛车模拟任务中，这已经足够让Valdi的控制表现与基于MLP（多层感知机）的确定性基线模型持平。
打个比方：传统扩散模型就像一位雕塑家，需要一刀一刀地从石头里慢慢雕出作品；而Valdi的单步版本，更像一个能一次性"拍出"大致轮廓的速成工艺。在简单任务上，这个粗糙但快速的版本已经够用了。
不过，单步训练与单步推理天然匹配。如果在推理时突然增加去噪步数，就会出现所谓的"训练-推理不匹配"问题——就像一个只练过"一口气写完"的学生，突然被要求"慢慢润色修改"，反而可能越改越乱。
训练的具体流程是这样的：从回放缓冲区（AI经历的历史数据仓库）中采样一段轨迹，通过目标编码器（一个用指数移动平均缓慢更新的"稳定版"编码器）对轨迹中的状态进行编码，然后向这些潜在状态添加随机噪声，让扩散模型预测如何去噪，同时利用单步去噪后的预测状态计算奖励损失和时序差分值损失，四个损失项加权求和后联合优化。整个损失函数为：总损失 = (1 - 正则化权重) × (扩散损失 × 1 + 奖励损失 × 0.01 + 价值损失 × 0.01) + 正则化损失 × 0.05。
四、规划器如何做决策：用赛车场的交叉路口做比喻
推理阶段，Valdi使用的是"交叉熵方法"（CEM）做规划求解，这比TD-MPC原本使用的MPPI方法更简单直接。
CEM的工作方式可以用"海选演员"来理解。导演（规划器）想找到最佳动作序列，于是召集512个"候选演员"（候选动作序列），让他们都按照各自的动作序列在扩散世界模型里"走"一遍H步的想象轨迹，然后根据折扣奖励总分给每位候选打分——分数由"过程中每步的奖励"和"结束时对终末状态价值的估计"共同决定。接着，只保留得分最高的64位精英，根据这些精英的特征更新下一轮的候选分布，如此迭代10轮。最终，规划器执行第一步最优动作，然后立刻重新规划。
值得一提的是"动作分块"机制：世界模型每一步对应3个实际环境步，这样规划5个世界模型步就等效于覆盖了15个实际环境步的视野，同时只需要做5次动力学模型推理，大大提升了效率。在实际运行中，Valdi的规划器在单块RTX 4080显卡上能以超过10Hz的频率运行，而AI在环境中的实际行动频率则因动作分块而超过30Hz。
五、实验：赛车场上的三个关键追问
研究团队在一个经过改造的CarRacing（赛车）模拟环境中进行了所有实验。改造之处在于：原版环境把传感器数据（车速等）直接渲染成图像底部的仪表条，新版将图像底部遮黑，改为单独输出7维传感器向量，从而实现了视觉与传感器的双通道输入。此外，每段轨迹截断为600个环境帧，而非原版的1000帧。所有实验均在单张RTX 4080 GPU上进行，每个系统训练两次，并在100条固定赛道上评估。
第一个追问：Valdi与确定性MLP基线相比，控制表现如何？
实验结果显示，在单步扩散设置下，Valdi的评估得分与MLP基线在统计误差范围内持平——两者的差异不超过两次独立训练之间的波动范围。换句话说，用一个扩散模型替换掉确定性的MLP动力学模型，并不会伤害控制性能。这本身就是一个有意义的发现，因为它打破了"扩散模型因速度慢而无法用于实时规划"的固有印象。
第二个追问：增加推理时的扩散步数，会带来更丰富的多模态预测吗？
为了测量预测的"多样性"，研究团队训练了一个像素解码器——这个解码器在系统完全训练好之后，才单独训练用来把潜在状态"翻译"回图像，它在训练和规划过程中完全不参与，只是用来可视化和评估。评估方式是：从同一个起始状态出发，给定同样的动作序列，让扩散模型生成100条想象轨迹，解码为图像，计算两两之间的视觉差异（LPIPS指标，数值越高说明图像越不一样，即多样性越强）。
结果发现了一个有趣的张力：单步推理时，Valdi的预测多样性相当低，通常只会"押注"于一条赛道走向。但随着推理扩散步数的增加（2步、4步、8步），LPIPS指标急剧攀升，生成的未来轨迹在视觉上越来越多样——有的直行、有的转弯、有的偏左、有的偏右，宛如多个平行宇宙。然而，控制得分却在多步推理时略微下滑。这个"多样了但没用"的现象，研究者归因于训练-推理不匹配，以及CEM规划器面对高方差样本时难以有效筛选精英。
第三个追问：扩散动力学模型对价值函数质量有何影响？
这是全文最有深度的分析部分。研究者提出了两个诊断维度。
第一个维度叫"自洽性"：在想象的轨迹中，价值函数在相邻步骤之间是否逻辑一致？具体衡量方式是计算"时序差分残差"——如果价值函数高估了某一步的价值，而下一步的奖励加上后续价值之和反而更低，就会出现正的残差，说明价值函数高估了当前状态。
第二个维度叫"接地性"：想象轨迹中某一步的价值预测，与AI在真实环境中走到同一时刻时的实际价值估计，是否吻合？如果想象中的价值比真实价值高，说明世界模型产生了"乐观幻觉"——AI以为前途一片光明，实际上却没那么好。
结果如表格数据所示，在短视野（h=0、h=1、h=2）处，Valdi在两个维度上的误差都略大于MLP基线——也就是说，扩散模型在刚开始预测时更容易出错。然而，随着预测步数的增加，Valdi的误差增长明显更慢，到了规划器最依赖的末端步骤（自洽性h=4，接地性h=5），Valdi的误差反而更小，表现更好。这意味着扩散动力学模型在长期预测的稳定性上有一定优势，而这个末端价值估计恰好是规划器最终打分的核心依据。虽然这些差异在数值上并不显著，且在两次独立训练的误差范围内，但两个诊断维度都呈现一致的趋势，提示这个现象有一定规律性。
六、整体架构细节：那些让系统真正运转的工程选择
除了上述核心设计，Valdi还有几个值得关注的工程细节。
在参数规模上，Valdi共有约539万个可训练参数，而MLP基线有约580万个参数，基线反而略大。这说明Valdi的性能持平并非靠"堆参数"取胜。两个系统的差异仅在于动力学模型：Valdi用的是6层预归一化双向Transformer，宽度256，输入为拼接了动作块和扩散时间步嵌入的噪声潜在向量，输出为每步的"速度"向量（用于去噪计算）；基线用的是6层残差MLP，输入为当前潜在状态和动作块，直接输出下一步潜在状态。两者的表征模型、奖励模型、价值模型完全相同，确保了对比的公平性。
在防止"潜在空间坍缩"方面，研究者引入了SIGReg正则化项，鼓励潜在状态的分布接近各向同性高斯分布。不过他们也坦承，在实验中，无论是否启用该正则化项，系统都能正常学习，且因计算资源限制没有做完整的消融实验，因此无法确认它到底是否必要。
在探索策略上，系统采用ε-贪婪式探索：前250条轨迹中以25%的概率随机探索，之后线性衰减到5%。每条轨迹结束后，系统对模型做60次更新，更新-数据比约为1:10，目标编码器每步通过EMA（指数移动平均）以0.005的比例向在线网络靠拢。
七、局限性与未来方向：研究者自己看到的边界
论文作者非常坦率地指出了两个主要局限。
第一个局限涉及单步推理的可扩展性。在CarRacing这样的简单环境里，单步去噪已经够用，但在动力学更复杂的环境中——比如机械臂操作、多体交互、物理仿真——单步去噪很可能无法还原足够准确的预测。一旦需要多步去噪，推理速度就会成为瓶颈。研究者认为，解决这一问题的可能方向是"蒸馏"技术：先训练一个多步去噪的"教师"模型，再把它的知识压缩到一个单步的"学生"模型中。
第二个局限关于训练与推理的扩散步数不匹配。目前的设计是"训练用单步、推理也用单步"，任何推理时步数的增减都会导致分布偏移，进而损害控制性能。要让系统能够在推理时灵活调整扩散步数（比如在计算资源充裕时用多步以获得更丰富的预测），就需要在训练阶段也引入相应的多步策略，甚至设计专门的训练方案来支持"测试时计算扩展"。
---
归根结底，Valdi这项研究想解答的核心问题是：扩散模型能不能既快又好地帮助AI做实时规划？初步答案是：在简单环境下，单步扩散已经够快够好；但更丰富的预测多样性不会自动带来更好的控制，这中间的鸿沟还需要更多工作来填补。
这对普通人意味着什么？从长远来看，世界模型技术是自动驾驶、机器人控制、游戏AI等领域的底层基础之一。如何让AI既能快速响应又能应对不确定的未来，是整个领域都在努力解决的问题。Valdi提出的"在潜在空间里用扩散模型做联合端到端规划"的思路，为这条路上增加了一个有价值的参考点——尤其是它关于"多样性与控制质量之间的张力"的实验发现，值得后续研究者认真对待。
感兴趣的读者可以通过arXiv编号2607.00917查阅完整论文及代码（代码地址已在论文中公开），自己动手复现这套系统。
---
Q&A
Q1：Valdi与TD-MPC的主要区别是什么？
A：TD-MPC使用确定性MLP逐步预测下一个状态，而Valdi用扩散模型一次性生成整条H步潜在轨迹。此外，Valdi去掉了TD-MPC的策略网络，改用状态价值函数，简化了结构。两者都在潜在空间中做规划，都使用回放缓冲区和联合在线训练。
Q2：Valdi的扩散模型增加去噪步数为什么反而降低控制性能？
A：训练时只用单步去噪，推理时突然增加步数会造成训练和推理的分布不匹配，模型没有"练习过"多步去噪的场景。同时，多步去噪产生的轨迹方差更大，规划器（CEM）面对高方差的候选轨迹时很难有效筛选出真正优质的动作序列。
Q3：Valdi的价值函数在长期预测中为什么比MLP基线表现更稳定？
A：扩散动力学模型一次性生成全局轨迹，允许轨迹中不同时刻相互参照，而MLP是逐步滚动推演，误差会随步数积累。实验显示Valdi在短期预测误差略大，但在靠近规划末端的步骤（最关键的价值估计处），其接地性和自洽性误差的增长速度更慢，最终误差更小。
