QWM 是斯坦福和北大相关研究中出现的一个缩写，核心动作是让世界模型在训练阶段不再参与参数更新，只作为只读组件为决策模块提供状态预测。这个方向之所以值得关注，是因为它把“训练一个世界模型”和“使用一个世界模型”彻底拆开，减少了训练链路的耦合，也让复现实验变得更可控。这篇文章不展开论文公式，而是从训练视角拆解 QWM 的思路，并给出一个在 PyTorch 里冻结世界模型、只训练策略网络的最小工程示例。
1. 先理解世界模型为什么会参与训练
1.1 世界模型到底是什么
世界模型可以通俗地理解为智能体对环境的内部建模：输入历史观测，输出对未来状态的预测。它在强化学习、自动驾驶、多模态推理等场景中都很常见。与传统的特征提取器不同，世界模型不仅学习“当前看到了什么”，还试图学习“接下来会发生什么”，因此它的输入往往是连续的观测序列，输出则是对下一帧、下一状态或者奖励信号的预测。
在工程实现里，世界模型通常由几部分组成：一个编码器把原始观测压缩成隐状态，一个状态转移模块根据当前隐状态和动作预测下一步隐状态，一个解码器把隐状态还原成可解释的观测或奖励。这个结构决定了它对环境动态的建模能力，也决定了它是否可以作为一个通用组件被下游任务复用。
1.2 端到端训练为什么会让世界模型参与更新
很多强化学习和多模态算法把观测编码器、世界模型、策略网络放在同一条可微分的链路里，用同一个损失函数反向传播。比如在 Dreamer 这类基于模型的强化学习算法中，策略网络通过“想象”世界模型生成的未来轨迹来学习动作，世界模型和策略网络会交替优化。由于策略梯度要经过世界模型生成的状态序列回传，世界模型参数必然被更新。
这种端到端的训练方式优点是可以让世界模型朝着任务目标调整，缺点是训练链路变得非常长。反向传播梯度不仅要穿过策略网络，还要穿过世界模型，甚至穿过时序展开的多个时间步。只要其中一个环节发生数值振荡，整个训练都会受到影响。
1.3 世界模型参与训练会带来哪些实际问题
第一是训练不稳定。世界模型的任务是预测环境动态，策略网络的任务是选择动作，两者目标并不完全一致。当世界模型为了适配策略更新而调整参数时，很容易出现预测误差突然增大，导致策略梯度出现异常。
第二是资源消耗大。世界模型通常比策略网络更大，只要它参与反向传播，就要在训练过程中保存大量中间激活值，显存占用和计算时间都会明显上升。
第三是复现困难。世界模型参与训练后，最终得到的模型状态不是“预训练权重 + 任务头权重”，而是某种混合训练产物。不同随机种子、不同 batch 顺序都可能让世界模型收敛到不同位置，给复现带来额外成本。
第四是遗忘问题。世界模型在一个任务上学到的通用动态知识，可能在另一个任务微调时被覆盖。这个问题在增量训练中尤其明显，所以“冻结世界模型”在许多场景下成了更稳妥的选择。
2. QWM 的核心思路：让世界模型退居二线
2.1 QWM 的定位是训练协议，不是新的网络结构
从标题描述来看，QWM 并不是要删除世界模型，也不是重新发明一种网络层，而是改变了世界模型在训练阶段的角色：它仍然参与前向推理，但不参与反向传播。通俗地说，就是世界模型从“一起训练的同事”变成“只提供咨询意见的参谋”。
在相关研究语境里，QWM 可以被理解为一种训练协议或训练策略。具体的英文全称在不同论文里可能有不同解释，因此在落地前需要以原始论文页面或官方源码文档为准。这里更值得关注的是它的行为特征：世界模型参数在整个训练过程中保持不变，所有学习能力集中在策略网络或任务头。
2.2 训练与推断解耦带来的三个变化
一旦世界模型不参与训练，整个训练流程就变成两个阶段。第一阶段是准备世界模型，可以直接使用开源预训练世界模型，也可以用现有数据预训练一个。第二阶段是冻结世界模型，只训练下游决策模块。QWM 关注的是第二阶段如何做稳，而不是第一阶段如何训练。
这种解耦带来的第一个变化是训练链路变短。梯度不再经过世界模型回传，反向传播只涉及策略网络，因此训练速度更快，显存占用更可控。第二个变化是稳定性更好。世界模型预测输出是固定的，策略网络面对的是一个稳定的特征或状态分布，不会出现“环境动态也在变”的情况。第三个变化是可复现性更强。只要策略网络初始化相同、数据顺序相同，训练结果就比较容易复现，因为世界模型不再是变量。
2.3 为什么这样做能够成立
关键前提是世界模型已经包含了足够的环境动态知识。如果世界模型本身是弱模型，预测误差很高，那么把它冻结后，策略网络只能基于错误的预测做决策，性能就会受到限制。反之，如果世界模型已经比较成熟，它对状态空间的建模已经足够准确，那么下游任务只需要学习“如何利用这些状态”，而不需要重新学习“状态如何演化”。
用人类学习做类比会更清楚。物理定律不会因为某次考试不理想而改变，学生要做的是学会用物理定律解题，而不是每次都重新发现物理定律。QWM 的思路就是假设世界模型已经掌握了环境规律，剩下的问题是如何让策略网络在这个规律的约束下找到更优动作。
3. 工程实现：让世界模型不参与训练
3.1 环境准备与依赖版本
要在本地复现 QWM 的工程路线，核心依赖是 Python 和 PyTorch。建议使用 Python 3.9 以上版本，PyTorch 2.0 以上版本。以下命令创建一个虚拟环境并安装依赖：
python -m venv qwm_env source qwm_env/bin/activate pip install torch torchvision如果只有 CPU 环境，也可以运行示例，只是速度会慢一些。这里不依赖额外数据集，只用随机数据验证冻结逻辑是否正确。
3.2 定义世界模型和策略网络
为了演示，定义两个简单模块。世界模型接收原始观测，输出一个隐状态；策略网络接收这个隐状态，输出动作概率或动作值。示例中把状态维度和动作维度都设得比较小，方便单机运行。
import torch import torch.nn as nn class WorldModel(nn.Module): def __init__(self, obs_dim=4, hidden_dim=64, state_dim=8): super().__init__() self.encoder = nn.Sequential( nn.Linear(obs_dim, hidden_dim), nn.ReLU(), ) self.predictor = nn.Linear(hidden_dim, state_dim) def forward(self, obs): return self.predictor(self.encoder(obs)) class PolicyNetwork(nn.Module): def __init__(self, state_dim=8, hidden_dim=64, act_dim=2): super().__init__() self.net = nn.Sequential( nn.Linear(state_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, act_dim), ) def forward(self, state): return self.net(state)世界模型的 forward 表示从观测到状态预测的过程，策略网络表示从状态到动作决策的过程。在实际项目中，世界模型可能是 Transformer 或卷积网络，策略网络也可能是时序模型，但冻结逻辑完全一致。
3.3 冻结世界模型的参数
QWM 的第一步是实例化世界模型和策略网络，然后冻结世界模型。这里的关键操作有两个：eval()和requires_grad_(False)。
world_model = WorldModel() policy = PolicyNetwork() world_model.eval() for p in world_model.parameters(): p.requires_grad_(False)eval()的作用是切换 BatchNorm 和 Dropout 的行为。如果世界模型里有 Dropout，不调用 eval，前向结果会随机失活，导致每次预测不一致。requires_grad_(False)则会告诉 PyTorch，不需要为这部分参数计算梯度。
3.4 优化器只接收策略网络参数
由于世界模型不参与训练，优化器应该只包含策略网络的参数。如果误把 world_model 的参数传入 optimizer，即便 requires_grad 为 False，某些框架行为也可能导致参数状态被跟踪。
optimizer = torch.optim.Adam(policy.parameters(), lr=1e-3) loss_fn = nn.MSELoss()这里只对policy.parameters()创建优化器，是世界模型不参与训练的一道保险。
3.5 训练循环中使用 torch.no_grad()
在 QWM 风格的训练循环里，最关键的是世界模型的前向推理必须包在torch.no_grad()中。
num_epochs = 5 for epoch in range(num_epochs): total_loss = 0.0 for obs, target in dataloader: with torch.no_grad(): state = world_model(obs) action_pred = policy(state) loss = loss_fn(action_pred, target) optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() print(f"epoch {epoch} loss {total_loss:.4f}")with torch.no_grad()保证世界模型的输出不会被构建进反向传播的计算图。即使前面已经使用requires_grad_(False)，这一步仍然重要：它直接避免保存世界模型中的中间激活，降低显存占用。
3.6 使用 DataParallel 或 DDP 时要注意什么
如果要在多卡环境下训练，冻结逻辑需要在模型分包和分发前完成。使用DistributedDataParallel时，应该先冻结 world_model，再将它包装成 DDP 模块。否则 DDP 会在同步梯度时额外处理世界模型的梯度状态。
更稳妥的做法是让 world_model 也进入 device，但不加入 optimizer。同时，在 DDP 的forward中继续使用torch.no_grad()包裹世界模型。这样每个进程都会保持世界模型参数一致，也符合 QWM 的冻结语义。
4. 关键参数与冻结模式对比
4.1 冻结参数的几种写法
同一个需求有不同写法，但效果并不完全一样。下表列出常见写法：
| 写法 | 作用范围 | 注意事项 |
|---|---|---|
model.eval() | 修改前向行为 | 只影响 BatchNorm 和 Dropout，不代表不计算梯度 |
model.requires_grad_(False) | 冻结所有参数 | 对叶子参数生效，但不改变模块的 eval 状态 |
for p in model.parameters(): p.requires_grad = False | 冻结所有参数 | 可细粒度控制，适合部分冻结 |
with torch.no_grad(): | 禁用计算图构建 | 适合推理阶段，不在反向图中保存激活 |
| 优化器只传入部分参数 | 控制参数更新集合 | 不能阻止其他模块被计算图跟踪，但能阻止更新 |
在实际项目中，建议同时使用eval()、requires_grad_(False)和torch.no_grad()。三者解决的问题不同，遗漏任何一个都可能引入隐蔽问题。
4.2 requires_grad=False 与 torch.no_grad() 的区别
这个区别值得单独说明。requires_grad=False是参数属性，它告诉自动微分引擎：不要为这个参数计算梯度。但当你执行前向传播时，如果后续操作需要梯度，计算图仍可能保留与这些参数相关的节点。torch.no_grad()则是上下文管理器，它让整个前向过程不构建计算图，因此反向传播不会经过这个上下文内部的任何张量。
在 QWM 场景下，世界模型不需要梯度，所以两者都要用。第一层保险是让世界模型参数不产生梯度，第二层保险是让世界模型前向过程根本不进入计算图。
4.3 学习率、批量大小与优化器设置
由于只有策略网络参与训练，学习率可以参照普通单模型训练设置，不需要因为联合训练而调小。但在初期建议保持较低学习率，例如 1e-3 到 3e-3，观察 loss 是否稳定。
如果策略网络输出的是概率分布，还可以考虑AdamW代替Adam，配合权重衰减提高泛化能力。下面是示例：
optimizer = torch.optim.AdamW(policy.parameters(), lr=2e-3, weight_decay=1e-4)世界模型不参与训练，因此不需要给它单独设置学习率。这也意味着如果你使用学习率调度器，它的作用范围只应该覆盖 optimizer 中的策略网络参数。
4.4 显存和计算时间的变化
世界模型不参与反向传播，最直接的好处是显存中不再保存世界模型每层激活值。在长序列或大 batch 场景下，这种节省非常明显。但要注意，如果世界模型是一个大规模 Transformer 模型，它的参数本身仍要常驻显存。冻结参数可以减少梯度存储和优化器状态，但不会降低模型参数本身的显存占用。
因此，QWM 带来的不是“模型变小”，而是“训练开销变小”。在资源有限的环境中，它比全参微调更容易落地。
5. 运行验证：如何确认世界模型没被训练
5.1 对比训练前后的参数快照
最直接的验证方式，是训练前保存世界模型参数，训练后逐层对比是否发生变化。如果完全相同，说明世界模型确实没有参与梯度更新。
old_params = [p.detach().clone() for p in world_model.parameters()] # 完成训练后执行： changed = any(not torch.equal(old, p.detach()) for old, p in zip(old_params, world_model.parameters())) print("world model changed:", changed)这个验证应该返回False。如果返回True，说明某个环节仍然更新了世界模型，需要回头检查 optimizer 参数列表或计算图构建范围。
5.2 检查梯度是否真正隔离
可以打印世界模型和策略网络的梯度范数。世界模型参数的grad应该为None，或者至少为全零；策略网络参数的梯度应该是非零。
print("world model grad:") for name, p in world_model.named_parameters(): print(name, p.grad) print("policy grad norm:") for name, p in policy.named_parameters(): if p.grad is not None: print(name, p.grad.norm().item())如果在打印时发现世界模型某个参数有梯度，说明计算图没有隔离干净。常见原因是训练循环中忘了使用torch.no_grad()。
5.3 监控训练指标的变化
QWM 训练中，策略网络的 loss 应该逐渐下降，同时世界模型的预测误差应该保持不变。如果两者都在变化，说明世界模型实际上被更新了。可以在训练循环中额外计算世界模型在固定验证集上的误差，确保它是一条水平线。
5.4 设计三组对照实验
为了更科学地理解 QWM 的效果，可以设计三组实验：
| 实验组 | 世界模型是否参与训练 | 策略网络是否训练 | 预期结果 |
|---|---|---|---|
| 端到端基线 | 是 | 是 | 策略 loss 可能更快下降，但波动大，显存高 |
| QWM 训练 | 否 | 是 | 策略 loss 平滑下降，显存较低，可复现性好 |
| 完全冻结 | 否 | 否 | 策略不学习，loss 不下降 |
通过这三组结果，可以判断世界模型参与训练带来的收益与成本，也可以验证 QWM 是否适合当前任务。
6. 常见问题和排查路径
6.1 为什么世界模型参数还是发生了变化
如果训练后对比参数快照发现世界模型参数变了，首先检查优化器是否只包含策略网络参数。其次检查是否不小心调用了world_model.load_state_dict或world_model.train()导致状态变化。还有一种情况是 BatchNorm 的running_mean和running_var属于缓冲区，不属于parameters()，但会在train()模式下更新。即使没有参数更新，这些缓冲区变化也会影响前向结果。解决方案是始终调用world_model.eval()，并在需要时保存完整状态对比。
6.2 显存没有明显下降
显存没有下降通常是因为torch.no_grad()没有覆盖世界模型的前向。如果代码是下面这种写法，世界模型虽然不更新，但前向结果仍会被计算图追踪：
state = world_model(obs) # 错误：没有 no_grad action_pred = policy(state) loss = loss_fn(action_pred, target) loss.backward()正确写法是让世界模型推理在with torch.no_grad():内部完成。这样世界模型的中间激活不会被保存，显存才会明显下降。
6.3 训练 loss 不降或剧烈波动
策略网络不收敛可能不是冻结的问题，而是世界模型输出的状态表示不够稳定。建议先单独检查世界模型的预测误差，如果误差很大，说明当前问题不适合直接冻结世界模型。另一种原因是学习率过大，策略网络参数更新幅度超过了接收状态分布的容忍范围。可以先降低学习率，或者给策略网络增加 LayerNorm 等归一化层。
6.4 多卡环境下部分卡的结果不一致
多卡训练时，如果世界模型没有在所有进程中统一冻结，可能出现各卡参数不同步。推荐在主进程完成冻结后，再通过broadcast或 DDP 初始化同步参数。不要让世界模型参与梯度同步，否则 DDP 会认为它需要更新。正确做法是把 world_model 作为一个只读模块，单独放在设备上，不参与 DDP 的参数集合。
6.5 BatchNorm 与 Dropout 行为异常
世界模型里的 BatchNorm 在train()模式和eval()模式下行为不同。train()模式会使用当前 batch 的均值和方差更新 running 统计量，这实际上也是一种状态变化。If you forgetworld_model.eval()，即使参数不变，前向输出也会随着 batch 统计量变化，导致训练不稳定。
7. 最佳实践与扩展方向
7.1 什么情况下适合使用 QWM
QWM 不是万能的，它适合已有高质量世界模型的场景。如果世界模型在目标环境上的预测能力不足，冻结它只会让策略网络在“错误的地图上找路”。反过来说，当世界模型已经在大规模数据上预训练过，或者下游任务数据量很少时，冻结世界模型往往比全参微调更安全。
常见适用场景包括：
- 世界模型来自大规模预训练，任务变化不会改变环境动态。
- 训练资源有限，无法负担世界模型的反向传播开销。
- 实验需要稳定复现，不希望世界模型成为随机因素。
- 需要在一个通用世界模型上同时训练多个策略任务。
7.2 如果世界模型确实需要适配，应该怎么折中
有些任务的世界模型与目标环境差异较大，完全冻结可能不够。此时可以采取折中方案：冻结世界模型的大部分层，只更新最后几层；或者使用低秩适配器，在保持大部分参数不变的前提下，引入少量可训练参数。这种思路保留了 QWM 的稳定性，又给世界模型留出了一定适配能力。
折中方案的实现可以在世界模型 forward 中插入一个轻量 adapter：
class AdaptableWorldModel(nn.Module): def __init__(self, world_model, adapt_dim=16): super().__init__() self.world_model = world_model for p in self.world_model.parameters(): p.requires_grad_(False) self.adapter = nn.Linear(adapt_dim, adapt_dim) def forward(self, obs): with torch.no_grad(): state = self.world_model(obs) return self.adapter(state)这里对世界模型主体关闭梯度，只允许 adapter 更新。它本质上是一种“部分参与训练”的 QWM，比全量微调更稳定，比完全冻结更有表达力。
7.3 QWM 与常见训练范式的关系
QWM 的思想接近“冻结主干网络 + 训练任务头”，但它针对的是世界模型，所以需要额外考虑时序、状态预测、环境动态等世界模型特有的问题。如果你用过迁移学习中的冻结backbone，或者大模型后训练中的冻结参数技术，会很快理解 QWM 的工程操作。区别在于世界模型往往输出的是隐状态序列而不是分类特征，因此验证方式也更多。
从“训练自己的数据集”的角度看，QWM 也可以被理解为一种数据高效的迁移策略。当环境动态规律能从源域迁移到目标域时，世界模型不需要重新训练，任务网络只需要学习如何利用源域学到的状态表示。
7.4 实施 QWM 的检查清单
| 检查项 | 是否完成 | 说明 |
|---|---|---|
| 确认世界模型预训练权重来源与版本 | 是 | 没有可靠来源时不要贸然冻结 |
调用world_model.eval() | 是 | 关闭 BatchNorm 和 Dropout 状态更新 |
遍历关闭requires_grad | 是 | 避免参数被优化器误更新 |
| 优化器只包含策略网络参数 | 是 | 核心边界，必须设置 |
世界模型前向使用torch.no_grad() | 是 | 降低显存并隔离计算图 |
| 保存训练前参数快照 | 是 | 用于验证参数是否变化 |
| 监控策略层梯度范数 | 是 | 确认学习信号只作用于策略网络 |
| 多卡环境统一冻结策略 | 是 | 避免各卡状态不一致 |
| 记录世界模型评估误差 | 是 | 如果误差不变，说明冻结有效 |
| 保留实验配置和随机种子 | 是 | 方便复现实验 |
实施 QWM 最关键的一步，不是把requires_grad设为 False，而是把“世界模型不参与训练”作为一个明确的设计决策写进代码。只要在训练循环里保住了torch.no_grad()这条边界，后续加入更复杂的策略、更丰富的数据或更多卡都不会破坏冻结语义。若要在自己的研究或项目里尝试这个方向，可以从最简单的状态预测任务开始，先把冻结逻辑验证清楚，再逐步扩展到强化学习、多模态决策等复杂场景。
