面向模型预测控制的时序差分学习

官方题名： Temporal Difference Learning for Model Predictive Control
作者： Nicklas Hansen、Xiaolong Wang、Hao Su
论文： arXiv:2203.04955 · ICML 2022 · arXiv v2（2022-07-19）
领域： 强化学习、连续控制、机器人

核心结论

三个值得记住的点

1. 近处靠规划，远处靠价值。 TD-MPC 只在学到的模型里向前看几步，再用终点的价值估计补上更远的回报。
2. 模型不用还原整个世界。 它把观察压进潜在状态，只保留有助于预测动作后果、奖励和价值的信息。
3. 效果来自组合，不是免费午餐。 论文在 92 个连续控制任务上展示了广泛优势，但规划仍消耗算力，困难探索任务也会落后。

图中“长期价值”不是额外看见了未来，而是用时序差分学习得到的估计，为每条短程候选补上规划视野之外的分数。智能体随后只执行第一步，再根据新观察重新规划。来源：论文第 1、3 节及算法 1

问题

看得远很贵，看得短又容易只顾眼前

模型预测控制会先模拟多条动作序列，选出预期回报较高的一条。但规划跨度越长，候选组合越多，计算越贵；学到的模型每往前滚一步，误差也可能继续累积。若只看很短的范围，机器人或许能把眼前一步走稳，却未必朝长期目标前进。论文因此把问题拆成两段：模型负责短期细节，价值函数负责规划终点之后的长期方向。来源：论文第 1–2 节

还原像素，并不等于学会控制

一幅画面里有阴影、纹理和背景物体，但它们未必影响任务奖励。若模型被要求预测下一帧的所有细节，有限的数据和模型容量会花在许多无关内容上。TD-MPC 改为学习“任务导向”的潜在动力学：它不重建观察，只要求内部状态支持未来潜在状态、奖励与价值的预测。来源：论文第 1、4 节

这张图是教学示意，不是论文原图。右侧的“只学任务相关”并不表示模型永远不会保留视觉细节；只要某个细节会影响奖励或后续状态，它仍可能进入潜在表示。

方法

每次决策都先试演，再只走一步

当前观察先被编码成潜在状态。规划器在潜在模型中采样多条短动作序列，逐步累加预测奖励，并在最后加上终端状态—动作价值。它反复用高分样本更新动作分布，选出一条候选序列，却只执行第一个动作。新观察到来后，整个过程向前滑动一格再做一次，这就是滚动时域控制。来源：论文第 3 节，公式 3–5、算法 1

五个网络一起学同一件事

论文把编码器、潜在动力学、奖励预测、价值函数和策略合称为 TOLD。训练时从回放池取一段轨迹，只编码第一个观察，然后在潜在空间连续向前预测。每一步同时检查三件事：奖励是否接近真实奖励，价值是否接近 TD 目标，预测的潜在状态是否接近慢速目标编码器给出的表示。梯度穿过多步展开，让早期潜在状态也为后续预测负责。来源：论文第 4 节，公式 6–10、算法 2

图里的“慢速目标”来自在线网络参数的指数移动平均。它只在训练时提供相对稳定的价值目标和潜在状态目标，并不是环境的真实模型。

学到的策略既帮训练，也帮规划

直接在每个 TD 目标处完整规划会很贵，所以 TD-MPC 另学一个确定性策略，用它近似挑选高价值动作。这个策略一方面为价值学习提供下一步动作，另一方面给规划器加入候选轨迹。论文观察到，复杂任务上直接使用该策略通常不如规划，但它能减少搜索负担，并在极低时延场景下充当更快的替代路径。来源：论文第 3–5 节，公式 11

证据与局限

最强证据来自复杂连续控制的广泛测试

论文测试了 92 个任务，覆盖 DMControl 与 Meta-World，包括状态和图像输入、稀疏奖励、多模态输入、目标条件、多任务学习，以及最高 38 维连续动作空间 的 Dog 任务。作者报告 TD-MPC 在多数任务上匹配或超过模型式与无模型基线，提升在 Humanoid、Dog、Quadruped 和 Bin Picking 等复杂任务上尤其明显；Humanoid 和 Dog 可在约 100 万环境步 内学会，图像任务则优于 CURL、DrQ，并与 DrQ-v2、Dreamer-v2 有竞争力。来源：论文第 5 节、图 1、图 3–5

消融支持“任务导向潜在模型”，但不能单独证明每个设计都必要

论文比较了直接预测状态、去掉潜在一致性损失、换成重建损失或对比损失等版本。作者报告潜在一致性损失的结果最稳定，这支持“不必重建完整观察”的设计选择。但完整系统同时改变了表示、训练目标、规划和策略引导，单组消融无法把所有收益精确分摊给某个组件。来源：论文第 5 节与附录 D

失败点比平均分更能说明边界

TD-MPC 在 Finger Turn Hard 这一困难探索任务上的样本效率低于 SAC 和 LOOP，作者据此把更强探索列为未来方向。规划也会增加推理成本：附录在单张 RTX 3090 上测得默认设置约 20 毫秒/决策步（50 Hz），但真实设备的传感、通信和安全约束并未包含在这个数字里。论文展示的是仿真控制能力，不是实机部署、鲁棒性或安全保证。来源：论文第 5 节与附录 H

实际意义

它适合“局部动作难、长期方向也重要”的控制问题

如果任务需要精细的短期动作，又不能把长期目标丢掉，TD-MPC 提供了一种清楚的分工：模型处理几步内的动力学，价值函数概括更远结果。机器人运动、操作和导航都可能符合这种结构。这里的“可能”是工程推断；论文真正验证的是两个仿真基准中的连续控制任务。依据：论文第 1、5 节；此段应用判断为解释

上线前应先问三个问题

• 模型会忽略什么？ 奖励设计若漏掉安全、舒适或能耗，任务导向表示也可能把这些因素当成无关信息。
• 允许多少决策时延？ 可调规划长度和迭代次数，也可退回直接策略；每种选择都要在目标硬件上重测。
• 分布变化时会怎样？ 论文未证明面对真实传感噪声、未见环境或动力学突变仍可靠，需要额外的实机验证与安全机制。

研究者可以怎样复核

优先复现三条链路：同一预算下比较规划与直接策略；在困难探索任务上加入更强探索；把仿真训练好的系统放进带延迟和噪声的控制回路。还应分别报告环境步、训练墙钟时间、单步推理时延和成功率，避免只用样本效率代表全部成本。依据：论文第 5 节、图 6、表 2、附录 H；复核建议为解释