从像素学习潜在动力学并用于规划

论文原题： Learning Latent Dynamics for Planning from Pixels
作者： Danijar Hafner、Timothy Lillicrap、Ian Fischer、Ruben Villegas、David Ha、Honglak Lee、James Davidson
版本： arXiv:1811.04551v5（2019-06-04） · 论文主页 · PDF

核心结论

三个记忆点

1. PlaNet 学的不是一条固定策略，而是一套可供规划的“内部世界”。 它从图像和动作中学习环境如何变化，再在压缩后的潜在状态里试跑许多动作序列。
2. 记忆与不确定性缺一不可。 确定性通路保存过去，随机通路容纳多个可能未来；实验中，去掉随机部分后智能体没有学会任务。
3. 优势主要是数据效率，不是全面碾压。 PlaNet 用 1,000 回合在多数任务上接近用 100,000 回合训练的 D4PG，但 Finger Spin 仍明显落后。[来源：摘要；§3；§5、Table 1]

图中把核心闭环画成五步：看见画面、压成状态、在内部展开候选未来、按预测奖励排序、只执行当前一步。得到新画面后，规划器从头再算，而不是盲目执行整段旧计划。[来源：§2 “Model-based planning” 与 “Planning algorithm”]

问题

一张图看不见完整状态

相机画面常会漏掉关键事实。小车可能暂时跑出视野，碰撞也可能让下一刻出现多个合理结果。因此，智能体不能只靠当前帧；它需要把历史压成记忆，同时承认未来存在不确定性。论文把任务写成部分可观测决策过程，六个测试任务也刻意包含长时依赖、接触动力学和稀疏奖励。[来源：§2 “Problem setup”；§5]

直接预测未来图像太重，短期误差还会累积

规划时，每一步都要评估成千上万条候选动作。如果每条候选都生成高清未来画面，计算成本很高；如果模型只学会下一步，微小误差又会沿长轨迹不断放大。PlaNet 的关键转向是：图像仍用来训练表示，但真正规划时只推进潜在状态并预测奖励，不生成图像。[来源：引言；§2 “Planning algorithm”；§4]

方法

RSSM 同时保存记忆和多个未来

PlaNet 的循环状态空间模型（RSSM）把内部状态分成两部分。确定性部分像连续的记忆轨道，保留过去信息；随机部分像分叉，表达同一历史下可能出现的不同结果。纯确定性模型容易被规划器钻预测误差的空子，纯随机模型又难稳定记住长历史；两条通路合在一起，才兼顾记忆与不确定性。[来源：§3，Figure 1]

CEM 搜索动作序列，但每次只迈一步

规划器先为未来动作建立一个随时间变化的高斯分布，再采样大量候选序列。模型在潜在空间展开每条序列并累加预测奖励，CEM 保留高分样本、更新分布，重复若干轮后取当前时刻的均值动作。环境返回新画面后，PlaNet 重新估计状态并重新规划；它不需要策略网络或价值网络。[来源：§2 “Model-based planning” 与 “Planning algorithm”]

潜在超前训练让模型练习更远的预测

普通变分目标主要约束一步预测。论文提出 latent overshooting：从一个状态向前滚动多步，再让这些多步先验靠近对应时刻、看过真实观测的后验。比较发生在潜在空间，因此不必为每个距离额外生成图像。重要边界是：多种动力学模型从它受益，但论文最终使用的 RSSM 并不依赖它。[来源：§4，Figure 2；§4 末注；Appendix D]

证据与局限

六项像素控制实验支持数据效率

论文在 DeepMind Control Suite 的六项连续控制任务上测试，只给智能体第三人称图像。最终均值如下；PlaNet 与 D4PG 都从像素学习，而 A3C 使用本体状态。数值显示 PlaNet 用 1,000 回合超过 100,000 回合的 A3C；对 D4PG，它在 Cheetah Run 更高，在 Cartpole、Cup Catch、Walker Walk 接近，但在 Reacher 和尤其 Finger Spin 更低。[来源：§5，Table 1]

消融实验支持三个关键设计

论文分别替换了动力学模型、数据收集方式和搜索方式。RSSM 在全部任务上优于只用确定性或只用随机性的版本；随机通路被移除后，智能体没有学会。用当前模型主动收集数据对所有任务都有帮助，并且对 Cartpole、Finger、Walker 是必要的；用 CEM 迭代改进动作序列，也在全部任务上优于随机射击。[来源：§5 “Model designs” 与 “Agent designs”，Figures 3–4]

这些结果还不能证明什么

实验来自模拟环境，不等于真实机器人上的可靠控制。六项任务共用超参数，但视觉多样性仍有限；作者明确把“不靠重建学习表示”留作未来方向。训练每项任务仍需单张 Nvidia V100 上约 10–20 小时，在线规划也要在每个环境步评估大量序列。Table 1 的 D4PG 数据效率倍率来自其训练曲线估计，不是同一代码库下的严格等算力复现。[来源：§5；§7；Table 1 caption]

实际意义

适合把试错成本放在模型里

PlaNet 展示了一条清晰产品路线：先用交互数据学习任务无关的环境动力学，再通过改变奖励或规划目标来改变行为。它尤其适合真实试错昂贵、但可以持续获得视觉反馈的控制问题。不过，要迁移到现实，还需处理更复杂的画面、模型分布外误差、安全约束和实时算力；这些是从论文结果推向产品的解释，不是作者已经验证的结论。[来源：引言；§7；解释]

研究脉络与核查清单

这项工作继承了 E2C、RCE 在潜在空间学习可控动力学的方向，但去掉了它们的马尔可夫假设，转向能处理部分可观测历史的 RSSM；RSSM 的确定性与随机性组合也直接借鉴了早期随机循环模型。它同时把 observation overshooting 的多步训练想法改成潜在空间正则，以避开重复解码图像的成本。[来源：§3；§4；§6]

进一步阅读时，可以核查三件事：第一，换成更复杂视觉背景后，潜在状态是否仍服务于控制；第二，在真实硬件延迟下，CEM 每步重规划是否足够快；第三，Table 1 的样本效率在统一实现和统一算力预算下是否仍成立。这些问题不会推翻论文贡献，但决定它能否从模拟基准走向可靠系统。