TD-MPC2面向连续控制的可扩展、稳健世界模型

官方标题： TD-MPC2: Scalable, Robust World Models for Continuous Control
作者： Nicklas Hansen、Hao Su、Xiaolong Wang
发表： ICLR 2024；arXiv:2310.16828（v2，2024-03-21）
主来源： arXiv 摘要页 · 论文 PDF

核心结论

它先让世界模型稳定，再把一个模型扩到许多任务

TD-MPC2 的关键不是某个单独的新模块，而是一组互相配合的改造：它让模型只预测“怎样行动更有利”，不必还原未来的完整画面；同时用归一化、离散回归、Q 函数集成和任务条件，让训练能承受奖励尺度、身体结构和动作维度的变化。结果是，同一套超参数在 104 个连续控制任务上保持强劲表现；一个 3.17 亿参数模型还能同时处理 80 个任务。这里的“一个模型”仍然需要任务 ID，并不等于看到陌生任务后自动理解目标。【来源：摘要；第 1、3、4 节】

记住这三点

1. 它学的是“行动后会得到什么”，不是“未来画面长什么样”。 隐空间模型预测下一隐状态、奖励和长期价值，再为短程规划服务。
2. 可扩展来自先解决训练不稳。 直接放大原版 TD-MPC 可能让表现下降；TD-MPC2 先改造表示、目标函数、Q 估计和多任务接口，再增加模型与数据规模。
3. 证据很广，但仍主要来自仿真。 论文覆盖 4 个任务域、104 个任务；最大多任务实验用了 80 个任务和 5.45 亿条转移，但没有证明真实机器人上的开放式泛化。

问题

任务之间变的不只是目标，连“身体”和分数尺度都在变

单任务强化学习常为每个任务单独调参。多任务训练却把差异一次性叠在一起：有的机器人只有少量动作维度，有的多达 39 维；有的奖励稠密，有的只有成功时才给分；有的任务是奔跑，有的是抓取或肌肉骨骼控制。若同一套损失直接处理这些数据，大奖励任务可能主导梯度，无效动作维度也可能污染价值估计。【来源：第 1、3.2、4 节；附录 C】

只会模仿专家，也很难吃下大规模杂质数据

Gato、RT-1 一类通才模型主要依赖接近专家的示范。论文指出，这类数据昂贵，而且把连续动作离散成 token 后，高维连续控制更难扩展。TD-MPC2 改走强化学习路线：它可以从回放数据中学习，而论文的 80 任务数据集包含从随机到专家的混合质量行为。【来源：第 1、6 节；第 4 节“Massively multitask world models”】

原版 TD-MPC 能规划，却不适合直接放大

TD-MPC 已经会在隐空间里做局部轨迹优化，并用终值函数补上规划窗口之外的回报。问题是，论文观察到它在部分任务上会梯度爆炸；直接增加模型和数据规模，也可能让总体表现下降。TD-MPC2 因而把问题定义成：保留这套控制框架，同时让它对任务差异更稳，并能共享一个更大的模型。【来源：第 1、3 节；附录 A、G】

方法

模型把观察压成只为控制服务的隐状态

编码器先把当前观察压成隐状态。隐动力学根据候选动作向前推演；奖励头预测每一步的即时结果；Q 函数预测更长时间的累计回报；策略先验提供较好的候选动作。模型不负责把未来观察解码回来，因此可以把容量集中在“哪些动作会带来更高回报”上。【来源：第 3.1 节，图 3 与式 2】

每一步都先在模型里试走，再只执行第一个动作

面对当前观察，规划器采样多条短动作序列，并在隐空间里推演。每条序列的分数由途中预测奖励加上末端 Q 值组成；策略先验帮助规划器从更有希望的区域开始搜索。系统执行最佳序列的第一个动作，然后重新观察、重新规划。这就是模型预测控制：始终滚动更新，而不是一次决定很长的动作脚本。【来源：第 2、3.1 节；式 1；附录 A“Planning”】

四组改造共同解决多任务训练的不稳定

第一，SimNorm 把隐表示分组投影到单纯形上，限制数值规模并鼓励稀疏表示。第二，奖励和价值不再直接回归任意大小的实数，而是在对数变换空间里做离散回归，使不同奖励尺度更容易共存。第三，模型默认训练 5 个 Q 函数，并从随机抽取的两个 Q 中取较小值来构造 TD 目标，降低过高估计的风险。第四，每个任务有一个归一化的可学习嵌入；不同长度的输入输出先补零，无效动作维度在训练、推理和规划时被遮掉。【来源：第 3.1、3.2 节；附录 A】

证据与局限

最强证据是同一套超参数覆盖 104 个连续控制任务

论文把 TD-MPC2 与 SAC、DreamerV3 和 TD-MPC 比较，任务来自 DMControl、Meta-World、ManiSkill2 和 MyoSuite 四个域，覆盖状态输入、10 个图像输入任务、稀疏奖励、精细操作、肌肉骨骼控制和高维运动。所有任务使用同一套 TD-MPC2 超参数。作者报告它在总体上优于这些基线；图像控制的结论更克制，只是与 DrQ-v2 和 DreamerV3 相当。曲线通常报告 3 个随机种子的均值与 95% 置信区间。【来源：第 4 节；图 1、5、6、10；附录 D】

放大模型时，80 任务平均分持续上升

多任务实验把 50 个 Meta-World 任务和 30 个 DMControl 任务合在一起。训练数据来自 240 个单任务智能体的回放，共 5.45 亿条状态转移，行为质量从随机到专家不等。模型从 100 万参数增加到 3.17 亿参数时，归一化平均分从 16.0 升到 70.6；作者没有据此拟合缩放定律，只说分数看起来随参数量的对数近似线性增长。【来源：第 4 节“Massively multitask world models”；图 7；表 1】

表 1｜论文表 1 的数据。分数混合了 Meta-World 成功率与归一化到 0–100 的 DMControl 回报，因此适合比较这些实验设置内的模型，不应当作跨研究的通用能力刻度。

消融与微调结果支持“组合改造”，但结论范围有限

消融覆盖策略/规划、归一化、连续与离散回归、Q 函数数量和任务嵌入归一化。作者称各项改造在 3 个困难任务与 80 任务训练中都有贡献。另一个探索性实验先在 70 个任务上训练 19M 模型，再对 10 个留出任务在线微调 2 万环境步，平均分为 47.0，而从头训练为 24.0。这个约 2 倍结果只有 3 个种子，作者也明确把新任务微调称为开放问题。【来源：第 4 节“Ablations”“Few-shot learning”；图 8、9】

最大缺口是真实世界、陌生任务和因果拆分

实验主要使用本体状态输入和仿真环境；图像输入只测试了 10 个 DMControl 任务。多任务模型依赖已知任务 ID，没有展示零样本理解陌生目标。80 任务数据来自 TD-MPC2 单任务智能体，而不是开放世界里自然收集的数据。多项改造一起启用后效果很好，但有限消融不能完整分离所有交互作用。论文也没有与真实机器人部署成本、延迟和安全约束做系统评估。【来源：第 3.2、4、5 节；附录 A】

实际意义

它更像一个可靠的连续控制底座，而不是通用机器人“大脑”

如果团队面对多个相近的连续控制任务，又能定义奖励并收集交互数据，TD-MPC2 提供了一条务实路线：先用统一接口和稳定目标训练共享世界模型，再用在线规划输出低层动作。它特别适合研究“同一类身体能否共享动力学知识”。但高层目标理解、自然语言指令、真实世界感知和安全控制仍需其他系统配合。这一段是基于论文结果的工程解读，不是作者已经验证的产品结论。

上线前要把三类风险放到模型之外处理

作者列出三类风险：奖励写错会诱导意外行为；没有额外安全检查时，把物理机器人的自主权交给学习模型可能造成灾难性故障；大规模数据成本还可能让能力集中在少数资源充足的团队。实际部署因此至少需要独立的动作边界、硬件急停、异常检测和人工接管，并持续检查奖励是否真的代表任务目标。【来源：第 5 节“Risks”】

读论文时最值得继续追问什么

• 换成真实机器人数据后，SimNorm、离散回归和 Q 集成还会同样稳定吗？
• 去掉显式任务 ID，模型能否从目标描述或观察中判断当前任务？
• 规模收益来自更多参数、更多数据，还是 240 个单任务采集策略带来的数据覆盖？
• 在相同训练算力与规划延迟下，它与纯策略方法的比较会怎样变化？
• 奖励被误设、传感器异常或世界模型预测失准时，独立安全层能否及时拦截？

术语与核验附录

• 隐式世界模型： 不重建原始未来观察，只预测控制需要的隐状态、奖励和价值。
• 终值： 在短规划窗口末端，对更远未来累计回报的估计。
• 策略先验： 给规划器提供有希望的动作样本；最终动作仍由规划结果决定。
• SimNorm： 把隐向量分组后分别做 softmax，使每组落在固定单纯形上。
• 离散回归： 把连续的奖励和价值映射到变换后的离散支持，再用软目标交叉熵训练。
• 证据范围： 关键数字均来自论文 v2 的第 4 节、图 7、图 8 和表 1；安全边界来自第 5 节。官方标题、作者和版本信息来自 arXiv 摘要页。