SuperMimic：用一个可微世界模型扩展人形全身控制

1. 背景：动作跟踪为什么这么贵

目前训练"通用"人形全身控制器的主流路线叫动作跟踪（motion tracking）：给策略一段人类动作捕捉（mocap）片段当参考，策略输出每个关节的目标位置，奖励就是机器人当前姿态和参考动作像不像。代表工作有 DeepMimic、PHC、BeyondMimic 和 SONIC。经验规律是：动作库越大越多样，训出来的控制器越强。

代价是算力。SONIC 用无模型强化学习（PPO）直接在仿真器里暴力训练，用了 128 张 L40 跑 7 天，约 21,000 GPU 小时。作者指出问题所在：PPO 把仿真器当黑箱，对每条动作都要靠大量随机采样去"重新摸索"动作的后果；而所有动作共享的那套刚体动力学结构，PPO 从来没有显式利用。于是扩展动作库等价于扩展算力。

2. 核心思想：学一个共享的、可微的动力学模型

既然动力学是共享的，就专门学一个神经网络 \(f_\omega\) 来表示它，并且这个网络是可微的。这样策略改进就不必再靠采样估计梯度，而是把"想象中的累积回报"对策略参数直接求导。训练是一个三阶段循环，三部分同时更新，而不是先学好模型再学策略：

1. 采数据当前策略在 MuJoCo Warp（GPU 版 MuJoCo）里跑，把 (状态, 带噪声的动作, 仿真上下文 ξ) 存入固定大小的回放缓冲区，新数据替换最旧的。动作噪声只是为了让模型见过更宽的动作范围。
2. 拟合世界模型从缓冲区抽长度 8 步的短窗口，自回归地训练 \(f_\omega\)。因为动力学与"是哪个策略采的数据"无关，旧策略的数据始终有效。
3. 改进策略冻结 \(f_\omega\)，从缓冲区里一个真实状态出发，在想象中滚动 H = 32 步，把回报通过时间反向传播（BPTT）到策略参数；32 步之外的回报由一个 critic 估计。

3. 世界模型：仿真器的可微替身

世界模型由一个动力学网络和奖励、观测、终止三个输出头组成，每个头要么学出来、要么直接解析计算：

• 输入里的 ξ（sim context）是每个回合的域随机化参数：摩擦系数、标定偏移、躯干质心偏置。仿真器的随机性来源都是已知的，所以把它们当输入后，模型可以是确定性的。
• 预测的是去噪观测 \(\bar o_t\)；传感器噪声 \(\eta_t\) 在模型外面另行采样再加回去。
• 终止用概率 \(\hat d_t\in[0,1]\) 而不是 0/1，这样"存活权重" \(\hat c_{t+1}=\hat c_t\,(1-\hat d_{t+1})\) 在想象里也可微。

拟合损失（论文公式 1）：从记录的状态 \(s_0\) 出发，按记录的动作往前滚 8 步，让每一步的状态、奖励、观测、终止都贴近仿真结果：

8 步自回归训练让模型学会修正自己的误差，所以虽然只在 8 步窗口上拟合，实际滚动 32 步甚至无限长也保持稳定。

4. 策略学习：短视野 BPTT + critic 自举

每次策略更新时模型参数冻结。从回放缓冲区的真实状态和它记录的 ξ 出发，模型每步给出去噪观测，加回传感器噪声，策略 \(a_t=\pi_\theta(\hat{\bar o}_t+\eta_t,\,g_t)\) 出动作。目标函数（论文公式 2）是 32 步折扣奖励和，加上 critic 对剩余回报的估计：

整条链路可微，所以 BPTT 通过模型对 \(\hat s_t\) 和 \(a_t\) 的雅可比就能算出一阶梯度 \(\nabla_\theta\hat J\)。critic 用只在想象转移上计算的 GAE 回报拟合（公式 3），没有目标网络。奖励沿用 BeyondMimic 的动作跟踪奖励，去掉自碰撞惩罚。

这个结构接近 SHAC 的短视野 actor-critic，差别是：用学到的模型代替可微仿真器；用软存活权重代替硬终止；critic 没有 EMA 目标网络。以前用解析梯度做动作控制的工作（SuperTrack、ControlVAE）往往不用 critic，只优化 H 步奖励和，作者在第 7 节说明这会让策略短视。

5. 主结果：3 小时单卡超过 SONIC

作者对公平性的说明。两边数据量差 2.3 倍，H100 对 L40 的峰值算力最多差 5.5 倍，这两项加起来解释不了 1000 倍的差距。3 小时这个数字取得保守：从 3 小时起之后每个 checkpoint 都领先 SONIC 至少一半差距。基准上的 129,514 条都是训练集动作，所以失败数衡量的是覆盖率而非泛化。

受控对比：同设定下 PPO 堆卡也追不上

SuperMimic 单卡 1.2 小时达到回报 0.82。PPO-Sim 在 18 小时预算内都没达到：1 卡最终 0.60，4 卡 0.70，8 卡 0.72，从 4 卡到 8 卡几乎没有提升。

6. 为什么快：三个因素

1. 一个模型摊销整个动作库。数据从 1 小时扩到 264 小时，8 步预测误差始终在 0.007 到 0.011 之间。每条动作都由同一个机器人执行，新增片段只是给共享的身体和接触动力学提供更多证据，不需要新容量。
2. 想象比仿真快。常用批量（2k 到 16k 并行环境）下世界模型比 MuJoCo Warp 快 10 倍以上，64k 并行时快 62 倍，此时 MuJoCo Warp 的吞吐已经饱和。
3. 解析梯度本身更高效。这是机制消融：同样在世界模型上训练，BPTT 比 PPO 少约 64 倍想象步数就达到同样回报。所以收益不只是因为滚得快。

7. critic 的作用：更短的视野，还能抗推

回到 Figure 4(b, c)。没有 critic 时 H ≤ 16 训练失败；有 critic 时 H = 16 就能和无 critic 的 H = 32 打平，H = 32 最快到达 0.82。把 H 加到 128（H100 上能放下的最长视野）反而耗时近三倍、最终回报更低。

更有意思的是行为差异。在仿真里让机器人保持 T 字姿势并施加 0.5 到 4 m/s 的推力：带 critic 的策略 0.5 到 2.4 秒内站稳；无 critic 的策略在 0.5 m/s 就一直踉跄，4 m/s 时摔倒。原因是恢复平衡的奖励常常落在 32 步窗口之外，只有 critic 看得到。

8. 真机：一个策略直接上 Unitree G1

世界模型只从仿真数据学，但它条件在域随机化参数 ξ 上，策略在想象中就见过不同摩擦和质心，所以零样本迁移到真机。项目主页另有"世界模型 vs 仿真器"的并排预测视频，包括关闭策略后摔倒和摩擦系数 0.3 的滑地面两种情况。

9. 下游任务：RL 训练的速度编码器 vs 蒸馏

同一个世界模型还能训练别的目标接口。作者做了一个初步实验：一个速度指令编码器，与动作跟踪接口共享解码器和世界模型。两种训练方式对比：

• RL 编码器：直接用速度跟踪奖励，通过世界模型做 BPTT。
• 蒸馏编码器（基线）：用动作跟踪奖励，速度指令从参考动作里读出来。

10. 局限（作者自述）与我的看法

• 多接口联合训练研究不足。速度奖励目前只更新速度编码器，不更新共享解码器，所以"同时训练"和"先训跟踪器再训编码器"其实等价。
• 只学仿真器动力学。世界模型没有用真机数据修正；作者提到它的可微性以后可以用于系统辨识。
• 只在平地。没有地形和物体交互，扩展工作进行中。

从读者角度补两点。第一，这篇文章的新意不在奖励或网络结构，而在于把"共享可微动力学模型 + 短视野 BPTT + critic 自举"这套基于模型的 RL 配方第一次在大规模人形动作跟踪上做通并上真机，相关思路在 SuperTrack、ControlVAE、SuperDyno 等角色动画工作中已有雏形。第二，截至写作时项目主页未给出代码和数据下载链接，复现需要自己搭 MuJoCo Warp 管线和 BONES-SEED 数据。

C1. 强化学习的基本对象

C2. 世界模型是什么

C3. 符号总表

约定：带帽子 \(\hat{\ }\) 的量是世界模型预测的版本，不带帽子的是仿真器里的真实值；带横线 \(\bar{\ }\) 的观测是去掉传感器噪声的版本；下标 \(t\) 是时刻，\(j\) 是世界模型训练窗口内的步数，\(b\) 是刚体编号。

11. 训练链路总览

整个系统只有一个外层循环。每一次迭代依次做三件事，三件事共享同一个回放缓冲区 B。没有"先预训练世界模型再训练策略"的分期，世界模型 ω 和策略 θ 每次迭代都更新；ω 只在策略的反向传播里被停梯度（Algorithm A.1 的说明原文）。

flowchart LR
  subgraph S1["阶段 1 · 采数据"]
    SIM["MuJoCo Warp
4096 envs"] -->|"(s_t, a_t+ε_t, ξ, r, d, o)"| B[("回放缓冲区 B
1000 步/env")]
    PI0["π_θ 前向"] --> SIM
  end
  subgraph S2["阶段 2 · 拟合世界模型"]
    B -->|"8 步窗口 ×2048 ×10 批"| FW["f_ω 自回归 8 步"]
    FW --> LWM["L_WM = Σ ‖ŝ−s‖² + (r̂−r)² + ‖ô−ō‖² + BCE(d̂,d)"]
    LWM -.->|"∇_ω"| FW
  end
  subgraph S3["阶段 3 · 改进策略与 critic"]
    B -->|"起点 s_0, ξ ×4096"| IM["想象 32 步
f_ω 冻结, π_θ 出动作"]
    IM --> J["Ĵ = Σ γ^t ĉ_t r̂_t+1 + γ^H ĉ_H V_ψ"]
    J -.->|"∇_θ (BPTT 穿过 f_ω)"| IM
    IM --> GAE["GAE 目标 R̂_t"]
    GAE --> LV["L_V = Σ (V_t − R̂_t)²"]
    LV -.->|"∇_ψ"| GAE
  end

实线是数据流，虚线是梯度流。下面逐阶段展开。

12. 阶段 1：采数据 \(\pi_\theta\) 冻结

13. 阶段 2：拟合世界模型 ω 训练

14. 阶段 3：改进策略与 critic θ、ψ 训练 ω 冻结

15. 状态、观测、动作、目标

观测 \(o_t\)（Table A.1）

策略接收最近 10 帧观测。每帧内容和逐维传感器噪声 \(\eta_t\) 如下，η 服从均匀分布：

合计每帧 93 维，10 帧 930 维。观测里没有根部位置和线速度，是纯本体感知。

目标 \(g_t\)

动作跟踪接口的目标是参考动作的未来 K = 10 帧序列（BeyondMimic 用单帧目标，这里改成序列）。编码器输入就是这 10 帧。

动作 \(a_t\)

29 维，映射到关节设定点 \(q^{\mathrm{sp}}=\alpha\,a_t+q^0\)。沿用 BeyondMimic 的低 PD 增益，设定点实际是关节力矩的代理而不是真要到达的位置。α 的数值论文未给。

状态 \(s_t\)

16. 奖励与终止

动作跟踪奖励沿用 BeyondMimic（Table A.2），改动两处：去掉自碰撞惩罚（它防的是随机策略的奖励黑客，这里策略在想象中是确定性的，没必要）；关节限位惩罚权重从 −10 降到 −2。每一项都乘以控制周期 Δt = 0.02 s。T 是被跟踪刚体的集合。

归一化回报 = 整回合每步奖励之和 ÷ 该和的最大可能值。跟踪项全是 exp 形式，上界是 1，所以最大值可以直接算。

终止：\(|e_{p,z}|>0.25\,\mathrm m\) 或 \(e_{\mathrm{tilt}}>0.8\)（见第 12 节）。仿真记录硬终止 0/1，世界模型预测概率 \(\hat d\)。

17. 域随机化与 sim context ξ（Table A.3）

这三组量拼成 ξ，作为 \(f_\omega\)、\(g_\omega\) 和 \(V_\psi\) 的输入。去掉了 BeyondMimic 的根部速度扰动（随机推），因为推力是状态的不连续跳变，确定性世界模型无法表示；作者发现只随机化物理参数就够上真机。

18. 网络（Table A.4）

潜变量 z 为 32 维，经 tanh 限幅。策略 = 编码器 + 解码器：\(z=\mathrm{enc}_{\theta,i}(g)\)，\(a=\mathrm{dec}_\theta(z,o)\)。激活函数、层归一化、初始化论文均未给出。

19. 超参与调度（Table A.5）

PPO-Sim 基线用 BeyondMimic 的 PPO 超参，每 GPU 8192 个环境，是 SuperMimic 的两倍。PPO-WM 消融（Figure 5b）在世界模型上跑 PPO，四种批量里 16k × 32 最好。

20. 数据与过滤（附录 E）

训练集是 BONES-SEED 的 G1 重定向公开子集（HuggingFace bones-studio/seed），是 SONIC 数据的公开部分。原始 142,220 条，两道过滤后 129,514 条，合计 264.56 小时。

• 名称过滤：片段按动作命名，去掉名字里含有机器人无法使用的地形或物体接触词的片段（stair、ladder、box、chair、sit、climb、jump_off_50cm、look_over_fence 等），关键词表改编自 SONIC 公开的数据处理代码并补了几项。去掉 12,553 条。
• 可行性过滤：对每条动作跑 MuJoCo 前向运动学，取各刚体与脚的轨迹，\(z_{\min}(t)\) 为最低刚体高度，地面 z = 0。三条规则，去掉 153 条：
  • 悬空支撑：\(z_{\min}\) 高于 0.20 m 持续至少 0.6 s（站在箱子上）。
  • 穿地：\(z_{\min}\) 低于 −0.12 m，或低于 −0.08 m 超过片段 80% 时长。
  • 双脚悬空：至少 0.5 s 内双脚都离地 0.02 m 以上（用 mj_geomDistance 精确几何距离），同时骨盆直立、处于站立高度且身体近乎静止。干净站姿的脚距是 −0.004 ± 0.004 m。
  阈值都针对 50 Hz 的 G1 重定向调过。

Figure 4 的受控实验用 LAFAN1 的 40 条片段（2.45 小时）；Figure 5b 用其中走、跑、冲刺；数据量扫描用 1、7、40、264 小时的子集。

21. 评估协议（附录 F）

• 基准 = 过滤后的 129,514 条训练集动作，每条从第一帧播放一次。
• 仿真设定对所有策略一致：脚部摩擦 1.0，无域随机化，无观测噪声，确定性物理。每个策略用自己的执行器增益、动作缩放和观测构造。
• 失败判定 = 触发 SuperMimic 的训练终止条件（第 16 节）。SONIC 自己的判定只看根部和末端高度偏差 > 0.25 m、无姿态项。
• checkpoint 每 4000 次迭代评一次（Figure A.1）。训练的 3 小时只含训练循环，评估时间不计入。
• 失败分布（Table A.8）：SONIC 整组失败的有全部 44 条空翻、全部 22 条侧滚、某支舞蹈的 8 条，另有 24 条大跳里的 15 条。SuperMimic 单卡 3 小时的 25 次失败里 14 次集中在前五个小组（侧滚 2、空翻 1、fire-in-the-hole 转身 3、躺卧起身 8），没有任何一组比 SONIC 差。

22. 下游接口的联合训练（附录 B、G）

• 每个目标接口 i 是一个独立的 POMDP \(\mathcal M_i\)，有自己的目标空间、奖励 \(r_i\)、终止 \(d_i\) 和 critic \(V_{\psi_i}\)；所有接口共享解码器 \(\mathrm{dec}_\theta\) 和同一个 \(f_\omega\)，\(f_\omega\) 不按接口重训。
• Algorithm A.1 里每次更新采样一个接口 i ~ p(I)；附录 G 的速度实验则是 4096 个环境和每个想象批各一半给速度接口，两种接口混在同一批里。
• 下游接口的回报梯度穿过共享解码器到达该接口的编码器，解码器权重上停梯度；解码器只由动作跟踪目标训练。这也是作者列的第一条局限。
• RL 速度编码器：奖励见下表，终止只看摔倒：\(h_{\mathrm{root}}<0.35\,\mathrm m\) 或 \(1+u_z>0.7\)（\(u_z\) 是根部系重力方向 z 分量，直立 0，倒立 2，约 73° 触发）。另加一个权重 0.1 的 MSE 潜变量对齐损失：在有参考指令的 rollout 上把速度潜变量拉向同一时刻动作编码器的潜变量，后者停梯度。
• 蒸馏基线：同样的速度编码器，但用动作跟踪奖励和附录 A 的终止，指令从参考动作读出（参考根速度在航向系下的居中 25 帧均值）。
• 指令采样（RL 编码器）：每次重置和每 250 步（5 s）重采指令来源，0.5 概率逐步读参考指令，否则从 \(v_x\in\) [−1.5, 2]、\(v_y\in\) [−1.32, 1.32] m/s、\(\omega_z\) ∈ [−3.35, 3.35] rad/s 均匀抽一个常值指令，并以 0.1 概率置零（站立）。训练 100,000 次迭代，数据是 LAFAN1 和 BONES-SEED 过滤出的走跑库。

阶跃测试：从站立接收固定指令 5 s，每个指令 4 次试验，稳态误差取最后 2 s 平均速度误差的范数除以指令范数，取未摔倒试验的中位数。三个平面各 15 × 15 网格，去掉站立指令共 672 个。RL 编码器中位相对误差 0.16，蒸馏 0.49。

23. 论文没说清的地方与复现提示

下面是按你"让 agent 照规格复现效果不好"的问题，我认为最可能出偏差的点，按重要性排序。

1. 状态 s 的定义（第 15 节）。它同时决定了 \(f_\omega\) 的输出维度、奖励能否解析计算和观测头的构造。建议直接用"关节 q、\(\dot q\) + 根部位姿与线/角速度 + 所有被跟踪刚体的世界系位姿与线/角速度"，并把姿态用能连续回归的表示（旋转矩阵前两列或四元数再归一化）。
2. 奖励、观测、终止头是学的还是解析的。Table A.4 只有一个网络，公式 1 却写了四项损失。两种一致的读法：(a) 三个头都是网络，只是表里没列；(b) 三个头都解析，公式只是通用写法。如果 s 包含完整刚体运动学，奖励和观测都能解析算（奖励还要参考帧 \(g_t\)），唯一必须软化的是终止：硬阈值 0/1 对 \(\hat s\) 不可微，要换成 \(\sigma\big((|e_{p,z}|-0.25)/\tau\big)\) 一类的形式，τ 需要自己调。
3. 策略的输入是去噪观测加噪声，而不是状态。想象里每步必须先过 \(g_\omega\) 再加 η，策略永远看不到 \(\hat s\)。这决定了部署时策略只依赖本体感知。
4. critic 终端值对 θ 的梯度。公式 2 里 \(V_\psi(\hat s_H)\) 是否对 \(\hat s_H\) 回传梯度到策略，论文没说。SHAC 是回传的（critic 冻结但可导）。两种都试过的话差别可能很大，因为这是 32 步之外信息进入策略的唯一通道。
5. 梯度裁剪的两道门槛（全局 1.0 再逐元素 0.1）和世界模型拟合用的 10 个 minibatch。BPTT 穿 32 步 2048 宽 MLP 很容易梯度爆炸，这两处是论文给出的直接防护。
6. 自回归 8 步拟合是在模型自己的预测上继续滚，不是 teacher forcing。这是模型能稳定滚 32 步的前提。
7. reset 采样和缓冲区中的 ξ 绑定。想象起点必须带着该回合的 ξ，否则 \(f_\omega\) 的输入分布和训练时不一致。
8. 动作噪声只进仿真，不进想象。把 ε 也加进想象会让策略梯度方差上升，和论文设计不符。
9. MuJoCo Warp 的 50 Hz 控制步 = 四个 5 ms 子步；奖励每项乘 Δt = 0.02。换仿真器时要保持这个时间尺度，否则奖励权重与折扣 0.99 的有效视野都会变。
10. 学习率调度是 250k 次迭代余弦到 0.03 倍，但 Figure 3 的 3 小时远不到 250k 次迭代；也就是说超过 SONIC 时学习率几乎还在初值附近。短预算复现不必纠结调度。

术语表

动作跟踪

给策略一段参考动作，奖励它复现这段动作的训练范式。是当前人形全身控制的主流。

无模型 / 基于模型

无模型 RL（如 PPO）只从采样的回报估计梯度；基于模型 RL 先学一个环境模型，再在模型里规划或优化策略。

世界模型

这里指一个预测"下一状态、奖励、观测、终止"的神经网络，充当仿真器的替身。

可微

能对输入求导。可微的世界模型让"回报对动作的导数"可以逐步往回传。

BPTT

通过时间反向传播。把一段多步滚动展开成一条计算图，从末尾一路对参数求导。

想象 / 想象视野 H

在世界模型里而不是仿真器里滚动叫"想象"；H 是每次滚动的步数，论文默认 32。

critic / 自举

critic 是价值网络 \(V_\psi\)，估计从某状态起的未来回报；用它代替 H 步之外的真实回报叫自举（bootstrap）。

回放缓冲区

存历史转移的固定大小队列。SuperMimic 用它既拟合模型，又作为想象的起点（Dyna 风格）。

sim context ξ

每个回合的域随机化参数（摩擦、标定偏移、质心），作为世界模型输入，使模型可以是确定性的。

归一化回报

整回合每步奖励之和除以其最大可能值。提前终止的策略得分低。

GPU 小时

GPU 数量 × 训练小时数，衡量总算力开销。

SONIC

基线。基于 BeyondMimic 奖励的大规模 PPO 跟踪器，128 卡训练 7 天，是最接近的已发表对比对象。

0. 贯穿例子：G1 跟踪一段跑步

任务取论文 Figure 4(a) 的受控实验。Unitree G1 人形机器人有 29 个关节，要跟踪 LAFAN1 数据集里的 40 条走、跑片段，控制频率 50 Hz。PPO 和 SuperMimic 用完全相同的观测、目标、动作、奖励、终止条件和网络大小，唯一的区别是怎样算出"策略参数该往哪里改"。结果是 SuperMimic 单卡 1.2 小时达到归一化回报 0.82；PPO 单卡 18 小时只到 0.60，八卡 18 小时也只到 0.72。

1. 两种方法要回答的是同一个问题

1.1 要优化的目标

用梯度上升优化 \(J\)，需要知道梯度 \(\nabla_\theta J\)，也就是每个参数往哪个方向动一点，\(J\) 会变大。难点在于 \(J\) 是隔着物理依赖 \(\theta\) 的：参数决定动作，动作经过物理决定下一个状态，状态又决定奖励和下一个动作。下图画出了这条链，以及两种方法在链上的根本区别。

1.2 统一视角：问题归结为"动作梯度"

先看确定性策略的情形。Silver 等（2014）的确定性策略梯度定理把梯度写成：

(G2) 把梯度拆成两半。后一半 \(\partial\pi_\theta/\partial\theta\) 只涉及神经网络，是容易的。前一半 \(\nabla_aQ\) 回答"在这个状态下，动作该往哪边改"，它牵涉物理，是难的。回到例子，第 137 步的 \(\nabla_aQ\) 应该在右膝那一维为正。各种强化学习方法的根本区别，就在于怎样得到 \(\nabla_aQ\)：

本页其余部分就是把第一行和第三行讲透。

2. PPO 原理（一）：策略梯度定理

直觉。不知道物理，就让策略自己"掷骰子"。策略不输出一个确定的动作，而是输出一个概率分布，按分布采样执行。哪次碰巧回报高，就提高那次所选动作的概率；回报低，就降低。整个过程只需要知道"某个动作的概率对参数的导数"，这完全在我们自己的网络里，和物理无关。

随机策略。连续动作下，PPO 用高斯分布：

一条轨迹出现的概率。把一个回合记成轨迹 \(\tau=(s_0,a_0,s_1,a_1,\dots)\)。它出现的概率是一连串因子的乘积：

对数导数技巧。记整条轨迹的回报为 \(R(\tau)=\sum_t\gamma^tr_{t+1}\)，于是 \(J(\theta)=\mathbb E_{\tau\sim p_\theta}[R(\tau)]\)。利用恒等式 \(\nabla p=p\,\nabla\log p\)：

把 (P2) 取对数，乘积变成求和。只有策略那一项含 \(\theta\)，起始分布和物理那两项求导后都是零：

这一步是无模型强化学习的精髓：物理 \(P\) 在求导中消失了。我们从来不需要知道"动作改一点，下一个状态怎么变"。代价是，关于物理的全部信息只能从"哪些动作碰巧带来了高回报"中统计出来。

代回 (P3)，就得到策略梯度定理，也叫 REINFORCE（Williams 1992）：

读法：每一步都往"让刚才那个动作更可能"的方向推，推多少由整条轨迹有多好决定。

(P5) 在代码里长什么样

下面是 (P5) 最核心的 PyTorch 写法，省略了批处理细节和优势估计。真实的 PPO 代码在此基础上把回报 \(R\) 换成优势 \(\hat A\)（第 3 节），再加上概率比和裁剪（第 5 节）。

# ---- 采样：只要动作和奖励的数值，不需要梯度 ----
with torch.no_grad():
    mu = policy(obs)   # μ_θ(s)
    a  = mu + sigma * torch.randn_like(mu)   # a = μ + σε，即 (P1)
obs_next, r, done = env.step(a)   # 仿真器只返回数值，没有计算图
buffer.add(obs, a, r)

# ---- 更新：对一整批数据 ----
obs_b, a_b, R_b = buffer.get()   # R_b：每一步对应的回报，只是数
mu   = policy(obs_b)   # 重新前向，这次建立计算图
dist = torch.distributions.Normal(mu, sigma)
logp = dist.log_prob(a_b).sum(-1)   # log π_θ(a_t | s_t)，29 维相加
loss = -(logp * R_b).mean()   # (P5) 取负号：最大化变成最小化
loss.backward()   # 梯度只经过 logp，等于 R · ∇θ log π
optimizer.step()

• 采样时不建计算图。采样包在 no_grad 里，动作 a 和环境返回的 r 都只是普通的数，和 \(\theta\) 之间没有任何可求导的连接。这就是"环境那一项为零"在代码里的样子：从回报出发做反向传播，根本找不到回到 \(\theta\) 的路。
• logp 是一个随 \(\theta\) 变化的数。dist.log_prob(a_b) 算的是"按当前网络，选到这个已经执行过的动作的对数概率"。动作 a_b 是固定的数据，均值 mu 由网络算出，所以这个值随 \(\theta\) 变化，可以求导。
• 乘以回报再反向传播，得到的就是 (P5)。R_b 是常数，backward 只对 logp 求导，结果正好是 \(R\cdot\nabla_\theta\log\pi_\theta\)。取负号是因为优化器做的是最小化。

对高斯策略，log_prob 有显式公式，可以看清"提高 log π"具体在做什么：

读法：执行过的动作离均值越近，\(\log\pi\) 越大。所以在固定 \(\sigma\) 时，最大化 \(R\cdot\log\pi\) 就是把均值 \(\mu\) 往实际执行过的动作 \(a\) 那边挪，挪多少由回报 \(R\) 决定。这相当于一次加权回归：标签是执行过的动作，权重是回报。对 \(\mu\) 求导得到 \((a_i-\mu_i)/\sigma^2\)，正是第 4 节 (P9) 里的那一项。

3. PPO 原理（二）：降方差

方差大是什么意思。(P5) 是一个期望，实际只能拿有限条轨迹的平均去估计。换一批轨迹，估出来的梯度差别很大，就叫方差大。方差越大，需要的样本越多，训练越慢。

贯穿这一节的数字。一个回合 300 步，每步奖励约 0.8，所以整条轨迹的回报 \(R(\tau)\) 约 240。我们关心第 137 步的右膝动作。按 (★) 拆开，① 约 110，② 约 130，③ 只有约 0.3，④ 约 ±1。下图画出每一步之后权重还用到了哪些东西。

第一步：因果性，去掉 ① 之前的奖励

删的是哪一段。把整条轨迹的回报 \(R(\tau)\) 在第 \(t\) 步处切成两段：

为什么要删。拿第 137 步的右膝动作来说。前 137 步的奖励在它之前就已经拿到了，右膝这一次怎么动都改变不了它们。可是按 (P5)，它们照样乘在右膝动作的 score 上：前面碰巧跟踪得好，这次右膝动作就被多推一把；碰巧跟踪得差，就被少推一把。这一推一拉和右膝动作的好坏毫无关系，纯粹是噪声。

为什么删了不影响结果。对第 137 步来说，前面的奖励已经是一个定数，记作 \(c\)，例子里约 110。右膝动作是从高斯分布里随机抽出来的，有时比均值大，有时比均值小。\(c\) 乘上 score 这一项的效果是：

• 抽得比均值大时，把均值往大的方向推，力度正比于 \(c\)。
• 抽得比均值小时，把均值往小的方向推，力度同样正比于 \(c\)。

两种情况出现的机会一样多，平均下来正好抵消，所以这一项对梯度的平均贡献是零。第二步的 (P6) 会给出一般的证明。但在有限的一批样本里，大和小不会恰好一样多，抵消不干净，剩下的就是噪声，而且 \(c\) 越大噪声越大。所以把它删掉：平均的梯度不变，噪声变小。

删完得到什么。每一步的权重只剩"从这一步起的回报"：

例子。第 137 步的权重从约 240 降到约 130，与右膝无关的约 110 被去掉了。

第二步：基线，去掉 ② 平时水平

问题。\(G_t\) 仍然很大，而且永远是正的。假设环境 A 的 \(G_{137}=131\)，环境 B 的是 129。两次的右膝动作都会被往"更可能"的方向推，只是 A 推得稍多。真正有用的信息只在 131 和 129 的差里，推的幅度却是 130 的量级。score 的方向是随机的，这么大的权重乘上随机的方向，在有限样本里很难互相抵消。

做法。从 \(G_t\) 里减去一个只依赖状态、不依赖动作的量 \(b(s_t)\)，叫基线。

为什么期望不变。多减掉的那部分是 \(\nabla_\theta\log\pi_\theta(a_t\mid s_t)\cdot b(s_t)\)。\(b(s_t)\) 不依赖动作，可以提到"对动作求平均"的外面，剩下的就是 score 对动作的平均。它恒为零：

直观地说，所有动作的概率加起来永远是 1。提高一些动作的概率，就必须降低另一些。所以"让某个动作更可能"的方向，按策略自己的分布平均下来，正好互相抵消。第一步删掉"之前的奖励"，用的也是这个道理。于是：

选什么做基线。最自然的选择是"在这个状态下，按当前策略平均能拿到的回报"，也就是状态价值 \(V(s_t)\)。这时权重 \(G_t-V(s_t)\) 的含义变成"这次比平时好多少"。在给定 \(s_t\) 和 \(a_t\) 的条件下，\(G_t\) 的平均就是 \(Q(s_t,a_t)\)，所以 \(G_t-V(s_t)\) 是下面这个优势函数的单样本估计：

例子。设 \(V(s_{137})=130\)。环境 A 的权重从 131 变成 +1，环境 B 从 129 变成 −1。A 的右膝动作被往"更可能"推，B 的被往"更不可能"推，两者一致地告诉策略"右膝该加大"。权重的量级从 130 降到了 1。

\(V\) 接近最优基线：\(G_t\) 的平均就是 \(V\)，减去平均能让权重的平方平均最小。严格的最优基线还要按 score 的大小加权，实际差别不大。

第三步：critic 与 GAE，压小 ④ 之后的运气

问题一：\(V\) 不知道。于是训练一个网络 \(V_\phi\) 去近似它，方法是普通的回归：

问题二：\(G_t-V(s_t)\) 还是很吵。\(G_{137}\) 包含之后 163 步的奖励，这 163 步里策略每一步都在加随机噪声，环境 A 和 B 之后的经历完全不同。第 137 步右膝那一点影响，被埋在 163 步的随机性里。办法是：只用接下来几步的真实奖励，更远的部分换成 critic 的估计。

为什么要引入 TD 误差。我们真正要的是优势 \(A(s_t,a_t)\)，用它给每个动作打分。第二步的 \(G_t-V(s_t)\) 能估计 \(A\)，但它把之后一百多步的运气都带了进来，太吵。TD 误差是估计 \(A\) 的另一种办法：只用一步真实奖励，其余部分交给 critic，所以噪声小得多，而它的平均正好等于优势，推导见下面的框。后面的 \(n\) 步估计和 GAE，都是用 TD 误差拼出来的。

只看一步：TD 误差。用一步真实奖励，加上 critic 对下一个状态的估值，再减去对当前状态的估值：

例子。右膝动作让膝盖更接近参考，所以 \(r_{138}\) 略高；critic 看到新状态里膝盖位置更好，\(V_\phi(s_{138})\) 也略高。于是 \(\delta_{137}\) 为正，而且完全不受之后 163 步随机动作的影响。

看 n 步。也可以用 \(n\) 步真实奖励再接 critic。展开以后，中间的 \(V\) 两两抵消，正好等于 \(n\) 个 TD 误差之和：

\(n\) 越小，用到的随机奖励越少，方差越小，但越依赖 critic，偏差越大；\(n\) 越大则反过来。\(n\) 一直取到回合结束，就退回第二步的 \(G_t-V(s_t)\)。

GAE：把所有的 n 一起用上。与其挑一个 \(n\)，不如把 \(n=1,2,3,\dots\) 的估计按 \((1-\lambda)\lambda^{n-1}\) 加权平均。整理之后形式很简洁，这就是 GAE（广义优势估计，Schulman 等 2016）：

读法。从第 \(t\) 步往后，每一步的 TD 误差都算进来，但每远一步，权重就乘一次 \(\gamma\lambda\)。\(\gamma=0.99\)、\(\lambda=0.95\) 时 \(\gamma\lambda\approx0.94\)，权重衰减到一半大约要 11 步，有效长度约 \(1/(1-\gamma\lambda)\approx17\) 步，也就是约 0.34 秒。所以 GAE 主要看接下来十几步的真实奖励，更远的部分交给 critic。

代码里怎么算。GAE 可以从回合末尾往回一步步递推，一次扫描就算完：

# r[t] 是第 t 步动作之后拿到的奖励，即 r_{t+1}
# V 比 r 多一项：V[T] 是最后一个状态的估值
adv = 0
for t in reversed(range(T)):                          # 从最后一步往回
    not_done = 1 - done[t]                            # 1 − d_{t+1}
    delta = r[t] + gamma * V[t+1] * not_done - V[t]   # (P7b)
    adv   = delta + gamma * lam * not_done * adv      # (P8a)
    A[t]  = adv
R_target = A + V[:T]                                  # critic 的回归目标，见 (P13)

注意 critic 在 PPO 里的角色：它只用来降方差，一是当基线，二是替代远处的回报。策略梯度从不对 \(V_\phi\) 求导。到第 15 节会看到，SuperMimic 里的 critic 角色完全不同。

三步合起来

量级是示意。④ 来自之后各步的独立随机性，大致按步数的平方根缩小：\(\sqrt{17/163}\approx0.3\)，所以从 ±1 降到约 ±0.3。

前两步完全不改变期望，只去掉无关项。第三步引入了一点偏差，换来大幅度的降方差。

但它仍然只是一个数。三步做完以后，\(\hat A_{137}\) 依然是一个标量，里面还混着第 137 步其余 28 维动作噪声的影响，以及之后十几步的随机性。下一节会看到，这一个标量怎样决定梯度的方向。

4. PPO 原理（三）：高斯策略下，梯度就是"随机扰动加统计相关"

把 (P1) 代进 score。把一次采样写成 \(a=\mu_\theta(s)+\sigma\varepsilon\)，其中 \(\varepsilon\) 是标准高斯噪声：

于是 (P7) 里每个样本贡献的梯度是：

把 (P10) 和 (G2) 对照：PPO 用 \(\hat A_t\,\varepsilon_t/\sigma\) 充当 \(\nabla_aQ\)。具体说，它在 29 维动作空间里随机选一个方向 \(\varepsilon_t\) 扰动一下，看结果比平均好还是坏，好就往这个方向推，坏就往反方向推。这是单样本的随机有限差分，和进化策略是同一个思想，只不过发生在动作空间里。

由此有三个直接后果：

• 一个样本只有一个标量的信息。\(\hat A_t\) 是一个数，只能告诉你"沿 \(\varepsilon_t\) 这个随机方向扰动的整体效果"。要把 29 个维度分开，需要很多次彼此独立的扰动。
• \(\sigma\) 一身两职。它既是探索幅度，又出现在分母上。\(\sigma\) 太小，\(\hat A_t\) 里的噪声被 \(1/\sigma\) 放大；\(\sigma\) 太大，实际执行的动作偏离均值太多，跟踪本身变差，被估计的也是一个模糊得厉害的 \(Q\)。熵奖励的作用就是防止 \(\sigma\) 过早缩到零。
• 它对物理一无所知也能工作。无论接触多么不光滑、奖励多么稀疏，只要能采样，这个估计就是无偏的。这是 PPO 稳健的根源。

5. PPO 原理（四）：一批数据多用几次，又不让策略跑飞

(P7) 只在采样所用的那组参数 \(\theta_{\text{old}}\) 处成立。走一步梯度之后，手里的数据就"来自另一个策略"了。最朴素的做法是采一批、走一步、扔掉，非常浪费。步子迈大了还可能让策略崩掉，而崩掉的策略采到的数据又很差，难以恢复。

重要性采样。用新旧策略的概率比给旧数据重新加权，得到一个代理目标：

这个代理目标只在新策略离旧策略不远时才靠得住，因为它忽略了"策略变了以后会访问到不同的状态"。TRPO 用 KL 散度约束新旧策略的距离；PPO 换成了更简单的裁剪：

读图：优势为正时，提高这个动作的概率有好处，但概率比超过 \(1+\epsilon_{\text{clip}}\) 之后目标变平，不再奖励继续推高。优势为负时同理，降到 \(1-\epsilon_{\text{clip}}\) 就停。如果某次更新把概率比推向了错误的一边，取最小值会保留未裁剪的那一项，梯度仍在，能把它拉回来。

有了这层保护，同一批数据可以做几轮小批量梯度下降，然后丢弃，重新采样。PPO 实际最小化的总损失是：

6. PPO 在本任务里：一轮迭代发生了什么

1. 采样。几千个并行仿真环境同时跑一小段。每一步策略输出均值 \(\mu_\theta\)，加上 \(\sigma\varepsilon\) 后交给 MuJoCo 执行，记下观测、动作、动作的对数概率、奖励和是否终止。
2. 估计优势。用 critic 给每一步估值，按 (P8) 算出 \(\hat A_t\)。
3. 更新。在这批数据上按 (P13) 做几轮小批量梯度下降，同时更新策略和 critic。
4. 丢弃。整批数据扔掉，回到第 1 步。

例子。第 137 步那样的状态在一批里会出现很多次。某个环境碰巧把右膝多给了 0.03，之后回报略高于 critic 的预期，\(\hat A>0\)，于是右膝均值被往上推一点。另一个环境碰巧少给了 0.03，回报略低，\(\hat A<0\)，同样把均值往上推。但这两个 \(\hat A\) 里还混着其余 28 维的噪声和之后几十步的随机性，它们的影响往往比 3 毫米的膝盖差异更大。只有把成千上万个这样的样本平均起来，"右膝该加大"这个信号才会从噪声里浮出来。

7. PPO 为什么慢

下面六条原因可以分成四类：前三条说的是"每个样本提供的信息少、噪声大"，第四条是"数据用得浪费"，第五条是"造数据贵"，第六条是"堆算力也救不回来"。每一条都用右膝的例子来说明。

7.1 每个样本只有一个标量

一个样本里到底有什么。按 (P10)，第 \(t\) 步的样本给出的"该往哪边改"是 \(\hat A_t\,\varepsilon_t/\sigma\)。其中 \(\hat A_t\) 只是一个数，回答"这次比平时好还是差"；方向 \(\varepsilon_t\) 则完全由噪声随机决定，和问题本身无关。换句话说，一个样本只告诉你：沿着某个随机方向扰动一下，结果变好了多少。

打个比方。面前有 29 个旋钮，你同时把它们各随手拧一下，分数涨了 0.3。是哪个旋钮的功劳？单看这一次根本分不清。只有试很多次，统计"右膝那个旋钮往上拧的时候，分数是不是更常上涨"，才能把 29 个旋钮的作用分开。

量化一下。先假设一个最理想的情况：回报对动作是线性的，而且 \(\hat A\) 除了这次扰动以外没有任何别的噪声。即便如此，单个样本的误差也很大：

也就是说，一个样本的误差大约是信号本身的 \(\sqrt{30}\approx5.5\) 倍。平均 \(N\) 个样本，相对误差的平方降到 \((d+1)/N\)；要把相对误差压到 10%，即使回报毫无噪声，也要约 3000 个样本。真实情况下回报不是线性的，\(\hat A\) 还带着运气，需要的样本只会更多。下面的小例子里回报是二次函数，所需样本就从约 3000 增加到约 4,600。SuperMimic 一次反向传播直接得到完整的 \(u\)，没有这一项代价。

7.2 方差随动作维度和时间跨度增长

维度。(P14) 已经说明，单样本误差随动作维度 \(d\) 增长。还有一层：第 137 步右膝那一维的信号里，混着同一步其余 28 维噪声的影响。右髋、脚踝也在随机抖动，它们对之后奖励的影响全部算进同一个 \(\hat A_{137}\)，对右膝来说都是噪声。维度越高，混进来的"别人的噪声"越多。

时间。\(G_t\) 或 \(\hat A_t\) 是之后很多步奖励的和，而之后每一步策略都在加新的噪声，环境也有自己的随机性。假设每一步带来一份独立的随机波动，它们累积起来的方差是：

\(\gamma=0.99\) 时，\(1/(1-\gamma^2)\approx50\)，相当于把约 50 步的随机性叠在了一起。不打折扣时更糟，方差和步数成正比：第 3 节例子里 163 步的运气约 ±1，只用 17 步时约 ±0.3，就是这个道理。GAE 用 critic 截短了时间跨度，代价是引入 critic 的偏差。

为什么动作跟踪特别吃亏。一条动作片段有几百步，机器人有 29 个关节，动作库里还有成千上万条不同的动作。每条动作、每个时刻都需要自己的那一份统计平均。时间长、维度高、种类多，三者叠加在一起。

7.3 必须加噪声，而噪声伤害跟踪精度

为什么非加不可。按 (P9)，梯度的方向就是 \(\varepsilon/\sigma\)。没有噪声，所有环境执行同一个动作，没有差别可比；\(\sigma\) 太小，分母上的 \(\sigma\) 又会把 \(\hat A\) 里的噪声成倍放大，梯度的方差大约和 \(1/\sigma^2\) 成正比。所以 \(\sigma\) 不能太小。

噪声带来三个代价。

• 执行出来的动作比策略本身差。训练时每一步都在随机偏离均值。空翻、单脚落地这类精度要求高的动作，更容易因此摔倒、提前终止。难动作上的有效样本因此更少，而这些动作恰恰最需要样本。
• 优化的是一个被模糊过的目标。按 (P10) 的 Stein 引理，PPO 实际优化的是 \(\mathbb E_\varepsilon[Q(s,\mu+\sigma\varepsilon)]\)，即被宽度为 \(\sigma\) 的高斯模糊过的 \(Q\)。如果好动作落在一个很窄的峰上，比如落地瞬间的姿态，模糊以后峰被抹平，最优点还可能偏移，策略就倾向于学保守的动作。
• 训练和部署不一致，还可能被钻空子。部署时用的是均值 \(\mu\)，不加噪声；训练时却一直在噪声下被打分。论文附录 A 提到，BeyondMimic 必须加自碰撞惩罚，因为随机策略会学会把两个身体部位压在一起来抑制自己的动作噪声，从而骗到更高的速度跟踪奖励。

两难。想要精度就得减小 \(\sigma\)，可梯度噪声随之增大；想要梯度稳就得保持 \(\sigma\)，精度又上不去。SuperMimic 的策略在想象中是确定性的，梯度不靠噪声，所以没有这个两难。它采数据时加的小噪声只是为了让世界模型见过更多动作，而且是可选的；论文也因此去掉了自碰撞惩罚。

7.4 数据只用一次

为什么必须丢。(P7) 的期望是对"当前策略跑出来的轨迹"求的。更新一次以后，手里的数据就来自旧策略了。重要性采样 (P11) 能修正一点，但只在新旧策略接近时有效。所以 PPO 只能在同一批数据上做几轮更新，用裁剪限制走多远，然后把整批数据丢掉，重新采样。这类算法叫同策略（on-policy）。

为什么说浪费。一条转移"在状态 \(s\) 做动作 \(a\)，到了 \(s'\)"描述的是物理。不管是哪个策略采到的，它永远成立。PPO 没有利用这一点，因为它从不学物理，它学的是"在当前策略下哪些动作比平时好"。优势是相对于当前策略的平均水平算的，策略一变，旧的优势就过期了。

量级。PPO 每轮采几十万条转移，用几轮就扔；论文里 PPO 跑 18 小时，粗略算下来要采上百亿条，每条只被短暂使用。SuperMimic 的回放缓冲区每个环境保留 1000 步，4096 个环境就是约 400 万条，每条在很多轮迭代里反复用来拟合世界模型。物理不随策略改变，所以这些旧数据一直有效。

也有能复用数据的无模型算法，比如 SAC 这类异策略方法。但在几千个环境并行、动作维度高的场景下，它们的稳定性和扩展性通常不如 PPO，所以动作跟踪领域的主流仍是 PPO。

7.5 每个样本都要真实仿真

一步仿真要做什么。MuJoCo Warp 的一个控制步包含 4 个 5 毫秒的子步。每个子步都要检测哪些部位和地面或彼此接触，求解接触力的约束方程，再对 29 个关节加上浮动基座做积分。接触求解需要迭代，是最贵的部分。相比之下，世界模型走一步只是一次神经网络前向，在 GPU 上就是几次矩阵乘法。

差多少。论文 Figure 5(a)：在实际使用的批量下，世界模型比 MuJoCo Warp 快 10 倍以上。并行环境到 6.4 万个时快 62 倍，因为仿真器的吞吐量已经饱和，再加环境也快不起来。

为什么说是次要原因。Figure 5(b) 做了一个关键对照：把 PPO 搬进世界模型里跑，叫 PPO-WM，这样 PPO 也享受到了同样快的"仿真"。结果 PPO 仍然需要约 64 倍的想象步数才能追上 SuperMimic。也就是说，即使造数据完全免费，PPO 的梯度估计方式本身就要多花几十倍的样本。造数据贵，是在这个基础上又乘了一个倍数。

合起来看。SuperMimic 的速度优势大致是"每个样本信息多"和"每个样本便宜"两个倍数相乘，再加上 7.4 节的数据复用。这也解释了 SONIC 为什么需要 128 张 GPU：PPO 对样本的需求量大，而每个样本都要花真实的仿真算力。

7.6 加 GPU 的收益递减

多 GPU 买到的是什么。数据并行时，每张卡跑自己的一批环境，梯度在卡之间平均。卡数翻倍，每轮的样本数也翻倍，梯度噪声的标准差按平方根下降：

8 张卡相比 1 张，噪声只降到约 \(1/\sqrt8\approx0.35\)，而不是 1/8。

买不到的是什么。每轮迭代花的时间基本不变，因为每张卡的工作量没变；而每轮能走多远，被裁剪限制住了，概率比超出 \(1\pm\epsilon_{\text{clip}}\) 就不再推。所以梯度一旦"准到够用"，再多的样本也不能让策略每轮走得更远，训练速度就卡在"每小时能做多少轮迭代"上。这就像下山时每一步的步长有上限：指南针越准越好，但指南针够准以后，下山的速度只取决于步长和步数。

论文里的证据。Figure 4(a)：18 小时后，PPO 单卡 0.60，4 卡 0.70，8 卡 0.72，从 4 卡到 8 卡几乎没有提升。另外，多卡还有通信开销，批量变大以后学习率等超参也要重新调。

对照 SuperMimic。它每个样本的梯度已经很干净，瓶颈不在噪声，而在模型和策略每轮能学到多少。论文用两张卡、把学习率乘以 \(\sqrt2\)，失败动作数下降得更快，9.8 小时降到零（附录 Figure A.1）。

8. 什么是"模型"，为什么要学它

强化学习里说的"模型"，指环境的动力学：给定当前状态和动作，预测下一个状态，通常还预测奖励和是否终止。确定性的写法是：

学模型有三个好处：

• 数据效率。每一条真实转移都用来训练模型，而模型可以产生任意多的"想象"转移。
• 数据可以反复用。物理规律不随策略改变，所以以前任何策略采到的数据都对训练模型有效。这叫异策略（off-policy）数据，正好和 PPO 相反。
• 模型可以求导。神经网络天然可微，于是有了第 1.2 节表格第三行的路线。

9. MBRL 的四种用法

学到模型以后怎么用，形成了几条主要路线。它们的区别在于模型提供的是数据、计划还是梯度：

SuperMimic 是 A 和 D 的结合。想象的起点来自回放缓冲区里的真实状态，这是 Dyna 的做法；策略更新用穿过模型的反向传播，这是 D 的做法；再加一个 critic 处理想象窗口之外的回报。论文的 Table 1 和相关工作一节也是这样定位的。

10. MBRL 的四个难题，以及 SuperMimic 的对策

难题一：误差会累积。模型每一步都有一点误差，而下一步的输入是上一步的预测，误差会被动力学放大。粗略地看：

\(L>1\) 时误差随 \(H\) 指数增长，所以长时间的想象不可信。

难题二：策略会利用模型的错误。策略优化的是模型里的回报。如果模型在某些动作上错误地乐观，优化器会专门往那里钻：想象里表现很好，真实里一塌糊涂。这叫模型利用（model exploitation）。

难题三：分布偏移。模型是在旧策略访问过的状态上训练的。策略一变，就会去到模型没见过的地方。

难题四：目标不一致。模型按预测误差训练，但对控制真正重要的是：沿着策略实际走的轨迹准不准；如果走 D 路线，还要求它的导数准。一个模型完全可能预测值不错，斜率却是错的。

为什么这个任务特别适合 MBRL。论文的论点可以概括为四条。第一，所有动作都由同一个机器人执行，物理是共享的，一个模型就能覆盖十几万条动作。第二，跟踪奖励每一步都有，信号稠密。第三，平地上单个铰接刚体的动力学相对好学，而仿真里的随机因素又全部已知。第四，GPU 仿真提供了大量便宜的数据，瓶颈在策略优化而不在数据。反过来，涉及物体交互和复杂地形时，模型更难学，论文也把这列为局限。

11. SuperMimic 原理（一）：换一条路，路径导数

直觉。如果手里有一个可微的物理函数，策略又是确定性的，那么从参数到回报就是一个普通的复合函数，直接对它求导就行，用不着掷骰子。

想象一段轨迹。从回放缓冲区取一个真实状态当起点，在模型里滚 \(H\) 步：

一旦起点 \(s_0\)、上下文 \(\xi\) 和噪声 \(\eta_{0:H-1}\) 抽定，\(\hat J\) 就是 \(\theta\) 的一个确定函数，反向传播即可得到 \(\nabla_\theta\hat J\)。再对很多个起点和噪声取平均，这就是路径导数，也叫重参数化梯度。它和变分自编码器里的重参数化技巧是同一回事：把随机性挪到输入里，让从参数到目标的路径变成确定的。

和 PPO 对照：PPO 的随机性在动作上，梯度靠随机性"相关"出来；SuperMimic 的策略是确定的，每个样本都直接给出完整的梯度向量，剩下的随机性只来自抽到了哪些起点，方差小得多。

12. SuperMimic 完整走一遍：前向、训练顺序与反向传播

这一节把 SuperMimic 从头到尾拆开。先看"前向一次"到底算了什么，每个变量从哪来；再按论文 Algorithm A.1 的顺序，看每一轮训练先训练什么、再训练什么；最后对每一个训练步骤，讲清楚反向传播的梯度更新了谁、经过了哪些路径、哪里被冻结、哪里被截断。

12.0 读懂这一节需要的基础知识

12.1 先认识所有变量和角色

需要学习的网络只有四个：策略（编码器加解码器，参数 \(\theta\)）、动力学网络和终止头（合起来是世界模型，参数 \(\omega\)）、critic（参数 \(\psi\)）。观测头、奖励头和正运动学都是固定公式，没有参数，但可以求导。

12.2 前向一次：在世界模型里走一步

def 想象一步(现在的身体, 身体感觉, 要模仿的舞蹈):
    动作       = 演员(身体感觉, 要模仿的舞蹈)   # 演员决定每个关节怎么动
    下一刻身体 = 预言家(现在的身体, 动作)   # 预言家猜下一刻身体在哪
    分数       = 打分计算器(下一刻身体, 要模仿的舞蹈) # 像不像，得几分
    摔倒可能   = 摔倒预警器(下一刻身体)   # 会不会摔
    新的感觉   = 感觉计算器(下一刻身体) + 一点点噪声   # 模拟真实传感器不准
    return 下一刻身体, 分数, 摔倒可能, 新的感觉

"前向一次"指想象中的一步：从第 \(t\) 步的状态出发，算出第 \(t+1\) 步的状态、奖励、终止概率和新的观测。把这一步重复 \(H=32\) 次，就是一条想象轨迹。下图是一步的完整数据流。

下面按图中的顺序，把这一步拆成六个小步。

第 1 小步：拼出策略的输入。策略看两样东西：最近 10 帧的观测 \(o_{t-9},\dots,o_t\)，共 930 维；以及目标 \(g_t\)，即未来 10 帧参考动作，共 640 维。在想象的第 0 步，观测历史由缓冲区里记录的前 10 帧真实状态算出；之后每一步都用模型预测的状态算出。

第 2 小步：策略前向，得到动作。编码器把目标压成 32 维的 \(z_t\)，解码器把 \(z_t\) 和观测历史拼在一起，输出 29 维动作 \(a_t\)。想象中不给动作加噪声，策略是确定性的。

第 3 小步：动力学网络前向，得到下一个状态。先把 \(\hat s_t\) 转成网络输入特征：去掉水平位置，把速度和朝向转到航向坐标系，按固定尺度缩放。这样"朝东跑"和"朝北跑"在网络眼里是同一件事，网络不必把同一套物理学两遍。然后：

为什么不让网络直接输出下一个状态，而是输出增量再积分？因为"位置等于旧位置加上速度乘以时间"这部分物理是确定的，用欧拉积分直接算出来就行，网络只需要学"速度怎么变"以及积分之外的小修正。复现里网络最后一层初始化为零，所以训练一开始模型就等于"匀速运动"，比从零学起容易得多。这些都是复现的做法，论文只说动力学网络是 2048×3 的 MLP。

第 4 小步：奖励头。对 \(\hat s_{t+1}\) 做正运动学，得到 14 个被跟踪身体部位的位置、朝向和速度，再和参考动作同一帧比较，按 Table A.2 的公式算出跟踪奖励 \(\hat r_{t+1}\)。动作平滑项要用 \(a_t\) 和 \(a_{t-1}\)，关节限位项要用 \(\hat s_{t+1}\) 里的关节角。整个奖励头是公式，没有参数（复现的做法；论文允许它是网络，也允许是公式）。

第 5 小步：终止头。从 \(\hat s_{t+1}\) 算出两个量：根部高度和参考相差多少、倾斜程度和参考相差多少，也就是论文终止条件里的那两个量。把它们输入一个小网络（复现里是 64×64 的 MLP），输出 logit，经 sigmoid 得到终止概率 \(\hat d_{t+1}\)，再按 (S4) 更新存活权重 \(\hat c_{t+1}=\hat c_t(1-\hat d_{t+1})\)。终止头是学出来的，因为一个光滑的概率比硬阈值更适合求导，见第 16 节。

第 6 小步：观测头，准备下一步。从 \(\hat s_{t+1}\) 按 Table A.1 直接算出 93 维的去噪观测：关节角要加上 \(\xi\) 里的编码器偏差，再减去默认姿态；投影重力由根部朝向算出；最后一段是这一步的动作 \(a_t\)。再加上采样的传感器噪声 \(\eta_{t+1}\)，放进观测历史，挤掉最老的一帧。目标也更新到 \(g_{t+1}\)：参考动作往后移一帧，其中"参考躯干朝向相对机器人躯干的差"要用预测的状态重新算。

把这六小步重复 32 次，就得到一条想象轨迹：\(\hat s_0,\dots,\hat s_{32}\)、\(a_0,\dots,a_{31}\)、\(\hat r_1,\dots,\hat r_{32}\)、\(\hat c_0,\dots,\hat c_{32}\)。最后用 critic 估计 \(V_\psi(\hat s_{32})\)，按 (S1) 算出代理目标 \(\hat J\)。每次策略更新同时想象 4096 条这样的轨迹，起点都是缓冲区里抽出的真实状态。

12.3 训练的顺序：每一轮先训练什么、再训练什么

演员, 预言家, 摔倒预警器, 裁判 = 随机初始化()
日记本 = 空的
先在仿真器里随便跑几十步，写进日记本   # 让日记本里有东西可学

while 还没练完:
    真实练习(演员, 日记本)   # ① 4096 个机器人同时跑 2～3 步
    预言家复习(预言家, 摔倒预警器, 日记本)   # ② 改预言家和预警器
    想象 = 演员在脑子里练(演员, 预言家, 裁判, 日记本)   # ③ 改演员
    裁判学打分(裁判, 想象)   # ④ 改裁判

论文的 Algorithm A.1 是一个循环。开始前，先在仿真器里跑几十步，把缓冲区填到至少能切出 8 步窗口。之后每一轮迭代按固定顺序做四件事：

为什么是这个顺序。先更新模型，策略用的就是最新的物理；策略只更新一次，是为了不让策略跑到模型还没见过的地方去；critic 在策略之后，用的是同一批想象轨迹。论文的"更新数据比 0.4"意思是每采 1 步新数据做 0.4 次更新，换算过来就是每轮平均采 2.5 步。这几个次数都影响性能：模型更新太少时，策略会开始利用模型的错误。

12.4 训练步骤 ①：采数据（没有反向传播）

def 真实练习(演员, 日记本):
    with 不追责任():   # 这一步谁也不改
        动作 = 演员(仿真器给的感觉, 要模仿的舞蹈)
        动作 = 动作 + 一点点随机抖动   # 让预言家见识更多不同的动作
        下一刻 = 仿真器.走一步(动作)
        日记本.记下(现在的身体, 动作, 下一刻, 有没有摔倒, 这回合的地面摩擦等)

当前策略在 MuJoCo Warp 里跑，起点按第 13 节说的"按回报采样"挑选。仿真器实际执行的是 \(a_t+\epsilon_t\)，\(\epsilon_t\sim\mathcal N(0,0.1^2)\)。每一步存进缓冲区的是：

• 状态 \(s_t\)，71 维，用来拟合模型，也用作想象的起点。
• 实际执行的带噪动作 \(a_t+\epsilon_t\)。存带噪的版本，因为仿真器真正响应的是它。
• 上下文 \(\xi\)，这个回合的物理参数。
• 终止标签 \(d_{t+1}\)，0 或 1，用来训练终止头。
• 参考帧的编号，用来查参考动作和计算终止特征。

缓冲区每个环境保留最近 1000 步，新的挤掉最老的。这一步只是前向，不算任何梯度。动作噪声只为了让模型见过策略动作附近的各种动作，这样它学出来的雅可比 \(F^a\) 才准。

12.5 训练步骤 ②：拟合世界模型

def 预言家复习(预言家, 摔倒预警器, 日记本):
    for 第几次 in range(10):   # 每轮复习 10 次
        片段 = 日记本.随机抽(2048 段, 每段 8 步)
        猜的 = 片段.第0步的真实身体
        误差 = 0
        for 第几步 in range(8):
            猜的 = 预言家(猜的, 片段.第几步的动作)   # 注意：用自己上一步猜的接着猜
            误差 += (猜的 − 片段.第几步的真实下一刻) 的平方
            误差 += 摔倒预警器猜得准不准
        误差.backward()   # 追责任：只追到预言家和预警器的旋钮
        优化器.step()   # 它们的旋钮各拧一点

前向。从缓冲区抽 2048 个长度为 8 的连续窗口。每个窗口给出真实状态 \(s_0,\dots,s_8\)、执行过的动作 \(a_0,\dots,a_7\)、上下文 \(\xi\) 和终止标签。从真实的 \(s_0\) 出发，用模型自回归地往前滚：\(\hat s_1\) 由 \(s_0\) 和 \(a_0\) 算出，\(\hat s_2\) 由 \(\hat s_1\) 和 \(a_1\) 算出……注意第二步开始，输入的是模型自己上一步的预测，不是真实状态。

损失。每一步都和真实状态比较：

反向传播：梯度更新了谁。只更新世界模型的参数 \(\omega\)，也就是动力学网络和终止头。策略不参与这一步。

反向传播：梯度经过了哪些路径。8 步里用的是同一个动力学网络。第 \(j\) 步的预测 \(\hat s_j\) 既直接依赖 \(\omega\)，也通过上一步的预测 \(\hat s_{j-1}\) 间接依赖 \(\omega\)：

读法：第 8 步的误差不只怪第 8 步的网络调用，也会怪第 1 步到第 7 步的调用，因为前面的误差一路传了过来。于是模型学到的是"让后面的预测也保持准确"，而不只是"单步准"。这就是多步自回归训练能让模型在 32 步想象里不漂走的原因。它的另一个副作用是：多步误差取决于雅可比的连乘，所以这种训练也在间接地让雅可比变准（这一点是我的推断）。终止头的梯度只来自 BCE 项，路径是"终止特征 → 终止头"，终止特征又依赖预测的根部位姿，所以 BCE 也会给动力学网络一点梯度。

优化。每个小批量做一次 Adam 更新，梯度按全局范数裁剪到 1.0。每轮做 10 个小批量。

12.6 训练步骤 ③：更新策略（核心）

def 演员在脑子里练(演员, 预言家, 裁判, 日记本):
    预言家.冻住();  裁判.冻住()   # 不修它们，但电话线通着
    身体 = 日记本.随机抽(4096 个真实的身体)   # 起点是真实发生过的
    总分 = 0;  还没摔倒 = 1
    for 第几步 in range(32):
        身体, 分数, 摔倒可能, 感觉 = 想象一步(身体, 感觉, 舞蹈)
        总分 += 分数 × 还没摔倒   # 摔倒以后的分数不算
        还没摔倒 = 还没摔倒 × (1 − 摔倒可能)
    总分 += 裁判(身体) × 还没摔倒   # 32 步以后的分数，请裁判估
    (−总分).backward()   # 追责任：从总分一路追回演员
    优化器.step()   # 只拧演员的旋钮，拧一次
    return 这次想象的全部记录

前向。从缓冲区抽 4096 个真实状态作起点，带上各自的 \(\xi\) 和前 10 帧历史，按 12.2 想象 32 步，最后接 critic，算出 (S1) 的代理目标 \(\hat J\)。损失取它的相反数，再除以视野长度：

反向传播：梯度更新了谁。只更新策略参数 \(\theta\)。世界模型 \(\omega\) 和 critic \(\psi\) 被冻结：它们的参数不变，但导数会穿过它们，传给它们的输入。这和截断不同：如果截断了世界模型，梯度就到不了前面的动作，整个方法就失效了。

反向传播：哪些量是常数。起点状态 \(s_0\)、上下文 \(\xi\)、传感器噪声 \(\eta_t\)、参考动作都是给定的数，梯度不会传到它们身上。正是因为把随机性都挪成了这些"给定的输入"，从 \(\theta\) 到 \(\hat J\) 的路径才是确定的，可以直接求导，这就是第 11 节的路径导数。

反向传播：梯度经过了哪些路径。\(\theta\) 出现在每一步的策略调用里。第 \(t\) 步的动作 \(a_t\) 通过下面几条路影响 \(\hat J\)：

1. 直接影响这一步的奖励。动作平滑项 \(\|a_t-a_{t-1}\|^2\) 直接含 \(a_t\)。
2. 经动力学影响下一个状态。\(a_t\) 进入 \(f_\omega\)，得到 \(\hat s_{t+1}\)，这一环的导数就是 \(F^a_t\)。\(\hat s_{t+1}\) 再分成四路往后影响：经正运动学影响奖励 \(\hat r_{t+1}\)；经终止头影响 \(\hat d_{t+1}\) 和之后所有的存活权重；经观测头和目标影响下一步的动作 \(a_{t+1}\)；经 \(f_\omega\) 影响 \(\hat s_{t+2}\)。
3. 作为"上一步动作"进入下一步观测。观测的最后 29 维就是 \(a_t\)，所以它还会直接影响 \(a_{t+1}\)。
4. 一路传到第 \(H\) 步的 critic。\(V_\psi(\hat s_H)\) 对 \(\hat s_H\) 的导数，把窗口之外的长期价值带回来。复现里这条路是保留的，和 SHAC 一样；论文没有明说。

把这些路径整理成公式，就是下面的伴随递推。先简化记号：把观测头并入策略，记 \(a_t=\pi_\theta(\hat s_t)\)，并暂时去掉存活权重。定义

伴随向量从第 \(H\) 步开始，一步步往回传。每一步的动作梯度由它给出，最终的参数梯度是：

方括号里的东西和 (P10) 里的 \(\hat A_t\,\varepsilon_t/\sigma\) 扮演同一个角色，都在回答"动作该往哪边改"。区别在于这里它是算出来的："动作怎样改变下一状态"乘以"下一状态的每个分量值多少钱"。29 个维度同时得到，没有随机扰动。完整的版本还要加上存活权重那一路：\(\hat c\) 乘在之后所有奖励上，它对状态的导数把"离摔倒更近，之后的回报全打折"也算进 \(\boldsymbol\nu\)。

回到例子。第 138 步的伴随向量 \(\boldsymbol\nu_{138}\) 在"右膝高度"这一维上有一个明显的正值：奖励希望膝盖再高 2 cm，之后的落脚时机也取决于它。\(F^a_{137}\) 告诉我们"右膝的动作加大，下一步右膝会升高多少"。两者相乘，右膝那一维的动作梯度为正。如果右髋的配合也影响后续落脚，\(\boldsymbol\nu\) 里与髋相关的分量会把这个信息带到右髋那一维上。协调是自动出现的，不需要哪个环境恰好试出来。

(S2) 的递推里反复乘以 \(F^s_t+F^a_tK_t\)，也就是闭环系统的雅可比。连乘 32 次以后，结果可能爆炸，也可能消失。这就是第 15 节要处理的问题，也是下面要做两道梯度裁剪的原因。

优化。梯度先按全局范数裁剪到 1.0，再把每个元素裁剪到 \(\pm0.1\)，然后做一次 Adam 更新，\(\beta=(0.9,0.95)\)。复现里如果梯度出现无穷大或非数，就跳过这一步，防止一个坏样本毁掉参数。

12.7 训练步骤 ④：拟合 critic

def 裁判学打分(裁判, 想象):
    with 不追责任():   # 把想象当成录像：只看，不改
        目标分数 = 从录像最后一步往前倒着算   # 每一步"往后还能拿多少分"的参考答案
    for 第几轮 in range(5):
        for 一小份 in 把录像打乱分成(4 份):
            误差 = (裁判(一小份的身体) − 目标分数) 的平方
            误差.backward()   # 只追到裁判的旋钮
            优化器.step()

前向，并且截断。拿刚才那 4096 条想象轨迹，把所有状态、目标、终止概率都截断（detach），也就是当作普通的数，不再和策略、模型有任何梯度联系。然后用当前的 critic 给每一步估值，得到 \(V_0,\dots,V_{32}\)。

目标。从第 32 步往回递推 GAE 回报，和 (P8a) 是同一个递推，只是数据换成了想象轨迹，终止换成了预测的终止概率：

反向传播。只更新 critic 的参数 \(\psi\)。因为输入和目标都已截断，梯度到 critic 的输入就停了，策略和模型都不受影响。把 4096×32 个样本打乱，分成 4 个小批量，做 5 轮，每个小批量一次 Adam 更新，梯度按全局范数裁剪到 1.0。

为什么要截断。critic 的任务只是学会"给状态打分"。如果不截断，critic 的回归损失会把梯度传回策略和模型，等于让它们去迁就 critic 的误差，而不是去提高真实的回报。

一个时间上的细节。第 ③ 步算 \(V_\psi(\hat s_H)\) 时用的是上一轮的 critic，第 ④ 步才把 critic 更新。所以策略总是用"上一轮的打分标准"来改进自己，这和 PPO 先算优势、再更新 critic 是同一个习惯。

12.8 一张表总结：每一步谁被更新，梯度从哪来

一句话：每一轮先用一点真实数据把物理教给模型，再让策略在模型里练 32 步并直接求导，最后教 critic 给想象中的状态打分。

12.9 常见疑问

• 演员从哪来？一开始随机，几乎不动。每轮第 ③ 步改一次，改完马上用于下一轮的真实练习和想象。
• 为什么还要真实练习，全在脑子里练不行吗？预言家的物理知识全部来自日记。演员变好以后会去到新的地方，那里预言家没见过，猜得不准，所以必须一直补充真实日记。
• 预言家猜错了怎么办？演员可能会"钻空子"，专门去预言家算错、以为分数很高的地方。但下一轮真实练习时，这些动作会在仿真器里真的做一遍，结果写进日记，预言家复习后就改正了。这个"钻空子、被发现、改正"的循环，就是为什么四件事要一直轮流做。
• 它为什么比 PPO 快？PPO 像蒙着眼睛下山，只能随便迈一步，感觉一下高了还是低了。SuperMimic 有个会算的预言家，站在原地就能知道脚下往哪边是下坡。详细的对比见第 7 节和第 18 节。

12′. 复现配方：世界模型和策略是怎么练出来的

本节以目前最完整、最贴近论文的公开复现 dhmbb2/supermimic_vibe（commit d0934d0，基于 mjlab）为准。它在一张 RTX A6000 上训练 LAFAN1 的 40 条片段，1.34 小时达到归一化回报 0.833，11.4 小时最好达到 0.947、0/40 失败。下面每个数字都来自它的代码，方括号里注明出处。

准备：四个网络和一本日记

• 世界模型：一个 2048×2048×2048 的 MLP。最后一层初始化得很小，所以刚开始它几乎预测"什么都不变"〔networks.py〕。
• 策略：编码器把未来 10 帧参考动作压成 32 维；解码器结合最近 10 帧观测，输出 29 个关节的动作。最后一层同样很小，所以一开始动作接近零，机器人大致保持默认姿态。输入都经过运行均值和标准差归一化〔networks.py〕。
• critic：256×128 的小 MLP〔networks.py〕。
• 日记本：4096 个仿真环境，每个环境保留最近 1000 步，合计约 400 万条转移。正式训练前，先用初始策略跑 64 步把日记填上〔train.py、replay.py〕。

节奏：一次迭代走一步，每 5 次迭代学 2 次

一次迭代就是 4096 个机器人在仿真里各走一步。更新数据比是 0.4，所以每 5 次迭代做 2 次更新。每次更新依次是：世界模型 10 步梯度、策略 1 步梯度、critic 20 步梯度。总共 32 万次迭代，约 12.8 万次更新。三者学习率都是 \(2\times10^{-4}\)，在前 25 万次迭代里按余弦降到 0.03 倍，之后保持不变。每 4000 次迭代按论文附录 F 的协议完整评估一次〔train.py：TrainCfg、run〕。

配方卡

出处：train.py 的 TrainCfg、update_wm、update_policy、update_critic。

世界模型是怎么练出来的

它学什么。输入是当前状态（根部和 29 个关节的位置、速度，共 71 个数）、动作、仿真上下文 ξ（摩擦、关节编码器偏差、躯干质心偏移）。状态会先转成航向坐标系下的特征，其中包括用正运动学算出的身体部位位置和速度。输出是"下一步各量变了多少"，再用公式加回当前状态〔networks.py：WorldModel；notes/IMPLEMENTATION.md〕。

怎么练。从片段第一步的真实状态出发，用日记里记录的带噪动作连续猜 8 步，每一步都输入自己上一步的预测。每一步的误差，除以"这一维一步通常变多少"（运行统计，每 5 次更新刷新一次），平方后取平均，8 步相加〔train.py：wm_window_loss〕。

它不学奖励和观测。奖励、观测和摔倒判断都由公式从预测的状态直接算出，所以损失里只有状态这一项。日记只存最近 1000 步，模型学到的始终是"当前策略附近"的物理。

策略是怎么练出来的

起点。从日记随机抽真实状态，连同它前 10 帧的观测历史和上一步动作〔replay.py：sample_starts〕。

想象 32 步。每一步：策略看"带噪观测历史 + 目标"给出动作；世界模型算出下一个状态；公式算出奖励、新观测（再加传感器噪声），以及一个"软"的摔倒概率。软摔倒概率是在两个终止阈值附近用 sigmoid 抹平，温度分别是 2 厘米和 0.04〔task.py：termination〕。存活概率逐步连乘。参考片段走到头就停止计分，也不再请 critic 估值〔train.py：update_policy〕。

一步更新。总分 = 每步"折扣 × 存活 × 奖励"之和，加上第 32 步"折扣 × 存活 × critic 估值"。损失取总分平均值的负数再除以 32。反向传播时世界模型参数冻结，但梯度穿过它；critic 的估值也把梯度传回第 32 步的状态。然后做一次 Adam 更新。

采数据时用的也是它。真实练习时，策略输出加上标准差 0.1 的高斯抖动再执行〔train.py：collect〕。

critic 和起点

• critic 的输入：状态特征、目标、ξ，以及参考片段还剩多少时间。答案是从第 32 步往回算的 λ-回报；每个样本的误差按"那一步还活着的概率"加权〔train.py：update_critic〕。
• 仿真回合从哪开始：动作库按 1 秒切成小段，每段记录最近的回报。重置时 50% 均匀抽，40% 按 \(\mathrm{softmax}(-25\,G/G_{\max})\) 偏向回报低的段，10% 按历史上最难的段；姿态和速度再加一点随机扰动。域随机化：摩擦 U[0.3, 1.2]、关节偏差 ±0.01 弧度、躯干质心偏移〔sim_env.py〕。

和论文的差别（可选阅读）

这些地方论文没写清，或者复现做了取舍〔notes/IMPLEMENTATION.md〕：

• 奖励、观测、终止头全部用公式计算，终止在想象里用软 sigmoid。论文允许这样做；第 12 节依据的 LaoYang 复现则用学出来的终止头。
• "一次迭代 = 一步仿真"是对论文措辞的一种解读，它和论文报告的每次迭代 0.105 秒（H100）吻合。
• 目标里包含参考根部相对机器人根部的位置，锚点用骨盆。
• 为了提速，MLP 用 bf16（论文是 TF32）；硬件是 A6000（论文是 H100）。

13. SuperMimic 原理（三）：为什么用学到的模型，而不是直接对仿真器求导

• 仿真器给不了好梯度。MuJoCo Warp 本身不提供梯度。即便是可微仿真器，接触处的梯度也很糟：脚接触地面之前，接触力对位置的导数是零；接触瞬间又近乎无穷大。Suh 等（2022）专门分析过，穿过刚性接触的一阶梯度可能有偏、方差也很大，有些情况下还不如零阶估计。
• 学到的模型是光滑的替身。神经网络学出来的接触动力学是被"抹平"的，它的雅可比相当于一个平滑过的接触模型，往往比真实的不连续梯度更有信息量。这一条是我的解释，论文本身没有做这项分析。
• 更快。在实际使用的批量下，模型走一步比 MuJoCo Warp 快 10 倍以上，最高快 62 倍（Figure 5a）。
• 不挑仿真器。论文的说法是：梯度来自学到的模型而不是仿真器，所以 SuperMimic 和任何刚体仿真器兼容，包括接触不光滑、实现不可微的仿真器。

14. SuperMimic 原理（四）：模型需要准在哪里

走 D 路线时，模型不仅要预测得准，雅可比 \(F^s\)、\(F^a\) 也要准，因为 (S3) 用的就是它们。下面几个设计各自对应这个要求：

• 一个模型摊销整个动作库。所有动作都由同一副身体完成，新增的片段只是给同一套物理提供更多证据。论文 Figure 3(c) 里，数据从 1 小时增加到 264 小时，模型的 8 步预测误差始终在 0.007 到 0.011 之间。
• 把随机因素作为输入。如果不告诉模型摩擦系数，同样的状态和动作会对应不同的结果，模型只能学一个平均，平均出来的雅可比是错的。把 \(\xi\) 作为输入后，模型对每个回合都是一个确定的函数。
• 多步自回归训练。只给起点，之后每一步都输入模型自己的预测，连续预测 \(k\) 步再和真实轨迹比较，论文取 \(k=8\)。这样模型在训练时就见过自己的误差，想象时不容易漂走。多步误差取决于雅可比的连乘，所以这种训练也间接约束了雅可比，这一点是我的推断。
• 从真实状态出发想象。模型只需要在真实状态附近 \(H\) 步内准确，不必从零生成整个回合。
• 和策略一起更新。这就是第 10 节说的自纠循环。它要求模型跟得上策略：每轮都要更新模型，而且要更新足够多次。我们自己复现时，模型更新太少，策略就跑到了模型前面，开始利用模型的错误。

15. SuperMimic 原理（五）：视野、梯度爆炸和 critic

想象视野 \(H\) 两头为难：

• 太长。(S2) 里闭环雅可比要连乘 \(H\) 次。接触丰富、接近混沌的动力学会让这个乘积的谱半径大于 1，梯度爆炸或变得杂乱无章。Parmas 等（2018）称之为"混沌诅咒"，Metz 等（2021）有系统的讨论。同时 (M2) 的模型误差也在累积。
• 太短。目标只看得见 \(H\) 步之内。被推一下之后的恢复、几十步之后的跌倒，都在窗口外面，策略变得短视。

解决办法是在截断处接一个价值函数，也就是 (S1) 最后那一项 \(\gamma^H\hat c_HV_\psi(\hat s_H)\)。按 (S2)，反向传播从 \(\boldsymbol\nu_H=\nabla_sV_\psi(\hat s_H)\) 开始，critic 把窗口之外的长期价值以"状态价格"的形式交给反向传播。于是 \(H\) 只需要长到模型还准的程度，再往后交给 critic。这一思路来自 SVG(H)（Heess 等 2015）和 SHAC（Xu 等 2022，用的是可微仿真器）。

和 PPO 对照：PPO 的 critic 只用来降方差，策略梯度不对它求导；SuperMimic 的 critic 是目标函数的一部分，它对状态的梯度直接进入策略梯度，所以 critic 的质量直接决定策略的上限。论文没有明说梯度是否穿过 critic，SHAC 是穿过的。

critic 本身用想象轨迹上的 GAE 目标做回归，公式和 (P8) 同构，只是数据换成了模型里的想象轨迹。

论文 Figure 4(b, c) 给出了证据。没有 critic 时，\(H\le16\) 训练直接失败；有 critic 时，\(H=16\) 就能和无 critic 的 \(H=32\) 打平，\(H=32\) 最快。\(H=128\) 耗时近三倍，最终回报还更低。被推时，有 critic 的策略 0.5 到 2.4 秒内站稳，没有 critic 的一直踉跄。

16. SuperMimic 原理（六）：软终止，让"别摔倒"变成可导的信号

真实的终止判断是一个台阶函数：倾斜误差超过阈值就终止，否则继续。台阶函数的导数几乎处处为零，在阈值处又是无穷大，梯度没法告诉策略"你离摔倒还有多远"。SuperMimic 让模型预测终止的概率 \(\hat d\)，它是光滑的：

因为 \(\hat c\) 乘着之后所有的奖励，\(\hat J\) 对状态的导数里会多出一项："之后的回报"乘以"终止概率对状态的导数"。这一项的方向是远离会摔倒的状态。

终止概率有多"陡"会影响性能。太陡就退回到台阶函数，没有梯度，训练也不稳定。公开的可工作复现用的是学出来的终止头；我们第一版用解析的陡峭 sigmoid，效果明显更差。

17. 和性能有关的参数

一轮迭代的完整过程见第 12 节。这里只列出对速度和稳定性影响最大的几个设置。

18. 为什么一个快、一个慢

论文给出的三条证据正好对应三个因素，它们是相乘的关系：

1. 每个样本的信息量：同样在模型里训练，解析梯度比 PPO 少用约 64 倍的想象步数（Figure 5b）。
2. 每一步的代价：想象比仿真快 10 倍以上（Figure 5a）。
3. 数据复用和摊销：一个模型的误差不随数据量增长，所需算力增长缓慢（Figure 3b、3c）。

19. 伪代码对照

# 随机策略：均值网络 mu + 标准差 sigma
loop:
    # 1. 采样（同策略）
    for t in rollout:
        a = mu(s) + sigma * randn()   # 必须加噪声
        s2, r, d = sim.step(a)   # 真实仿真
        batch.add(s, a, logp(a), r, d)
    # 2. 优势
    A, R = gae(batch, critic)   # (P8)
    # 3. 几轮更新，然后丢掉数据
    for mb in minibatches(batch, epochs):
        ratio = exp(logp_new - logp_old)
        loss = -min(ratio*A, clip(ratio)*A)   # (P12)
        loss += c_v*(critic(s) - R)**2 - c_e*entropy
        step(loss)   # 梯度只经过 log pi
    batch.clear()

# 确定性策略 pi；模型 f；critic V
loop:
    # 1. 采数据（旧数据保留）
    a = pi(o, g)
    s2, r, d = sim.step(a + small_noise)
    buffer.add(s, a, xi, r, d)
    # 2. 拟合模型：多步自回归 (M1)
    s_hat = s0
    for j in window:
        s_hat = f(s_hat, a[j], xi)   # 输入自己的预测
        loss_f += |s_hat - s[j+1]|**2 + ...
    step(loss_f)
    # 3. 想象 H 步，反向传播 (S1)-(S3)
    s_hat = buffer.sample_starts()   # 真实起点
    for t in range(H):
        a = pi(obs_head(s_hat) + eta, g[t])
        J += gamma**t * c * r_head(s_hat, a)
        c *= 1 - term_head(s_hat)   # (S4)
        s_hat = f(s_hat, a, xi)   # f 冻结但可导
    J += gamma**H * c * V(s_hat)
    step(-J)   # 梯度穿过 f
    # 4. critic 回归想象轨迹上的 GAE 目标

最该盯住的差别：PPO 的 step(loss) 里，梯度只经过 logp，仿真器在计算图之外；SuperMimic 的 step(-J) 里，梯度穿过 \(H\) 次模型调用，仿真器被一个可导的替身取代。

20. 延伸阅读

• 策略梯度与 PPO。Williams 1992（REINFORCE）；Schulman 等 2015（TRPO）；Schulman 等 2016（GAE）；Schulman 等 2017（PPO）。OpenAI Spinning Up 的策略梯度推导很适合入门。
• 确定性策略梯度。Silver 等 2014（DPG）。
• MBRL 代表作。Sutton 1990（Dyna）；Chua 等 2018（PETS）；Janner 等 2019（MBPO，讲清了短分支想象）；Hafner 等 2020（Dreamer）；Hansen 等 2022（TD-MPC）。
• 穿过模型求梯度。Deisenroth 与 Rasmussen 2011（PILCO）；Heess 等 2015（SVG）；Xu 等 2022（SHAC）。
• 这条路上的坑。Parmas 等 2018（PIPPS，混沌诅咒）；Metz 等 2021（Gradients are Not All You Need）；Suh 等 2022（可微仿真器是否给出更好的策略梯度）。
• 人形动作跟踪。DeepMimic、BeyondMimic、SONIC；用学到的模型做角色控制的 SuperTrack、ControlVAE。

21. 本页符号索引

点公式编号可以跳回这个符号第一次出现的地方。