ConTrack 论文导读:重置库与在线任务–风格权衡

ConTrack 的任务:左列是人手演示,右边是机器人手在仿真中执行(论文 Figure 1)

ConTrack(UC San Diego,ECCV 2026)训练灵巧手跟踪人手与物体的参考动作。它把”物体沿参考轨迹运动”当作约束,用一个对偶变量在每次 PPO 更新后调整任务与风格两路优势的权重;长片段靠一个按参考帧索引、只存策略到达过的仿真状态的重置库来训练。13 个片段、每片段 5000 次更新的预算下,平均进度 0.899,高于 ManipTrans 的 0.743。

我为这篇论文写了一份中文导读,重点是重置库怎样建、怎样用,分三个标签页:

  • 导读:方法、主要结果和结论。
  • 基础:参考动作跟踪的 MDP、PPO、约束强化学习与对偶变量、几种重置策略,以及为什么手物交互不能直接把仿真设成参考状态。
  • ConTrack 全程:对照开源代码把一次训练走一遍,每一步给出公式和从代码提炼的伪代码(附文件与行号);最后列出论文与代码不一致的 14 处,以及 Sharpa 版与 XHand 版的差异。

页面里有大量编号公式、示意图和可切换的标签页,放在普通文章里没法正常排版,所以完整内容放在一个独立页面:

→ 阅读完整导读

几种重置采样做法的横向对比,见《从哪一帧开始练:动作跟踪里的重置采样》。

文中的论文图片均来自原论文 arXiv:2606.03177,版权归作者所有;代码引用对应 EmptyBlueBox/ConTrack 的提交 f5efe18。