从人类动作到机器人控制，从物理交互到世界模型
资料入口 · 论文与项目 · 学习与实践 · Agent 检索 · 交流与反馈
具身智能研究室 · 论文、技术报告与工程资源
这是我在阅读论文、整理项目和关注行业进展时，逐步积累的人形机器人运动智能资料。最初关注的是动作重定向和运动控制，后来把全身操作、世界模型、VLA，以及相关的数据和工程工具也整理了进来。
论文与项目放在最前面。 想了解一种方法，可以找到对应解读和原文；想动手做实验，可以沿着分类表查找训练仓库、数据集和部署工具。公司产品、书籍课程和求职资料也保留了独立入口，方便按当前需要查阅。
整理时尽量回答几个实际问题：这项工作在做什么，为什么这样设计，怎样训练或执行，实验里得到了什么结果。遇到模型报告、系统报告和工程报告，也按具体技术内容展开，而不只保留名称和链接。
论文与技术报告解读。 每篇有自己的阅读页面，介绍问题、方法、训练或执行过程，以及实验结果。适合先看中文解读，再打开原文查公式、配置和实验细节。部分解读配有原论文方法图，图旁说明各模块的作用和信息怎样传递。
项目与工程实现。 分类表里先说明项目的用途，再给出官方入口。既有重定向、动作跟踪和视觉运控研究，也有厂商训练仓库、仿真环境、SDK与策略部署工具。查项目时可以直接按任务找，不必先记住项目简称。
数据与产业资源。 数据集目录说明数据包含什么、主要用来训练或评测什么；公司目录按国家和地区整理本体、部件、模型与平台。公司的论文、技术报告和代码项目也有对应入口，可以从公司名称继续找到具体工作。
学习与职业资料。 书籍与课程收录数学、机器人学、控制、强化学习、大模型与AI基础设施资料。求职目录另外整理面试经验、专项问题、项目准备和岗位信息。读论文时需要补基础，或准备面试时需要回顾某类方法，都可以从这里查起。
同一问题通常有多种做法。这里保留不同方法和各自的原始入口，方便对照阅读；例如动作跟踪可以比较单动作训练、通用跟踪器和运动基座，操作策略可以比较VLA、世界动作模型与分层系统。
| 入口 | 主要内容 |
|---|---|
| 技术与研究 | 论文与项目分类索引、论文逐篇解读、系统路线图与学习路径 |
| 具身智能数据集 | 数据内容、训练用途，以及Ego采集设备与数据平台 |
| 公司与产品主表 | 按国家／地区查询本体、部件、模型与平台，进入关联论文和技术报告解读 |
| 具身智能公司的开源项目 | 按公司查找代码仓库、训练项目与开发工具的用途及官方入口 |
| 强化学习开发者必备开源资料 | 强化学习框架、机器人仿真与训练工具、工程开发资料 |
| 书籍与课程 | 数学、机器人学、控制、强化学习、大模型与AI基础设施 |
| 求职与职业发展 | 面试经验、项目准备、谈薪与薪资参考、招聘及内推信息 |
下面六个方向是论文和项目的主要入口。每个方向内继续按问题细分；不熟悉项目名称时，可以先从“想做什么”选分类。
| 技术方向 | 分类内容 |
|---|---|
| 动作数据与重定向 | 视频人体运动恢复；目标本体动作重定向；人形训练数据构建 |
| Locomotion与运动先验 | 基础行走与自然步态；视觉与地形感知运控；技能表示与行为基座；抗扰与保护性控制；训练框架与本体适配 |
| 动作跟踪与全身控制 | 运动控制基座模型；动作模仿与通用跟踪；接触与交互动作跟踪；训练框架与本体适配 |
| LocoManip | 视觉闭环与交互状态建模；接触力控与负载适应；全身协同与技能接口 |
| 世界模型、VLA与Agent | 世界模型与未来预测；VLA与通用操作策略；世界动作模型（WAM）；仿真生成与数据引擎；具身理解与Agent规划；训练、部署与评测工具 |
| 工程与实机部署 | 机器人模型与硬件；感知与状态估计；运动学、动力学与控制规划；仿真与训练工具；实机接口与策略部署；数据处理与实验管理；评测基准与测试标准 |
展开六个方向的导读与代表研究
视频里的人体动作、动捕记录和机器人关节轨迹，需要经过不同的处理。这一栏整理人体运动恢复、世界坐标轨迹估计、动作重定向和训练数据构建。做视频模仿实验时，可以在这里查人体姿态怎样恢复、动作怎样映射到目标本体，以及手脚接触怎样保留。
例如，BeyondRetarget从单目视频生成目标机器人的动作参考，UMR通过身体表面的稠密对应迁移姿态与接触。研究数据来源和本体映射时，可继续阅读具身训练数据来源与本体依赖，串联采集、动作表征与机器人训练。
HOI-Retarget进一步围绕手与物体的接触关系优化动作迁移，并提供机器人交互参考数据；可与数据集目录配合阅读。
行走策略怎样训练，怎样根据相机观测处理台阶和障碍，受到扰动后怎样恢复，都放在这一栏。分类包括基础行走、视觉运控、行为表示和保护性控制，也收录可用来搭建实验的训练框架。阅读论文时，可以对照奖励、地形课程和运动先验；准备复现时，可以继续查环境与本体配置。
视觉复杂地形可以从Deep Whole-Body Parkour入手，行为表示可以结合BFM-Zero理解运动先验与行为条件。轮足平台另有双轮足机器人训练方案，汇总不同框架、动作接口与任务能力，便于选择实验起点。
这里整理让机器人执行参考动作的方法：从单动作模仿、多动作跟踪，到通用运动基座和人体遥操作。各项工作对参考信息、动作库和控制接口的设计不同，可以对照它们如何处理动作切换、跟踪误差、接触以及本体差异。
阅读SONIC与BeyondMimic，可以比较统一运动表示、参考动作跟踪和动作生成的组织方式。HEFT侧重重载遥操作，MimicLite侧重通用跟踪的训练与评测；这些资料共同连接人类动作、身体控制和上层任务调用。
搬箱子、推物体、开门等任务，需要移动与操作同时配合。这一栏整理视觉闭环、接触力控、负载适应和腿腰手协同方法。既有统一学习全身策略的研究，也有把行走、抓取和上层规划组合起来的系统，可以按任务和控制方式比较。
例如，VIRAL讨论视觉策略怎样从仿真走向真实全身交互，Deep Whole-Body Control讨论移动与操作的统一策略学习。阅读时可以围绕观测、物体状态、接触、负载和任务目标，比较各方法如何协调腿、腰、手与末端执行器。
关注视觉语言理解、未来预测、动作生成与任务决策。按输入输出区分三条核心范式：世界模型预测动作后的环境变化，VLA根据观测与任务生成动作，世界动作模型联合学习动作与相应的未来世界。仿真生成与数据引擎、具身理解与Agent规划、训练部署和评测工具另设入口。阅读时可以沿着“模型接收什么、预测什么、输出什么、怎样连接执行端”比较系统，理解上层智能与身体控制之间的接口。
Ctrl-World与Qwen-RobotWorld展示动作条件下的未来预测；Qwen-RobotManip介绍跨本体操作策略。DreamZero、LingBot-VA 2.0和Cosmos Policy可作为世界动作模型的阅读入口；OpenWAM与GE-Act 2.0补充预训练研究，Delta-0把上层世界动作模型与全身控制连接起来。FluxVLA Engine技术报告则介绍训练、推理、评测和真机执行，适合与模型报告配合阅读。
人类视频学习可以沿Being-H0、Being-H0.5、Being-H0.7阅读，分别理解手部动作预训练、跨本体策略和隐空间未来学习。GAUGE补充物理保真评测，把模型生成与真实测量连接起来。
算法之外，还需要机器人模型、状态估计、仿真器和执行接口。这一栏按工程用途整理URDF与模型工具、运动学动力学库、控制规划、实机通信、策略导出、数据管理和评测资源。遇到关节顺序、坐标转换、控制频率或部署问题时，可以直接查相应分类。
搭建实验可先查机器人仿真与训练工具，再进入工程与实机部署查找模型、控制与部署接口。算法阅读和工程实践可以交替推进：先用小规模任务理解观测、动作与奖励，再扩展动作库、随机化和多卡训练，最后接入目标机器人的执行链路。
这些方向可以按任务组合：视频动作模仿通常连接动作恢复、重定向与跟踪；视觉行走连接感知、Locomotion与部署；全身操作则进一步结合物体感知、接触控制、动作生成与任务规划。数据与工程工具会贯穿多个环节。
不需要按目录从头读到尾。刚入门时，可以先看技术总览，再选一个小任务；已经在做实验时，直接查对应的论文和工具即可。下面列出几种常见的阅读方式。
| 你的目标 | 建议阅读方式 |
|---|---|
| 建立基础与技术全貌 | 从技术总览和学习路径开始，结合书籍课程补充基础，再选择训练项目实践 |
| 复现项目或做算法开发 | 查找项目用途，阅读对应方法解读，再结合仿真与训练工具搭建实验 |
| 比较方法与寻找研究问题 | 在论文与技术报告索引中定位同类研究，对照任务、输入输出、训练信号与实验结果，再回到原文深入分析 |
| 设计机器人系统与技术方案 | 从系统能力栈梳理模块，结合全身操作、上层模型和公司产品选择实现路径 |
| 准备实习、校招或社招 | 对照岗位能力地图选择方向，用论文与项目补充能力，再参考面试与求职资料 |
论文讲方法，项目提供实现，数据与工具决定实验怎样搭起来。查一个具体任务时，把这些入口放在一起通常更省时间。比如看动作跟踪论文，可以同时确认参考动作从哪里来、怎样映射到目标机器人，以及训练仓库使用什么观测和动作接口。
数据集总览按人体动作、人类示范、机器人运行与仿真生成等内容整理资源，介绍数据用来训练什么、评测什么。需要从采集端理解数据时，可以继续看Ego第一人称采集设备与方案，连接观察信号、操作示范与数据处理。
公司与产品主表适合查找本体、传感器、执行器、模型平台及关联技术报告；公司开源项目进一步介绍代码仓库和开发工具的用途。两者可以与技术方向交叉阅读，从一个研究问题找到相关团队、平台和工程实现。
书籍与课程覆盖基础理论与工程学习，包括机器人学、强化学习、动手学大模型和AI Infra。做项目时，可按当前问题回查基础；准备求职时，则结合运动控制专项面试和实机部署专项面试，把方法理解、实验设计与工程经验整理成清晰的项目表达。
把一段人体动作用到机器人上。 可以从BeyondRetarget或UMR了解参考动作怎样得到，再读BeyondMimic看跟踪策略如何训练。涉及搬运和手—物接触时，再加入HOI-Retarget。这几篇分别回答数据、映射、跟踪和交互问题，可以按实验需要取舍。
研究操作模型为什么需要未来预测。 先在世界模型、VLA与Agent中区分未来预测与动作生成，再比较Ctrl-World、DreamZero和Being-H0.7。其中未来信息进入训练和执行的方式不同，解读页会分别说明。关注长时动作条件推演，可以继续看自变量机器人的WALL-SS。
查一家公司的公开工作。 从公司与产品主表找到公司，查看本体、模型和平台，再点开关联报告。例如自变量机器人与X Square Robot对应同一个公司条目；WALL-WM、WALL-SS和X-Tokenizer则各有解读，分别介绍事件级世界动作建模、长时世界预测和动作编码。X2Real是另一项评测基准研究，介绍任务设计、仿真校准和统一策略评测。
准备一个能讲清楚的工程项目。 在仿真与训练工具中选择实验环境，在工程与实机部署中查动作接口、导出与通信工具，再结合求职资料整理实验设计和结果。训练曲线、失败案例和实际改动，通常比罗列采用的算法名称更有用。
可以直接在GitHub阅读，也可以把仓库下载到本地，交给支持读取文件的Agent检索。问题越具体，越容易找到有用的材料：指定任务、机器人或想比较的方法，比泛泛地问“怎么学具身智能”更有效。
git clone https://github.com/RealXiaoze/humanoid-motion-intelligence.git
cd humanoid-motion-intelligence在Agent中打开仓库目录，说明你的背景、目标和已有条件。例如：
- “我会Python和PPO，想在Isaac Lab中训练G1行走。结合仓库资料安排学习与实验顺序。”
- “比较BeyondMimic、SONIC与MimicLite的用途、训练方法和控制接口，给出论文与项目链接。”
- “我想做从单目视频到机器人动作跟踪的实验，帮我梳理动作恢复、重定向和跟踪项目。”
使用约定见AGENTS.md。让Agent给出引用页面与原始来源，并区分论文结论和分析推断。
做工程问题分析时，可以同时提供机器人型号、仿真环境、观测与动作定义、训练曲线或运行日志，让检索结果与实际实验对应起来；做论文比较时，可以明确比较维度，例如数据需求、控制接口、训练成本和任务表现。
相关资料：小而美的运动控制项目。
欢迎通过GitHub Issues反馈错误或推荐资料，请附上对应页面与来源链接。
- 微信：
yzz010329 - 转载与使用：许可与版权说明
