基于视觉的姿势器估计用于预测人物在每一帧的姿势

直体后空翻。由上到下：视频片段，3D姿势估计，2D姿势估计，模拟人物

动作重建

由于在上一阶段，每一帧的预测都是独立进行的，所以简单地将姿势进行排序，会导致各帧之间的预测不一致，出现抖动伪影。这些伪影呈现出来，就是一段抖动的鬼畜…

而动作重建阶段，就是要减轻这些伪影，从而生成更逼真可行的参照，使模拟角色更加容易模仿。

来看重建前后的对比效果~

动作重建前后的对比

动作模仿

得到了动作执行者的动作之后，我们就可以对模拟角色进行训练了。模拟角色可以通过强化学习的方法学习视频中动作执行者的各种动作，这样它也就学会了各种杂技技巧。

模拟角色模仿动作执行者的动作

更神奇的是，这些模型还能适应新的模型和新的环境，并且产生合理的应对策略。

举个栗子，同一个动作，用火柴人和 Atlas 模型做出来的效果~

视频里小哥哥在平坦的草地上表演侧空翻，但一旦模型遇到凹凸不平的地面呢，岂不要摔死？

并不！看这个在斜坡上翻跟头的模型，踩在不平整的地面上时，懂得先稳住阵脚；一步踏空，这踉踉跄跄、摇头晃脑的姿势有没有看到记几的影子？