在 Quest的手部追踪中，Meta 表明 AI 是 VR 和 AR 的一项基础技术：经过数小时手部运动训练的神经网络即使使用 Quest 头显的低分辨率摄像头也能实现强大的手部追踪，专门针对手部跟踪进行了优化。
AI 的预测能力使这成为可能：由于在培训中获得的先验知识，来自现实世界的少量输入足以将手准确地翻译到虚拟世界，包括 VR 渲染在内的完整实时捕捉将需要更多功率。
近日，Meta 旗下 Reality Labs 研究人员展示了一项新研究，即通过使用先前收集的跟踪数据训练 AI ，以尽可能合理和物理正确的方式模拟虚拟身体运动。QuestSim 只能使用来自头显和两个手柄的传感器数据，对可能进行的全身运动进行模拟。
Meta 团队使用人工生成的传感器数据训练 QuestSim AI。为此，研究人员在 172 人的 8 小时动作捕捉剪辑中模拟了头显和控制器。这样一来，他们就不必从头开始重新捕获头显和控制器数据以及身体动作。
动作捕捉片段包括 130 分钟的步行、110 分钟的慢跑、80 分钟的手势随意交谈、90 分钟的白板讨论和 70 分钟的平衡。使用强化学习对虚拟化身进行的模拟训练持续了大约两天。
训练后，QuestSim 可以使用真实世界的头显和控制器数据来识别一个人正在做的动作。使用 AI 预测，QuestSim 甚至可以模拟腿部等身体部位的运动，这些部位没有实时传感器数据，但其模拟运动是合成动作捕捉数据集的一部分，即由 AI 学习。
不过，这项技术目前尚未完美，化身的动作模拟依然存在着一些不足。因为化身的动作是在没有额外的非物理基力下模拟而出的，在试图移动角色基点时需要一系列特殊的关节力矩。
QuestSim 适用于不同体型的人，当角色不断偏离用户之后，会变得很难跟上动作。因此，模拟角色在试图模仿一些高活跃度动作（跳舞、跳跃）时会摔倒，因为它们还没有接受相关扭矩控制的强化学习训练。
Meta 的研究团队还表明，仅来自头显的传感器数据与 AI 预测相结合就足以制作出可信且物理上正确的虚拟化身。在进一步的工作中，Meta 研究人员希望将更详细的骨骼和身体形状信息整合到训练中，从而改善化身的运动多样性。