把苹果全家桶用于VR全身追踪是什么体验 _vr

此前，青亭网曾报道了一项无需摄像头的VR全身追踪方案：: Full Body （简称SFBE），这套方案就是利用了头显+双手柄数据来模拟预测全身动作数据，效果还算不错。
近期在活动上，卡内基梅隆大学Group科研团队公布了一项类似的研究：，这是一个基于IMU定位的全身姿态预测方案，特点是利用、Apple Watch、等常用的电子产品来为VR提供全身追踪数据。相比于此前研发的摄像头全身追踪方案，方案更容易使用，而且成本更低，无需额外的硬件。
在VR中追踪全身难？
为了让VR更容易上手，Meta已经停产了PC VR产品，开始主推VR一体机，并获得了市场广泛欢迎，引发了VR硬件潮流。VR一体机的好处是开箱即用，戴上就能玩，但在功能、硬件性能上依然有局限。
比如为了避免额外的设置和成本，Quest一体机并没有官方的全身追踪配件，在VR中操控全身时，只能靠头手三点定位和IK算法来预测下半身动作。
此前，FIG曾探索在Quest手柄上加入广角相机来追踪下半身，这样的方案虽然可行，但需要复杂的计算，而且增加了成本。相比之下，如果用几乎人人都有的手机来定位全身姿态，似乎更容易上手。与用手机摄像头追踪姿态不同，使用IMU来定位，这也是VR追踪模块常用的技术，区别是人们更常使用手机、耳机、智能手表，使用意味着无需穿戴特殊的硬件，就能预测全身姿态。

文章插图
实际上，苹果此前已经为类似的方案申请专利，考虑到苹果拥有比较完整的软硬件生态，而且其穿戴设备通常都具备加速度计、陀螺仪等运动检测传感器，可以很好的定位。未来也许可以让AR/VR头显、手机、智能手表、耳机等设备联动，从而实现全身动作追踪。
算法预测全身姿态
方案的一大重点，是将从手机、智能手表等设备收集（本文用苹果生态，结合、以及可选搭配、Apple Watch，并用进行数据回流）的数据整合，并计算出用户的全身姿态。其使用的算法基于定制的双向LSTM模型（长短记忆模型），输出SMPL动捕模型。
而手机、手表、耳机可为全身姿态追踪提供足够数据，包括四肢的位置，以及站立、蹲坐等状态。另外，可通过距离传感器识别手机在口袋内部还是外部。还能根据智能手表和手机之间的距离（基于UWB定位），来识别手机在哪个口袋、哪只手上。
当然，定位不仅限于手持手机的场景，当你将手机放在裤兜时，也可以分别追踪左右腿。耳机也是如此，可以放在口袋中。因此可能会出现24种最有可能的搭配，比如智能手表和手机在同一侧手臂上，或是耳机和手机在同一个口袋中。在一些场景中，甚至只能通过一个设备（耳机、手机或手表）来定位IE，全身定位数据不完整。

文章插图
由于缺少四肢的绝对位置数据，该方案并不是完全准确，经测试手机的实时定位准确性约90.8%，智能手表和耳机的定位准确性接近100% 。但当追踪数据小于最低标准时，则需要用预测算法来补偿。比如在预测姿态时可能需要插入预设动作。当识别到用户在行走时，便会假设没用手机、手表定位的一侧手臂、腿也在移动，只是和另一侧不同步（基于人的自然步行姿态）
应用前景
科研人员指出，全身追踪可用于多种场景，比如健身、移动游戏、情景感知、虚拟助手、康复训练等等。
那么能取代更专业的全身动捕工具吗？在准确性上，它还不够，但它可以用来完善、补充已有的运动追踪设备，比如AR/VR头显。