港科大发布EgoHDM：在线第一人称惯性动捕与稠密建图系统

我们介绍了 EgoHDM，这是一种在线第一人称视角-惯性人体动作捕捉（mocap）、定位和稠密建图系统。我们的系统使用了 6 个惯性测量单元（IMU）和一台普通的头戴 RGB 相机。EgoHDM 是首个在接近实时情况下提供稠密场景建图的人体动作捕捉系统。此外，它具有快速且鲁棒的初始化能力，能够完全闭合物理上合理的地图感知全球人体运动估计与动作捕捉感知 3D 场景重建之间的环路。为实现这一目标，我们设计了一个紧密耦合的动作捕捉感知稠密特征度量束调整和基于物理的身体姿态校正模块，利用局部以身体为中心的高程图。后者引入了一种新颖的地形感知接触 PD 控制器，使角色能够与给定的局部高程图进行物理接触，从而减少了人体漂浮或穿透现象。我们在已建立的合成和现实世界基准上展示了系统的性能。结果表明，我们的方法在人体定位、相机姿态和建图精度误差方面分别比现有技术减少了 41%、71% 和 46%。