苏黎世联邦理工联合慕尼黑工业发布! 通过视线进行交互式导航

目前的视觉导航系统往往将环境视为静态的，缺乏与障碍物自适应交互的能力。当遇到不可避免的障碍物时，这种限制会导致导航失败。作为回应，我们引入了一种新的自监督路径规划方法IN-Sight，通过与障碍物的交互来实现更有效的导航策略。INSight利用RGB-D观测值计算可通行性分数，并将其融合到语义地图中，便于在复杂的迷宫式环境中进行远程路径规划。 为了精确地绕过障碍物，IN-Sight使用了一个局部规划器，它必须使用表示学习技术在可微的代价地图上进行训练。整个框架在最先进的真实感英特尔SPEAR模拟器中进行端到端训练。我们通过在多种模拟场景和消融研究中广泛的对标来验证IN-Sight的有效性。此外，我们展示了该系统的真实世界适用性，通过零次实时迁移，将我们的规划器部署在足式机器人平台ANYmal上，展示了其在真实环境中交互导航的实际潜力。