NeurIPS 2021：利用神经网络从单个 RGB 图像重建全景 3D 场景

现有的从单个 RGB图像进行3D感知工作往往只关注几何重构，或使用语义分割或实例分割进行几何重构。受2D全景分割的启发，我们提出将几何重建、3D 语义分割和 3D 实例分割的任务统一到全景 3D 场景重建的任务中：直接从单个 RGB 图像，预测图像的相机平截头体中场景的完整几何重建，以及语义和实例分割。实验证明了这种联合场景重建、语义和实例分割的整体视图有利于独立地过度处理任务，从而优于替代方法。具体效果请看视频！