港大MaRS发布：LiDAR-视觉神经表面重建渲染技术

本文提出了一个统一的LiDAR -视觉系统的表面重建和渲染框架，集成了神经辐射场( NeRF )和神经距离场( NDF )，以从构成的图像和点云中恢复外观和结构信息。我们通过利用可见感知的占有率图将空间划分为空闲、被占、可见未知和背景区域来解决NeRF和NDF之间的结构可见差距。这种分类有利于恢复场景完整的外观和结构。我们使用空间变化尺度的SDF-to-density变换将NDF和NeRF的训练统一到结构和外观的细节层次上。所提出的方法通过自适应球体追踪采样策略利用学习到的NDF进行结构感知的NeRF训练，以实现精确的结构渲染。反过来，NeRF进一步细化了NDF中的缺失或模糊结构的恢复。大量实验表明，该方法在各种场景中具有优越的质量和通用性。