一张照片，如何变成三维世界？

9 分钟看懂 DUSt3R｜CVPR 2024 传统三维重建要先找特征、估相机、做三角测量，再优化，环节一多，某一步不稳就会影响后面的结果。 DUSt3R（Naver Labs Europe 与阿尔托大学，CVPR 2024）换了一条路：输入两张普通 RGB 照片，不需要预先给出相机内参或位姿，直接为每个像素预测三维坐标，也就是 Pointmap。两张图的点都表达在第一台相机的坐标系里。深度、像素匹配、相机位姿、多视图重建，都可以从这一个表示中恢复。 本片用同一张书桌，从头讲到尾： · 为什么一张照片丢失了深度 · SfM + MVS 传统流水线，以及它的难点 · Pointmap 与深度图的区别、共享坐标系的设计 · 网络结构：共享权重的 ViT 编码器、交叉注意力解码器 · 尺度归一化损失、置信度学习 · 三维最近邻匹配、多视图全局对齐 · 实验结果、局限，以及后续的 MASt3R 与 VGGT #科普 #抖音精选app知识充电站 #ai #3D