DUSt3R是一款AI智能技术3D重建工具。该工具的设计目的是简化从任意图像集合中重建三维场景的过程,无需事先了解相机校准或视点位置的信息。DUSt3R将成对重建问题视为点图的回归问题,放宽了传统投影相机模型的约束,并引入了全局对齐策略以处理多个图像对。这款工具在单目/多视图深度估计以及相对位姿估计任务上表现出色,能够在2秒钟内通过2张图片完成3D重建。
在实验中,DUSt3R 在多项任务上取得了 SOTA 的成绩,包括绝对姿态估计、多视图姿态回归、单目深度估计和多视图深度估计。不仅如此,DUSt3R 还能够处理两张没有任何重叠内容的图像,仍然准确地完成3D 视图的重建,展现出其强大的功能和适用性。
此外,DUSt3R采用了一种全新的方法,使得在多视角立体重建(MVS)中需要首先估计的相机参数(如内参和外参)变得简化,从而使许多几何3D视觉任务变得简单。总的来说,DUSt3R通过其创新的方法和技术,为3D重建领域带来了新的突破,特别是在处理复杂场景时提供了极大的便利。
论文:https://arxiv.org/abs/2312.14132
项目入口:https://dust3r.europe.naverlabs.com/