摘要: 从多张图像重建出三维场景是一项热门的研究课题，现已广泛应用于文物保护、自动驾驶和机器人等领域。在深度学习的推动下，多视图三维重建领域已经取得了显著的成果。然而，现有算法仍存在一些亟待解决的问题，比如:对于采用由粗到细策略的有监督算法... 展开 从多张图像重建出三维场景是一项热门的研究课题，现已广泛应用于文物保护、自动驾驶和机器人等领域。在深度学习的推动下，多视图三维重建领域已经取得了显著的成果。然而，现有算法仍存在一些亟待解决的问题，比如:对于采用由粗到细策略的有监督算法，存在简单插值引起的误差聚集与传播问题;对于依赖光度一致性约束的自监督算法，存在光照和反射变化引起的监督模糊问题。鉴于此，本文围绕基于深度图估计的多视图三维重建开展研究，主要研究内容包括: (1)为了缓解由粗到细策略中简单插值引起的误差聚集与传播问题，提出了一种基于自适应上采样的有监督多视图三维重建算法。该算法设计了自适应上采样模块，指导深度图根据像素分布特性进行上采样，利用自适应空间权重有效避免了误差聚集。同时，针对上采样模块提出了相应的损失策略，以强化自适应空间权重的学习。在两个主流的多视图三维重建数据集上的实验结果表明，该算法能够有效地减小多阶段深度误差，具有良好的三维重建能力。 (2)为了缓解极端条件下光照和反射变化引起的监督模糊问题，提出了一种基于关键点一致性的自监督多视图三维重建算法。该算法采用三分支网络框架，引入关键点一致分支和数据增强分支作为补充先验监督，为深度估计分支提供了强有力的指导和约束。特别地，该算法为关键点分支设计了合理的监督策略，提出关键点热力图一致性约束以及关键点描述符一致性约束，有效提高了多视图匹配的精度。实验结果表明，该算法在不利用标签信息的情况下，实现了与有监督算法可比的性能，并且在个别骨干网络上具有比基准算法更好的重建表现。 收起