摘要: 多视图立体视觉（Multi-viewStereo，MVS）算法是三维计算机视觉中的热门研究方向之一，旨在给定场景的多幅有交叠的图像与图像对应的相机参数条件下，生成场景的三维模型。多视图立体视觉算法在文物保护、无人驾驶等领域都有着广泛的应用。在传统的基... 展开 多视图立体视觉（Multi-viewStereo，MVS）算法是三维计算机视觉中的热门研究方向之一，旨在给定场景的多幅有交叠的图像与图像对应的相机参数条件下，生成场景的三维模型。多视图立体视觉算法在文物保护、无人驾驶等领域都有着广泛的应用。在传统的基于PatchMatch的算法中，需使用简洁高效的相似度衡量方式来保证算法运行效率，导致进行立体匹配时仅可关注到像素局部特征信息，对弱纹理或无纹理区域（如墙面）的重建结果并不理想，造成重建的三维模型完整度较低。随着硬件设备性能的提升，结合深度学习的基于PatchMatch的多视图立体视觉算法在有充足训练数据的情况下取得了令人满意的效果。该类算法使用了特征金字塔网络结构对图像进行特征提取。但在该类算法中所使用的特征融合策略仅将深层特征融合到浅层特征，并未考虑多层特征之间的相互关系。本文针对上述两个问题进行了研究，主要工作如下： （1）对于传统的多视图立体视觉算法中弱纹理或无纹理区域重建效果较差的问题，使用基于马尔可夫随机场的深度值候选生成与选择模块，对该类区域未被重建像素的深度值和法向量进行恢复：首先，在经过几何滤波过滤的深度图上，对每个未被重建的像素，使用其周围已重建像素的深度值作为先验深度信息，通过插值在多个方向快速生成深度值候选序列；然后，以特征匹配度作为一元势函数，深度值平滑度作为二元势函数，建立马尔可夫随机场模型并对深度值候选序列进行选择；最后通过几何一致性滤波过滤噪声点。本文算法使用CUDA并行计算框架实现，针对立体匹配中过多访存操作导致的高时间开销问题，采用了基于空洞卷积思想的加速策略，减少匹配时所需采样点的数量，在几乎不影响重建结果的同时提升算法效率。 （2）对于使用深度学习的多视图立体视觉算法中的特征融合问题，使用PatchMatch-Net作为基准网络模型，同时采用了简洁的双向特征融合模块，相比于原融合策略：（a）改进策略在融合时可根据不同尺度特征特点，学习得到不同权重，为不同特征层分配更适合的权重；（b）改进的融合策略可以为较深层特征补充更多来自浅层特征的局部特征信息。使用新的特征融合策略可使每一阶段的重建结果更为准确，为下一阶段提供更高质量的深度值作为先验，从而改善下一阶段的重建深度图与最终重建三维点云的效果。 针对（1）中的算法，在ETH3D高分辨率数据集上进行消融实验与对比实验，实验验证了本文提出算法可以有效提升重建结果的完整度，也验证了加速策略的有效性。针对（2）中的算法，在DTU数据集上进行消融实验与对比实验，实验表明，本文的多尺度特征融合策略可改善每一阶段深度图和最终重建三维点云的质量。此外，使用BlendedMVS数据集对以上算法进行泛化性能测试，实验表明本文提出的算法均有较好的泛化性能。 收起