摘要: 近年来，深度学习的迅猛发展，对当代科学技术和社会生活带来巨大影响。经典的深度学习研究成果，离不开对人类视觉原理的研究。然而，传统的基于CNN的深度学习网络在某些方面没有很好地体现人类视觉感知特性。具体表现在，基于CNN的网络:1）对所有通... 展开 近年来，深度学习的迅猛发展，对当代科学技术和社会生活带来巨大影响。经典的深度学习研究成果，离不开对人类视觉原理的研究。然而，传统的基于CNN的深度学习网络在某些方面没有很好地体现人类视觉感知特性。具体表现在，基于CNN的网络:1）对所有通道的特征平等对待处理，缺少有效特征增强和无效特征抑制的机制;2）固定局部窗口的滤波器作为信息处理单元，缺乏对全局上下文信息的有效提取;3）需要降维特征图以扩大其感受野，导致高层抽象特征图分辨率很低，丢失重要的边缘细节信息。 为了解决传统CNN的不足，新的网络构架被相继提出。特别地，U型网络和注意力模型的提出，分别从不同角度体现了人类视觉感知特性，极大地提升了神经网络的性能而被广泛应用于多个计算机视觉领域，如场景理解、语义分割、图像超分辨、人群计数、行为检测、行人再识别等。然而，结合的注意力U型网络是否更全面地体现人类视觉感知特性并提升网络性能？采用什么结合模式能使网络更有效？如何客观验证注意力U型网络的性能？ 针对上述问题展开深入研究，本文首先，从人类视觉感知特性和深度学习网络之间的联系，阐明了将注意力模型与U型网络相结合的合理性和可行性。其次，归纳了三种注意力模型，即缩放注意力、点积注意力和全局上下文模型。根据不同注意力模型特点，设计了不同的注意力U型网络结合模式。最后，结合实际问题，提出三种新的注意力模型，并依据结合模式，分别引导并构建了三种新的注意力U型网络。 具体地，本研究的主要贡献和结论包括: (1)提出了Depth-wise空间-通道注意力(Depth-wise Spatial-Channel Attention，DSCA)模型及DSCA-UNet。DSCA模型由基于Depth-wise卷积的空间注意力模块和双池化通道注意力模块组成;前者能够对每个特征图计算独自的空间注意力图，准确地增强了每个特征图独立的信息，后者实现对有效特征的筛选。设计了缩放注意力U型网络结合模式，提出DSCA-UNet，即将DSCA模块置于每个解码器特征通道级联层之后。DSCA-UNet通过太阳图像过曝光修复应用中进行性能验证。在本文构建的太阳图像过曝光修复数据集上的测试结果表明，DSCA-UNet的能够有效提升网络对于太阳图像过曝光修复的准确度; (2)提出了非局部混合注意力(Non-Local Mixed Attention，NLMA)模型及NLMA-UNet。NLMA模型包括由卷积层组成的主分支和由非局部注意力模块、卷积层、Sigmoid函数组成的掩膜分支。掩膜分支学习了混合注意力图，对主分支上的特征进行调整。最后通过短跳接对输入特征图进行残差学习。设计了非局部U型网络结合模式，提出了NLMA-UNet，即在U型网络的输入、输出端嵌入NLMA模块。在太阳图像过曝光修复数据集上的对比试验中，NLMA-UNet获得最高的客观评价指标得分; (3)提出了金字塔全局上下文(Pyramid Global Context，PGC)模型及PGC-UNet。PGC模型在传统的GC模型中增加了金字塔池化模块，实现了计算多尺度patch长距离依赖关系，提高了全局上下文信息的学习效率和准确性。依据全局上下文U型网络结合模式，提出了PGC-UNet，即在每个编解码器中，插入PGC或GC模块。本文通过自然图像去雾应用对PGC-UNet进行验证。在多个公开数据集中的综合测试结果显示，PGC-UNet去雾网络获得最高的评价指标得分，达到了SOTA的去雾效果。 收起