摘要: 高光谱图像(HyperspectralImage,HSI)比传统的RGB图像蕴含更加细致的光谱信息，常被用于军事遥感、智能检测以及医疗诊断等挑战性领域。然而，高光谱成像设备笨重复杂且十分昂贵，导致应用范围有限。近年来，随着人工智能与图像处理技术的发展，通过R... 展开 高光谱图像(HyperspectralImage,HSI)比传统的RGB图像蕴含更加细致的光谱信息，常被用于军事遥感、智能检测以及医疗诊断等挑战性领域。然而，高光谱成像设备笨重复杂且十分昂贵，导致应用范围有限。近年来，随着人工智能与图像处理技术的发展，通过RGB图像光谱重建的方法实现低成本且快速地获取高光谱图像已经成为研究热点。目前，基于深度学习的RGB图像光谱重建已经取得了一定的研究成果，但是由于三通道RGB图像重建高维光谱数据是一个病态的数学逆问题，导致其求解难度依然存在，而重构出来的光谱图像仍面临着结构细节丢失、光谱重建精度不高等问题。因此，如何通过RGB图像准确推断出缺失的光谱信息从而进行高质量的光谱重建仍然具有重要的研究意义。为了有效降低光谱重构误差，从而实现真正意义上的高质量光谱重建，本文在“Clean”和“RealWorld”两种不同的场景中提出了两种基于深度学习的端对端网络模型去学习RGB图像和相对应高光谱图像之间三对多的映射关系，主要工作如下： (1)在“Clean”场景中，针对目前RGB图像光谱重建任务中在特征提取和融合方法两个方面存在的问题，本文提出一种基于双重注意力机制的RGB成像光谱重建算法。该算法先通过卷积从输入图像中提取浅层信息，然后利用有效多频率通道注意力机制，计算特征层各通道之间的相关性；其次引入层特征加权融合注意力机制，学习不同层特征之间的依赖关系；最后将有效多频率通道注意力和层特征加权融合注意力提取的特征生成31通道的光谱图像。在NTIRE2020、CAVE以及TokyoTech数据集对所提算法进行实验验证，实验结果显示所提算法在主观和客观指标方面都具有先进性。 (2)在“RealWorld”场景中，针对目前基于卷积神经网络(ConvolutionalNeuralNetwork,CNN)的RGB图像光谱重建算法在提取特征信息时，常采取加深网络的方式去扩大感受野进而提取图像深层次特征信息，忽视了过深网络有可能引起的网络退化问题以及卷积难以有效感知全局特征信息的问题，本文提出了一种基于CNN和Transformer融合的光谱重建算法。该算法设计了一个CNN和Transfomer并行的结构，利用Transformer弥补CNN在全局交互方面的弊端，同时通过CNN弥补Transformer在局部处理方面的缺陷，并结合融合模块将CNN和Transformer提取到的特征信息进行双向传递，从而最大化地保留图像在局部和全局之间的相关性，使网络同时拥有局部和全局的建模能力，进而提升网络模型的性能以及光谱重建的准确率。此外，将该算法与七种RGB图像光谱重建算法在四种评价指标上通过实验进行对比，实验结果表明，所提算法重构出的光谱误差更小，光谱重建精度更高。 收起