摘要: 超分辨率重建旨在将低分辨率的图像恢复成高分辨率的图像，且尽可能地保留低分辨率图像中的高频细节。超分辨率作为计算机视觉中一个基本的低层问题，近年来受到了广泛的关注，在图像压缩、医学影像、遥感成像等方面具有重要的应用。随着深度学习技术... 展开 超分辨率重建旨在将低分辨率的图像恢复成高分辨率的图像，且尽可能地保留低分辨率图像中的高频细节。超分辨率作为计算机视觉中一个基本的低层问题，近年来受到了广泛的关注，在图像压缩、医学影像、遥感成像等方面具有重要的应用。随着深度学习技术的快速发展，基于深度神经网络的超分辨率方法取得了众多的成果。然而，超分辨率在实际应用中仍面临一些问题。一方面，自然图像往往包含未知退化，当输入图像的退化方式和训练好的模型不符时，算法性能会严重下降。另一方面，随着网络结构的加深，模型参数量和计算量越发庞大，如何提高计算效率是其中的重点。因此，本文针对超分辨率应用面临的两方面问题进行了深入的研究，主要内容包括： 1）提出了基于对比学习估计图像退化的超分辨率重建方法，用以解决输入图像带有未知退化的盲超分辨率问题。为了应对不同类型的图像退化，本文构建了包含退化估计分支和条件重建分支的网络模型。首先，退化估计分支利用对比学习判别式方法的特点，隐式地估计图像的退化表示，从而将模糊和噪声等纳入同一框架处理。同时，使用扩充数据集的预训练策略，可以更好地发挥其无监督学习的优势，提高特征提取能力。其次，条件重建分支利用估计的图像退化表示，通过退化通道注意力模块和退化空间注意力模块，动态地调整网络各层的特征，从而有效地适应不同退化的输入图像。 2）针对提升超分辨率模型计算效率的问题，构建了新的基于高效特征蒸馏网络的轻量级超分辨率算法。其中，提出的高效特征蒸馏模块通过对特征图灵活地分割和连接操作，在保留有用特征的同时进一步细化特征，减少网络参数的冗余。设计的增强像素注意力模块通过对特征图通道维度的挤压和激励，可以生成有效的像素级注意力权重，自适应地调整参数，增强网络的表达能力。此外，本文探索了不同激活函数对网络的影响，提出了多尺度热启动训练策略，使用不同尺寸图像块对网络进行多次训练，可以在保持推理时间不变的前提下进一步提升重建质量。 3）对本文研究的超分辨率模型进行了实际的部署与应用。首先，将PyTorch模型导出为开放神经网络交换格式ONNX，以此作为一种中间模型进行跨平台的模型部署。其次，使用TensorRT框架从ONNX模型构建本地化模型推理引擎，针对特定硬件设备平台进行 GPU 加速推理和优化，实现高性能地模型推理。此外，本文设计了图形化的超分辨率系统工具，通过直观地参数设置，可以选择不同的数据和模型进行超分辨率重建和测试，并使用 Streamlit 框架搭建了简单的 web 程序，为用户提供了更加便捷的超分辨率重建应用。 收起