摘要: 三维全景技术是虚拟现实技术的一个分支，在网络三维场景和网络虚拟教学等业务中得到了广泛的应用。该技术采用全景图像来渲染三维场景，而全景图像中常常会存在相机支架的残留影像，影响了图像质量和用户体验。通过对全景图像中的相机支架进行擦除，... 展开 三维全景技术是虚拟现实技术的一个分支，在网络三维场景和网络虚拟教学等业务中得到了广泛的应用。该技术采用全景图像来渲染三维场景，而全景图像中常常会存在相机支架的残留影像，影响了图像质量和用户体验。通过对全景图像中的相机支架进行擦除，改善全景图像的画面质量，有利于减少后期处理的工作量和资源消耗，为后续的图像处理和应用奠定基础。因此，这是一项有意义的研究工作。 针对目前全景图像处理中存在的问题，提出了一种基于生成对抗网络的支架擦除网络。支架擦除网络是一个由两分支自动编码器生成器和光谱归一化马尔科夫鉴别器组成的生成对抗网络。生成器通过识别分支精准定位支架区域后，利用重建分支合理地重建该区域的纹理，完成了相机支架的擦除任务。通过光谱归一化马尔科夫鉴别器和联合损失函数约束生成器的训练过程，有效地提高了生成器的识别能力和纹理重建能力，促进了全局纹理一致性，使支架擦除网络产生了更好的填充纹理。 为了处理高分辨率全景图像，提出了以支架擦除网络为核心的高分辨率支架擦除方法。该方法通过双三次插值算法将支架擦除网络修复完成的图像放大，并利用Canny边缘检测算法和近邻注意力机制向修复区域中转移高频特征，实现了高分辨率图像中的支架擦除任务。 由于缺少全景图像数据来验证本文提出的模型，首先收集和整理了一个包含498组全景图像的数据集Panorama_498，该数据集也将开放给研究人员用于研究全景图像处理的相关问题。然后通过在Panorama_498数据集上的实验结果表明，TRNet相对于LBAM、Criminisi、EnsNet等多种算法，能更有效地擦除全景图像中的多种相机支架。TRNet-HR相对于CRA、DFNet等支持高分辨率图像处理的模型，更好地支持了端到端处理流程。通过4组消融实验和2组对比实验，验证了TRNet和TRNet-HR在擦除相机支架任务上的有效性和优越性。 收起