摘要: 图像语义分割是自动驾驶、机器人导航和农业科学等领域中最基本的理解任务，是将大尺寸高分辨率图像中的每个像素归为一类语义标签。多年来，神经网络已被证明是一种成功的解决方案，但目前工作主要集中在卷积网络上。随着研究的不断深入，许多场景中... 展开 图像语义分割是自动驾驶、机器人导航和农业科学等领域中最基本的理解任务，是将大尺寸高分辨率图像中的每个像素归为一类语义标签。多年来，神经网络已被证明是一种成功的解决方案，但目前工作主要集中在卷积网络上。随着研究的不断深入，许多场景中的物体呈现出非常大的尺度变化，这对全局表示和局部细节提出了很大的挑战：(1)大尺度图像中背景嘈杂，许多对分割任务有重大意义的小物体例如交通指示灯，由于其他物体的遮挡很容易淹没在错综复杂的背景中，导致不能准确识别物体的边缘信息，分割结果差强人意；(2)卷积网络擅长依赖卷积操作来处理局部信息，但忽略了上下文信息，缺乏对全局的描述，导致在获取遥远区域之间的全局关系时表现不佳，并受限于卷积网络的感知野，导致大物体识别不完整，语义混乱边缘粗糙。 针对语义分割在全局表示和局部细节中暴露出来的问题，本文设计一套类Inception错误!未找到引用源。多路并行图卷积(Similar to Inception Multiple parallel Graphconvolution，STIMG)的语义分割方法。该方法以优化过的ResNet网络和STIMG模块两部分构成。其中，优化过的ResNet网络结合了skip结构，并依据二维熵进行通道筛选；而STIMG模块首先通过多路采样得到通道更多语义更丰富的特征图，再利用核函数和误差函数增强图卷积功能，并在计算过程中利用一维卷积优化计算效率；最终以优化过的ResNet网络错误!未找到引用源。为主干，在其中嵌入STIMG模块，将二者完美融合。主要创新点： (1)针对语义分割方法在大范围内上下文信息难以交流的问题，STIMG模块实现了任意区域之间的全局信息推理和局部细节增强，特别是在背景纷乱的图像中，提高不显眼物体和大型物体的分割准确率，最终达到精细分割边缘的目的。 (2)优化过的ResNet网络让抽象的语义信息和易懂的外观信息进行互补，为分割任务提供层次多样的语义丰富的特征图，帮助得到更细致的分割结果。 (3)STIMG是便捷式的，可进行端到端训练，对输入规格不敏感，稍加改动就可插入到主流的深度网络，提高网络性能，特别是可以改善不显眼和大型物体的分割准确率。 本文使用Cityscapes数据集检验STIMG，在使用更小训练集和平均结果追平最佳语义分割模型的前提下，极大修复了现有模型对不显眼物体识别粗糙和超大物体分割不准确的问题，达到细化分割边缘的目标。 收起