摘要: 二维人体姿态估计是计算机视觉领域中的热点研究课题，最近几年在深度学习的帮助下取得了重大突破。然而对于实际场景中普遍存在的低分辨率（Low-Resolution，LR）图像，基于深度学习的姿态估计方法还无法达到可接受的准确率。LR图像下的姿态估计的难... 展开 二维人体姿态估计是计算机视觉领域中的热点研究课题，最近几年在深度学习的帮助下取得了重大突破。然而对于实际场景中普遍存在的低分辨率（Low-Resolution，LR）图像，基于深度学习的姿态估计方法还无法达到可接受的准确率。LR图像下的姿态估计的难点在于从图像中能够提取的信息有限并且缺乏判别性。已有研究表明超分辨率（Super-Resolution，SR）重建可以有效帮助其它视觉任务处理LR问题。本文受此启发，以SR辅助的姿态估计为基本算法框架，从两方面重建有利于姿态估计的高分辨率（High-Resolution，HR）图像，进而提高姿态估计在LR图像下的准确率。此外，本文还将LR图像下的姿态估计方法与基于人体姿态的行为识别方法相结合，提出了一种基于人体姿态的LR视频下的行为识别方法。本文研究成果如下： （1）通用的SR方法未考虑图像区域语义，导致重建的前背景图像质量处于同一层级，而这会对姿态估计网络产生干扰。为了粗粒度地增强人体区域信息表达，本文提出了一种人体感知的超分辨率（Body-AwareSuper-Resolution，BASR）重建方法，以辅助LR图像下二维人体姿态估计。该方法结合区域语义设计了一个定向的SR损失函数。该损失函数可指导SR网络生成人体区域图像质量优于背景的HR图像，从而弱化背景对姿态估计网络的影响。实验结果表明在LR图像下，BASR辅助的姿态估计要明显优于其它方法。 （2）为了在BASR的基础上，进一步重建出有利于姿态估计的细粒度图像特征，本文提出了一种姿态驱动的超分辨率（Pose-DrivenSuper-Resolution，PDSR）重建方法。该方法将姿态估计网络作为判别器，以驱动SR网络隐式地学习对姿态估计具有高判别性的图像特征，并且利用BASR保持像素相似性和增强人体区域的信息表达。实验结果表明了PDSR辅助姿态估计的有效性。 （3）针对行为识别中的LR问题，本文将PDSR辅助的姿态估计与基于人体姿态的行为识别相结合，提出了一种基于人体姿态的LR视频下的行为识别方法。该方法以双流卷积网络为基础，不仅通过融合姿态信息提取鲁棒的特征，而且利用PDSR辅助的姿态估计，为网络提供在LR视频下依然可靠的姿态序列。实验结果表明该方法对于LR视频输入能够得到较高的识别准确率。 收起