摘要: 随着深度神经网络技术的发展，情感识别的性能得到了极大的提高。目前提出的方法大多集中在数据样本的特征提取与融合上，更多地关注单个数据样本的特征，一方面忽略了数据样本之间的关联信息，另一方面没有充分利用数据样本的时序变化特征。为了探究... 展开 随着深度神经网络技术的发展，情感识别的性能得到了极大的提高。目前提出的方法大多集中在数据样本的特征提取与融合上，更多地关注单个数据样本的特征，一方面忽略了数据样本之间的关联信息，另一方面没有充分利用数据样本的时序变化特征。为了探究数据样本间的相关性，充分利用样本的时序变化特征，获得更准确的情感识别结果，本文开展了相关研究，主要工作总结如下： （1）针对目前方法忽略了短视频数据样本之间的关联信息问题，本文提出了一种基于关联图卷积的视频情感识别方法。本方法通过将数据样本中的音频特征与视觉特征进行分解双线性融合，实现了对数据样本的有效表征；通过利用多头注意力机制引导图结构建模，解决了目前方法忽略数据样本间关联信息的问题；通过密集图卷积网络对节点特征的更新，实现了关联信息的进一步挖掘。本方法在公开数据集上进行了评估，实验结果证明本方法对提高情感识别准确率的有效性。 （2）基于图卷积网络对挖掘视频数据样本间关联信息的成功应用，本文进一步考虑数据样本的时序变化特征，针对目前方法对对话交互时序信息利用不充分和对交互对话上下文信息挖掘不足和问题，提出了一种基于增量图卷积常识增强的对话情感识别方法。本方法通过将交互话语作为节点构建增量图结构，解决了目前方法未能充分利用数据样本时序特征的问题；通过引入常识知识，有效增强了样本数据的特征表征；通过图卷积网络对节点特征进行更新，实现了数据样本间关联信息的深入挖掘；通过引入Transformer解码器，实现了情感类别标签嵌入指导特征进一步的更新。为了验证本方法的有效性，本文在多个公开数据集上进行了大量实验，实验结果证明了本方法在情感识别任务上的优越性。 收起