摘要: 情感在人们的日常生活中扮演着至关重要的角色，它影响着人类的决策、感知和理解过程，因此情感是人际交往中必不可少的因素。由于情感是人类最重要的认知活动之一，将这种认知能力应用到人工智能中能够促进和提高人机之间的交互与协作。情感计算的目... 展开 情感在人们的日常生活中扮演着至关重要的角色，它影响着人类的决策、感知和理解过程，因此情感是人际交往中必不可少的因素。由于情感是人类最重要的认知活动之一，将这种认知能力应用到人工智能中能够促进和提高人机之间的交互与协作。情感计算的目标是发展具有能够感知、理解和调节情感能力的人工智能。作为情感计算中最重要的一环，情感识别为将人类情感赋予智能机器提供了一种可能的途径，这是研究具有情感能力的人工智能的第一步。 脑电信号（Electroencephalograph，EEG）能够直接反映大脑细胞的潜在神经活动，具有不易伪装、采集便携等特点，相比面部表情、身体姿态等外部特征具有更好的客观性。近年来，基于脑电信号的情感识别研究已经成为人工智能领域发展中的热点之一。但是，脑电信号自身的复杂性和非平稳性是利用其构建情感识别模型的两个障碍。此外，脑电信号易受到个体差异性的影响，从而导致模型性能不够稳定，识别算法的通用性可能会降低。因此，如何在脑电信号中挖掘更有效的相关性信息以及提取更能反映情感状态的高层次表示，是构建具有更强泛化性能的情感识别模型的重要前提。考虑到人类情感是一种高度主观的现象，脑电信号也会因为个体差异（如人格特征、性别和年龄等）的影响而产生区别，从而很大程度限制了模型的表现能力。因此，将这些影响因素融入到脑电信号的建模和情感识别的过程中是非常有必要的。针对脑电情感识别建模中存在的缺陷，本文深入挖掘了个体差异性、脑电信号和情感状态之间的相关性，提出了一种基于知识引导注意力机制的脑电情感识别模型。论文主要研究工作和成果包括：（1）提出一种基于知识引导注意力机制的循环卷积神经网络模型：首先利用卷积神经网络强大的表示学习能力提取脑电信号中丰富的时域和空域表示，并设计一个特殊的卷积核来同时学习大脑不同区域间和区域内的相关性。其次，考虑到不同人格、年龄和性别的个体，其脑区的活动状态也不同，造成大脑不同区域对于情感识别的贡献程度存在差异，因此进一步提出一种基于知识引导的区域注意力机制来探索不同大脑区域对情感识别任务的贡献程度。最后，使用基于注意力机制的长短时记忆网络对脑电信号的动态时域特征进一步建模。 （2）提出一种基于知识引导注意力机制的图神经网络模型：考虑到（1）中所述的基于脑区的空域模型无法深入提取每个电极的局部特征，本文通过引入图神经网络对呈现非欧式规则的脑电电极进行建模，更加细致的学习脑电信号的空域特征。与以往基于预定义图结构的研究不同，本文提出了结合脑区编码信息的自适应图表示学习，以数据驱动的方式自适应的学习脑电信号的图结构表征。之后使用基于注意力机制的时域卷积网络学习脑电信号的时域特征，同时使用基于知识引导的图注意力网络更深入的探索脑电信号的空域信息，在有效结合脑电信号的时空域特征下，实现了更加精准的情感识别。 （3）通过在AMIGOS脑电情感数据库上进行对比实验，在Arousal和Valence两个维度的情感分类结果表明，与其他传统机器学习方法和现有深度学习方法相比，本文提出的基于知识引导注意力机制的循环卷积神经网络模型在被试独立的情感识别任务中具有更加优秀的分类能力，在AMIGOS数据集上相比于现有的研究方法分类准确率提升了11%-16%，有力论证了本研究所考察的知识引导的有效性。在引入图网络对呈现非欧式规则的脑电电极进行建模后，分类准确率进一步提升了2%-3%。通过对注意力权重和学习得到的邻接矩阵的可视化分析，结果表明所提出的模型同时也具有较好的可解释性。所有实验结果证明了引入其他影响因素对基于脑电信号的情感识别建模是有效的。 综上所述，本文提出的基于知识引导注意力机制的脑电情感识别模型可以深入挖掘脑电信号与情感及个体间的潜在关系，并提取出更具区分性和判别性的有效表示。这意味着有必要对脑电信号和其它影响因素进行融合建模，进一步提升分类模型的鲁棒性和泛化性，这为基于脑电信号的情感识别建模提供了一种新的思路。 收起