摘要: 随着深度学习的在图像领域和语音处理领域的广泛应用，卷积神经网络也已经成为大多数自然语言处理任务的主流方法。文本分类作为自然语言处理一个非常有代表性的研究领域，是很多上层应用的基础。然而，目前应用于这一场景的网络模型层数通常比较浅，... 展开 随着深度学习的在图像领域和语音处理领域的广泛应用，卷积神经网络也已经成为大多数自然语言处理任务的主流方法。文本分类作为自然语言处理一个非常有代表性的研究领域，是很多上层应用的基础。然而，目前应用于这一场景的网络模型层数通常比较浅，相比于图像分类领域精心设计的深层网络而言，这些浅层网络无法捕捉到文本的层次化结构信息。此外，传统的文本表示以词袋表示为主，这种表示对单词之间的互信息缺乏准确的度量。词向量的提出一定程度上解决了这一问题，利用无监督学习得到单词的向量表示，引入了单词的共现信息。目前也有工作针对字符级别的文本表示提出自己方法，但这些模型对中文的预处理都非常粗糙，这个过程中损失了丰富的语义信息。 探索了目前在文本分类领域的各种文本表达和各种深度学习网络之后，针对中文短文本这一领域提出了自己的自抑制残差网络模型，对于此前许多工作中中文文本预处理过程过于粗糙导致信息丢失的问题，该模型采用字跟词联合作为输入数据，充分利用了中文独特的汉字信息。同时，对于采用更深的网络结构来获取文本的层次化表达之后导致的网络模型训练的难题，创新性的采用自抑制残差卷积模块取代之前的通用卷积模块来提高网络的综合表现。最后，对自抑制残差模块进行了拟合优越性和训练优越性两个方面的分析，并进行了全面的对比实验。 实验显示该网络模型能够在五个不同领域的的分类数据集中的三个上达到领先的效果，在Chat数据集上的准确率由86.92%提高至90.89%。虽然在两个较大的数据集上的效果比双向长短时记忆机略微逊色，但仅存在0.3%到0.5%的微小差异，然而在整个训练过程的时间开销上，双向长短时记忆机需要四倍于自抑制残差网络的时间才能到达有竞争力的结果，因此，在兼顾准确率和时间的情况下，自抑制残差网络仍然是最优选择。实验表明，自抑制残差网络的无论是在收敛速度还是在最终的精度方面远胜于包括传统卷积网络和残差网络在内的其他网络结构。整个网络训练过程没有引入任何额外的参数，避免了模型计算复杂度的升高。 收起