摘要: 近年来数据量的爆炸、算法的不断改进、硬件的持续创新使深度学习理论与应用发展迅速。在自然语言处理领域许多问题中，使用深度学习方法的效果优于传统方法。文本分类是自然语言处理的重要应用之一，多年来一直被广泛研究。 文本表示与选择神经网... 展开 近年来数据量的爆炸、算法的不断改进、硬件的持续创新使深度学习理论与应用发展迅速。在自然语言处理领域许多问题中，使用深度学习方法的效果优于传统方法。文本分类是自然语言处理的重要应用之一，多年来一直被广泛研究。 文本表示与选择神经网络是使用深度学习方法解决文本分类问题的关键步骤，对于文本分类效果有着决定性的影响。目前，主流的文本表示方法有 One-Hot 与词嵌入两种，常用的神经网络包括标准神经网络、卷积神经网络、循环神经网络。为了探究上述因素的影响，针对英文短信过滤和中文新闻标题分类两个真实场景设计了多组实验，比较了上述主流技术组合的效果及效率。 实验结果表明词嵌入的文本表示方法比One-Hot更适合文本分类。例如，在英文短信过滤场景下，词嵌入的准确率比One-Hot最高有6.84%的提升。在文本分类问题中，循环神经网络优于卷积神经网络，卷积神经网络优于标准神经网络。例如，在中文新闻标题分类场景下，使用词嵌入的文本表示方法，循环神经网络的准确率比卷积神经网络高2%，卷积神经网络比标准神经网络高2%。除此之外，相比于One-Hot，词嵌入方式有着更小的内存开销，更适用于在资源受限的情况下，处理数据集很大的文本分类问题。在使用标准神经网络时，采用简单的求和方式就能保证准确率和计算开销同时优于求平均。 收起