摘要: 该文对基于支持向量机的中文文本分类做了深入的研究,并用约两万个文档的语料库进行实验.研究结果表明,利用中文分词软件并只使用名词作为文档向量的组成元素,中文分类的效果优于英文.在使用SVD变换文本向量空间之后,分类效果平均可改善21%.该文的研究... 展开 该文对基于支持向量机的中文文本分类做了深入的研究,并用约两万个文档的语料库进行实验.研究结果表明,利用中文分词软件并只使用名词作为文档向量的组成元素,中文分类的效果优于英文.在使用SVD变换文本向量空间之后,分类效果平均可改善21%.该文的研究同时也表明,SVD并未为SVM算法提供新信息,其作用相当于一个滤除噪声的滤波器,SVM解函数集的VC维与词频-文档矩阵的秩有关.该文最后提出一个计算词汇特征的概率模型,这个模型假定每一个词汇在文档中的出现频率服从Zipf定律,由此导出全体词汇的分布密度函数簇,并用最大似然法导出决定各个词汇分布密度的参数值.用训练集随机抽取的词汇进行拟合检验的结果表明,这一假定基本符合实际的分布.该文的研究还指出,基于这个概率模型的文本向量,可用两者共同出现的概率代表向量之间的相似度.实验表明,基于此概率模型的SVM使分类效果平均改善了37.9%,其中最好的查准率和查全率达到98%以上. 收起