中国科学技术信息研究所--国家工程技术数字图书馆

[学位论文] 陈奕辰湖南师范大学 2015年硕士导师: 徐亮共57页

摘要 : 自动文摘是指通过计算机对文本信息进行一定处理，提取原始文本信息中的中心内容或对用户有价值的内容。自动文摘为人们提供了一个简洁和高效的获取信息的途径。本文提出了一种基于句子权重和篇章结构的自动文摘算法。首先，通过句子信息统计算... 展开

关键词 : 自动文摘篇章结构词语权重句子权重相似度计算

2. 基于TextRank的中文文本摘要抽取算法研究

[学位论文] 苏凯晟江西财经大学 2023年硕士导师: 廖汗成共66页

摘要 : 随着信息时代的快速发展，互联网上每天都有海量的中文文本数据产生，大量的数据资源涌入人们的视野，同时也带来了信息过载等问题。如何对海量的文本数据进行处理，使得人们能够快速地浏览到想要的文本内容变得愈发重要。因此通过技术生成文本摘要是... 展开随着信息时代的快速发展，互联网上每天都有海量的中文文本数据产生，大量的数据资源涌入人们的视野，同时也带来了信息过载等问题。如何对海量的文本数据进行处理，使得人们能够快速地浏览到想要的文本内容变得愈发重要。因此通过技术生成文本摘要是十分有必要的。在TextRank算法中，图模型构建的质量对生成的摘要结果有着重要影响。基于“投票”机制的节点权重计算需要同时考虑节点自身的重要性与相连节点的重要性，因此需要对图模型节点有更丰富地表示，节点之间边的关系应当也要有更深的考量。基于此，本文对该算法提出一些改进措施，以期生成质量更高的摘要。本文在图模型构建时引入BERT模型生成的句向量对节点进行表示，该模型具有更强的抽取能力，能够更好地表达文本语义信息。同时，使用余弦相似度计算规则计算句子之间的相似度，以此来改进原算法采用的基于内容重叠的相似度计算方式；不同重要程度的节点对其他节点的影响是不同的，本文提出了一种融合句子特征的边权重计算方式，同时考虑文本的语义信息和结构信息，将相似度矩阵与句子位置特征、句子关键词特征、句子线索词特征以及句子标题特征进行融合，优化节点间边的权重，以此改进原算法中边权重只考虑句子之间相似度的方式；针对抽取的摘要句间存在的语义重复问题，本文引入改进的最大边界相关算法对候选摘要句进行处理，通过减少语句的冗余提高摘要抽取的质量；本文将标题中的词语与从文本中抽取的关键词结合，共同构建文本的关键词表，将其应用于文本的关键词权重计算中。传统的TextRank算法在抽取关键词时仅以词共现形式进行节点间的构建，因此对关键词的抽取进行优化，结合Word2Vec模型与TextRank算法，引入外部语义特征生成词向量，综合考虑词的词性、词频、词位置、词跨度因素，结合词向量相似度关系对关键词进行抽取。本文首先对句子位置特征、句子关键词特征、句子线索词特征以及句子标题特征的重要程度进行比较，通过设计相关实验对各项特征的权重因子进行确定；为验证本文改进的关键词抽取算法性能，通过计算抽取的不同个数关键词的准确率、召回率以及F1值，将该算法与TF-IDF算法、传统的TextRank算法进行比较；使用Rouge指标对本文改进算法的抽取的摘要质量进行评价，并与Lead-N方法、MMR算法与TextRank算法进行对比实验。在NLPCC2017数据集对本文改进的关键词抽取算法与摘要抽取算法进行实验，结果表明在该数据集中两种算法的性能较于传统方法表现更优。收起

关键词 : 文本摘要 BERT模型句子权重 TextRank算法边权重计算

3. 基于子主题划分和句子特征的中文文档自动文摘研究

[学位论文] 张佳培重庆大学 2012年硕士导师: 李学明共60页

摘要 : 随着网络上电子信息的剧增，如何准确高效的获取需要的信息变得日益重要。文摘作为文档内容的概述，它的简洁性、概括性、可读性和客观性能够满足人们高效挖掘有用信息的需求。因此，自动文摘逐渐成为近年来自然语言处理领域的一个研究热点。本... 展开随着网络上电子信息的剧增，如何准确高效的获取需要的信息变得日益重要。文摘作为文档内容的概述，它的简洁性、概括性、可读性和客观性能够满足人们高效挖掘有用信息的需求。因此，自动文摘逐渐成为近年来自然语言处理领域的一个研究热点。本文首先介绍文摘的概念、自动文摘的国内外研究现状及研究方法。然后针对基于LexRank算法的文摘抽取存在的优缺点进行了讨论分析，提出了一种新的基于子主题划分和句子特征的中文文档自动文摘方法： ①将中文文档表示为以句子为顶点，句子之间的相似度为边权值的无向加权图结构。然后得到其最大生成树，并在最大生成树上采用改进的K-means算法完成聚类，得到的每个子类代表一个子主题。对文档进行子主题划分可以解决摘要的低主题覆盖率，得到更全面的文摘； ②在每个子主题内，句子权重由LexRank算法得到的句子显著度与句子特征的得分共同衡量，例如句子的长度、位置、标题词汇、指示性短语、句子结构等，从而得到更加准确和全面的句子权重； ③在抽取文摘前，首先对子主题按照重要度由高到低进行排序，然后按照压缩率依次从每个子主题中抽取当前权重最高的句子放入文摘句集合中。每当抽取一个文摘句后，就对该子主题中其他句子进行权重重置计算，以避免下次重复抽取相似度较高的句子。这样不仅可以使文摘较全面的表达文档的重要主题，而且可以减少文摘的冗余。最后使用哈尔滨工业大学社会计算与信息检索研究中心提供的单文档自动文摘语料库，对三种不同的自动文摘方法进行了对比。第一种是本文提出的方法，第二种是基于LexRank算法的文摘抽取方法，第三种是基于句子特征和LeRank算法的方法。实验表明本文提出的方法在准确率、召回率、F-measure和ROUGE指标上均优于其他两种方法，能够得到质量更高的文摘。收起

关键词 : 自动文摘方法子主题划分句子特征 K-means算法句子权重

4. 基于特征项权重与句子相似度的知识元智能提取技术研究

[学位论文] 唐静华西南交通大学 2017年硕士导师: 陈俊共70页

摘要 : 随着知识时代的到来，人类的认知粒度已经发生变化。人们对于知识的获取已不再停留于文献层面，而已经深入到知识元层面，人们需要获取针对特定问题的解决方案，需要快速定位、获取文献中包含的知识。知识元层面的知识组织方式解决了学科知识分... 展开随着知识时代的到来，人类的认知粒度已经发生变化。人们对于知识的获取已不再停留于文献层面，而已经深入到知识元层面，人们需要获取针对特定问题的解决方案，需要快速定位、获取文献中包含的知识。知识元层面的知识组织方式解决了学科知识分裂化的局面，实现了知识合作和知识共享。以知识元为基元通过知识元链接理论可以产生新的知识管理形式——知识网格，进而形成完整的知识服务系统，加快知识创造的速度，实现知识增值，推动由信息服务向知识服务的过渡，提高知识服务的效应，为人类知识学习和知识创新提供方法。因此，知识元提取技术的研究是有现实意义的。本文针对目前知识元提取存在的问题，研究知识元定义和结构模型，在已有的知识元结构模型基础上提出知识元五元组结构模型，利用改进的MF-S-TFIDF算法和句子权重算法提取文本知识元，并进行了实验验证，本文主要工作如下: (1)研究知识元理论以及与知识元提取相关的技术，分析国内外知识元智能提取技术的发展现状，总结归纳知识元定义，在已有的知识元结构模型基础上提出知识元五元组结构模型; (2)研究特征项权重算法，重点分析TF-IDF算法，弥补传统TF-IDF算法在词语语义层面的不足，利用词语相似度算法实现词语分类，将词语语义相似度与TF-IDF算法结合提出改进的S-TFIDF算法，在S-TFIDF算法基础上融合词语内部多特征因素提出改进的MF-S-TFIDF算法，并应用到特征项权重计算过程中; (3)改进句子相似度算法，重点分析基于词型匹配和基于编辑距离的句子相似度算法的不足，在基于词型匹配的句子相似度算法中加入词语语义信息，在基于编辑距离的句子相似度算法中增加非相邻块的交换操作并考虑词语语义信息以及词语内部因素对编辑距离的影响，提出改进的句子相似度算法，并应用到句子相似度计算过程中; (4)研究句子权重算法，融合句子多特征因素进行句子权重计算; (5)整合知识元智能提取算法，进行知识元属性提取，获取结构化知识元，进行实验对比和算法评估。最后对本文研究内容进行总结，提出下一步的工作展望。收起

关键词 : 知识元智能提取特征项权重句子相似度

5. 基于关系向量模型的句子相似度计算及自动文摘研究

[学位论文] 殷耀明厦门大学 2014年硕士导师: 张东站共61页

摘要 : 句子相似度计算在自然语言处理的各个领域占有很重要的地位，一些传统的计算方法只考虑句子的词形、句长、词序等表面信息，并没有考虑句子更深层次的语义信息，另一些考虑句子语义的方法在实用性上的表现不太理想。本文在空间向量模型的基础上提出了... 展开句子相似度计算在自然语言处理的各个领域占有很重要的地位，一些传统的计算方法只考虑句子的词形、句长、词序等表面信息，并没有考虑句子更深层次的语义信息，另一些考虑句子语义的方法在实用性上的表现不太理想。本文在空间向量模型的基础上提出了一种同时考虑句子结构和语义信息的关系向量模型，这种模型考虑了组成句子的关键词之间的搭配关系和关键词的同义信息，这些信息反应了句子的局部结构成分以及各局部之间的关联关系，因此更能体现句子的结构和语义信息。以关系向量模型为核心，提出了基于关系向量模型的句子相似度计算方法。同时将该算法应用到网络热点新闻自动摘要生成算法中，排除文摘中意思相近的句子从而避免文摘的冗余。实验表明，在考虑网络新闻中的句子相似度时，与考虑词序与语义的算法相比，关系向量模型算法不但提高了句子相似度计算的准确率，计算的时间复杂度也得到了降低。自动文摘研究如何利用计算机自动地从自然语言文本中提取摘要，摘要中应包含原文的核心内容或用户感兴趣的内容，并以语意连贯的段落乃至篇章的形式输出。当前，基于理解的文摘是在对全文理解的基础上进行的，由于受到知识不足的限制，只能适用于某些较狭窄的领域。基于统计的机械文摘根据文章的外在特征抽取原文中的部分句子作为摘要，当前的一些系统获得了一定的实际应用，但是文摘的质量不太稳定，缺乏句间的连贯性，有时存在摘要冗余。本文介绍了衍生于互联网的热词概念，并在其基础上提出了一种基于热词权重和句子特征的自动文摘系统。该系统首先根据热词词典从文章中获取热词，对热词的长度、频率、热度属性进行归一化处理。然后，对于组成文章的每一个句子，按文中提出的拟合函数计算句子的权重。同时，为利用标题中的有效信息，文中提出了一种标题类型的判断方法，并根据判断结果进一步修改句子的权重。在文章中所有句子权重处理完毕后，按权重值从高到低选择句子组成文章的粗文摘，直到粗文摘长度达到预先设定的值。最后，对粗文摘进行了指代和冗余消除，并按句子在原文中的顺序依次输出构成最终文摘。网络文章的自动摘要实验结果表明，本系统在准确率和召回率指标上均有较大提高，具备一定的实用性。收起

关键词 : 关系向量模型句子相似度计算热词权重句子特征自动文摘系统

6. 基于TextRank算法的中文文献自动摘要提取研究

[学位论文] 赵君华中科技大学 2019年硕士导师: 龚晓光共57页

摘要 : 大数据时代产生庞大文献资源的同时，也出现了信息过载的问题，文本数量已经远远超出人工处理的极限。借助自动摘要技术，对文本生成精炼的“思维导图”形式摘要，可迅速了解全文的核心内容框架；文献检索数据库能更准确有效地进行论文比对和查重；各... 展开

关键词 : 中文文献摘要提取 TextRank算法句子权重关键词

7. 自动文摘后处理算法的研究和实现

[学位论文] 刘俊斐湖南师范大学 2016年硕士导师: 徐亮共47页

摘要 : 自动文摘是通过计算机对导入的文档进行一系列的处理后，摘取原文主要信息做成文摘反馈给用户。通过自动文摘，用户可以在短时间内有效的从海量的信息当中了解到自己所需要的信息。当前，如何快速从长篇文章中获取有效的信息形成摘要已经成为争相研究... 展开

关键词 : 自动文摘句子结构优化转折权重消冗算法

8. 基于事件的多文档自动文摘系统的研究

[学位论文] 桂卓民华中师范大学 2010年硕士导师: 何婷婷共58页

摘要 : 互联网上对一个简单事件的咨询，就可能返回成百上千的网页，而且其中有大量重复的网页、大量不相关的数据，用户不得不花费很多的精力去寻找有用的结果。这迫切需要一个帮助人们快速浏览信息的工具，该工具不仅提供的是直接的文档；而且是经过加工整... 展开互联网上对一个简单事件的咨询，就可能返回成百上千的网页，而且其中有大量重复的网页、大量不相关的数据，用户不得不花费很多的精力去寻找有用的结果。这迫切需要一个帮助人们快速浏览信息的工具，该工具不仅提供的是直接的文档；而且是经过加工整理，包含这些文档的重要、全面的信息。多文档自动文摘技术就是将大量采集到的相关主题信息浓缩为一个包含该主题下的所有全面内容，并且内容简练、组织良好、冗余低的摘要，将人们从繁琐、冗余的信息中解脱出来。其研究目的在于解决从海量数据中获取有用信息的困难，提高信息获取及浏览的速度、适应不同用户对信息的个性化需求。本文主要针对于互联网上的事件网页信息，开发一个完整的基于事件的多文档自动文摘系统。该系统能够获取事件并从互联闷上采集相关的事件网页信息，并整合相关的信息，压缩成事件的自动摘要的形式提交给用户。本文在以下几个方面展开相关研究：第一，设计出了一个基于Internet的网络事件的中文自动文摘系统。该系统采用元搜索引擎方法从网络中获取一定时间内的事件，用户也可以输入感兴趣的事件话题；然后针对于事件话题，调用搜索引擎采集相关的事件网页信息；最后利用多文档自动文摘技术生成摘要提交给用户。第二，在事件多文档摘要过程中，通过倒几率比算法评价词语权重来抽取权重最高的前25个特征项作为相应事件的相关特征集；提出利用句子内部和外部两方面的特征综合衡量句子的权值的策略；在摘要句抽取时，提出了基于字符串间的匹配、句子的词义相似、句子的词义相似等特征融合的方法计算句子间的相似性，去掉冗余句。第三，在系统性能评价方面，采用百度百科的事件解释或人工的结果作为标准文摘，利用句子平均重合率、国际多文档自动文摘比赛标准的评测体系ROUGE-2和ROUGE-4等评价指标来衡量系统摘要的质量。收起

关键词 : 多文档自动文摘事件自动文摘特征项提取句子权重计算句子相似度计算

9. 基于句法和语义的句子表示方法

[学位论文] 乐雨泉湖南大学 2019年硕士导师: 全哲共64页

摘要 : 句子相似度建模是许多自然语言处理应用的核心，因此备受关注。由于语言表达的模糊性和可变性，测量句子相似性具有挑战性，近年来也受到了很多关注。以前大量的工作集中在特征工程上，并且已经证明几种类型的稀疏特征是有用的。最近，由于词嵌入的成... 展开句子相似度建模是许多自然语言处理应用的核心，因此备受关注。由于语言表达的模糊性和可变性，测量句子相似性具有挑战性，近年来也受到了很多关注。以前大量的工作集中在特征工程上，并且已经证明几种类型的稀疏特征是有用的。最近，由于词嵌入的成功，研究人员试图通过句子嵌入来研究句子相似性建模。这一类中的大多数方法专注于学习句子的语义信息并将其建模为连续向量，然而句子的句法信息尚未被充分利用。另一方面，先前的工作已经显示了包含句法信息的结构树的优势，而该分支中很少有方法利用了词嵌入的优点和另一种强大的技术—注意力权重机制。受以上观察的启发，本论文试图吸收上述技术的优点，并开发出更有效的方法。简而言之，本论文提出了ACV-tree模型，该模型使用结构化方式进行句子相似度建模。它无缝集成了语义信息，句法信息和注意力权重机制。为了测量相似性，本论文开发了一种新的树核，称为ACVT核函数，它是为本论文提出的结构量身定制的，旨在实现高可操作性。ACV-tree模型可以用作一般框架，因为可以将词嵌入和注意力权重机制视为框架的构建块，允许使用其它现成的(或更强大的，将来开发的)词嵌入技术或者注意力权重方案替换。此外，与大多数基于句子嵌入的模型不同，一旦词嵌入提供，ACV-tree模型就可以免于耗时的学习/训练。另一方面，还存在基于词嵌入的句子相似性建模模型。然而，与基于词嵌入的模型相比，ACV-tree模型可以在本论文实验中使用的几乎所有数据集上取得更好的性能。为了验证提出模型的效果，本论文采用了来自于国际语义评测SemEeval大赛语义文本相似度(SemanticTextualSimilarity，简称STS)任务一共19个数据集。每个数据集包含许多对句子。这些数据集涵盖了广泛的领域，例如新闻数据集，网络论坛数据集，图像数据集，推特数据集等。基于这19个广泛使用的STS数据集的实验结果表明，与最先进的模型相比，ACV-tree模型是有效且具有竞争力的。此外，本论文通过使用各种注意力权重机制和词嵌入技术来研究ACV-tree模型的普遍性。具体来说，本论文已经探索了许多基于词嵌入，注意力权重机制以及句法的变体方法。实验结果验证了多种注意权重机制和词嵌入技术可以无缝集成到ACV-tree模型中，展示了ACV-tree模型的鲁棒性和通用性。收起

关键词 : 自然语言处理句子相似度树核函数注意力权重机制

10. 面向神经机器翻译的领域适应方法研究

[学位论文] 张诗奇苏州大学 2019年硕士导师: 熊德意共73页

摘要 : 数据驱动的机器翻译技术的性能在很大程度上取决于训练和测试数据之间的领域匹配程度。由于不同领域训练数据差异大导致跨领域翻译性能下降，研究者通常通过使翻译系统适应到目标领域的方法来提高特定领域的翻译性能。神经机器翻译(NMT)领域适应研究的... 展开数据驱动的机器翻译技术的性能在很大程度上取决于训练和测试数据之间的领域匹配程度。由于不同领域训练数据差异大导致跨领域翻译性能下降，研究者通常通过使翻译系统适应到目标领域的方法来提高特定领域的翻译性能。神经机器翻译(NMT)领域适应研究的主要策略大致可以分为两类:一类是将领域外的知识迁移和适应到领域内的翻译中;另外一类是使用混合领域语料构建翻译模型来翻译多领域文本。本文分别针对这两类情景，开展了面向神经机器翻译的领域适应方法研究。本文主要工作包括: (1)基于句子权重的神经机器翻译的领域适应方法。在机器翻译中，与目标领域相关的那些领域外的实例对于模型的训练通常是有益的，而那些与目标领域不相关的领域外数据可能会降低翻译质量。在本文中，提出一种基于句子权重的领域适应方法，根据句子与目标领域的相关程度来评估句子的权重，并将权重融入NMT影响参数更新。将该方法应用在标准的领域适应和低资源领域伪语料训练的两个场景中，在中英IWSLT领域适应任务和低资源的电商领域翻译任务中，该方法均取得了特定领域翻译性能的显著提升。 (2)基于自注意力机制的神经机器翻译的多领域适应方法。在通用平行语料库上训练的模型通常会受到数据领域多样性的影响，期望用单个模型来同时提升多个领域的翻译质量。在本文中，为多领域翻译提出了一种基于领域感知的自注意力机制，强制NMT模型同时编码和解码语义信息和领域信息，联合学习领域表示以训练多领域的神经机器翻译系统。在中英和英法的多领域翻译任务上，实验结果显示，各个领域的翻译质量均得到了提升，表明了基于领域感知的自注意力机制的多领域NMT方法在多领域适应上的有效性。 (3)基于无监督单词级别的神经机器翻译的多领域适应方法。现实的多领域的翻译场景要求模型具有可扩展性，且能适用于未知领域信息的句子输入的训练与翻译。在本文中，提出了基于无监督单词级别适应的多领域神经机器翻译模型，与基于领域感知的自注意力机制一起，通过基于领域注意力网络的单词级别的无监督学习、加入辅助的损失的引导学习等方法来学习词的领域表示。在中英多领域翻译任务上的实验和分析表明，我们的模型显著优于基线系统，并且确实学习到了数据的领域结构。进一步的分析实验表明，即使没有与领域结构相关的先验知识，我们的模型也可以学习到领域信息，并将句子按领域聚集起来。收起

关键词 : 神经机器翻译系统领域适应句子权重自注意力机制无监督单词级别