中国科学技术信息研究所--国家工程技术数字图书馆

[学位论文] 盛鑫中国科学技术大学 2022年博士导师: 徐林莉；许胤龙共117页

摘要 : 文本生成在自然语言处理领域中是一个非常重要的任务，其致力于使用计算机生成贴近人工写出的高质量文本。文本生成也有着非常广泛的应用，如机器翻译、文本摘要、情感文本生成等。近年来涌现出了很多优秀的生成式模型，如变分自编码器和生成对抗网络... 展开文本生成在自然语言处理领域中是一个非常重要的任务，其致力于使用计算机生成贴近人工写出的高质量文本。文本生成也有着非常广泛的应用，如机器翻译、文本摘要、情感文本生成等。近年来涌现出了很多优秀的生成式模型，如变分自编码器和生成对抗网络，它们在诸多文本生成任务上都展现出了非常优异的性能，但是仍然面临着一些挑战。基于变分自编码器的文本生成模型所输出样本的语义较为含糊，而基于生成对抗网络的文本生成模型则存在着如训练稳定性低、合理性不足以及模式崩溃等缺陷。基于生成对抗网络的方法在实际的文本生成应用中也存在不足，如在生成式文本摘要中，传统基于生成对抗网络的方法仅能提高生成摘要的真实度，但无法保证其与输入源文本间的语义一致性。针对基于对抗式学习的文本生成技术，本文分别从算法的鲁棒性角度和应用角度进行研究。具体地，在鲁棒性方面，就稳定性不足及合理性不足提出解决方案;在应用方面，就生成式文本摘要中语义一致性不足及多类别文本生成中标签信息利用不充分提出解决方案。本文的主要贡献包含以下四个部分: 首先，针对对抗文本生成模型训练稳定性不足的问题，本文在机器翻译任务上提出了基于自省的变分自编码模型。具体而言，该方法在传统的变分神经机器翻译模型的基础上引入对抗训练范式来实现自省式学习，目标是将生成对抗网络中的生成器和判别器通过变分自编码器的思想联合起来，从而保证训练的稳定性。不同于传统变分神经机器翻译模型，该模型中的推理器能够通过高层级隐变量来评估其对应输入目标语言句子的质量，并对生成的目标语言句子和真实的目标语言句子进行区分。相应地，该方法也促使模型中的解码器生成更加真实的目标语言句子。大量的实验结果表明，该方法能够有效缓解生成对抗网络训练不稳定和变分自编码器语义模糊的问题，且相比于其它基于变分自编码器的模型而言，该模型可以实现显著的性能提升。其次，针对对抗文本生成模型合理性不足的问题，本文提出了一种基于正例无标签学习的对抗文本生成算法。在传统基于生成对抗网络的文本生成模型中，真实文本被认为是正例样本而生成文本则被认为是负例样本，且这种绝对的正负例原则贯穿整个判别器的训练过程。然而实际上，生成文本的质量会随着训练过程而不断提高，其中一些生成文本的质量甚至与真实文本相当。因此，将生成文本视为无标签样本是更合理的假设，即认为生成文本包含高质量部分和低质量部分，且其中高质量部分的真实性逼近于真实文本。本文按照该思路重新定义了生成对抗网络中判别器的优化目标，即通过真实文本的指导来识别出生成文本中的高质量部分，并引导生成器去优化低质量部分。大量实验结果表明，该方法在多个评测指标上为模型带来了明显的性能提升。然后，针对生成式文本摘要中语义一致性不足的问题，本文提出了一种基于孪生生成对抗网络的语义保留生成式文本摘要模型。与一般基于生成对抗网络的生成式文本摘要模型不同，本文提出的方法不仅可以提高生成摘要的真实度，还可以保证生成的摘要与输入源文本之间的语义一致性。模型中的判别器由一组孪生网络构成，其通过编码器输出表征间的余弦相似度来捕捉输入源文本与摘要文本之间的语义一致性。该判别器的目标是在尽可能提高输入源文本与真实摘要间的语义一致性的同时，降低输入源文本与生成摘要间的语义一致性。相应地，模型中的生成器将在判别器的指导下生成与输入源文本语义一致性更高的摘要。多个数据集上的实验结果表明，该模型相较于基线模型实现了明显的性能提升。最后，本文提出了一种基于对比学习的对抗多类别文本生成模型。现有的基于生成对抗网络的多类别文本生成模型主要考虑文本嵌入与对应的固定独热标签之间的关系(“数据-类别”关系)，如将交叉熵损失函数作为训练目标。不同于此，本文提出的模型引入了对比学习的思想来考虑更加灵活的“数据-类别”关系，并进一步考虑了文本数据间的关系(“数据-数据”关系)。具体而言，模型中的判别器的目标是拉近文本嵌入与其对应的类别标签嵌入之间的距离，同时拉近属于同一类别标签的不同文本嵌入之间的距离。相应地，模型中的条件生成器可以在判别器的指导下生成包含更加丰富的类别信息的文本。大量的实验结果表明，该模型在多个评测指标上相较于基线模型得到了明显的性能提升。收起

关键词 : 文本生成生成对抗网络机器翻译生成式文本摘要

2. 面向开放式文本生成的智能算法研究与实现

[学位论文] 刘哲君电子科技大学 2021年硕士导师: 陈安龙共121页

摘要 : 随着语言模型建模能力的增强，使用机器生成流畅的句子或片段已经不再困难，然而当长度增加时，生成文本往往难以保持原有的高质量，开始出现严重的不一致和退化问题。究其根本原因，一是由于语言模型对自然文本的建模存在偏差，无法保证预测的概率分... 展开随着语言模型建模能力的增强，使用机器生成流畅的句子或片段已经不再困难，然而当长度增加时，生成文本往往难以保持原有的高质量，开始出现严重的不一致和退化问题。究其根本原因，一是由于语言模型对自然文本的建模存在偏差，无法保证预测的概率分布总是符合上下文语境，导致生成的词语与前文不一致或不相关。二是解码算法没有对语言模型的偏差合理规避，使得不一致或不相关问题随长度增加而逐渐累积，最终偏离了原有质量。基于以上原因，本文分别从语言模型和解码算法两方面对提高文本一致性和长文本生成质量展开了研究，其主要内容如下：（1）在Transformer-XL基础上改进并设计了基于全局记忆的可控长文本生成模型，它将Transformer-XL的Memory分割为本地化记忆和全局化记忆两部分，既继承了Transformer-XL对长文本建模的优势，又能实现可控文本生成，内容文本对于同一控制信息的依赖还能提高一致性，改善长文本生成质量。（2）设计了一个基于采样的启发式树搜索解码策略，它包括生成器和评估器两个构件，其中生成器用于生成句子，评估器用于给句子打分，算法以句子为单位对生成过程进行控制，得分低的句子会在后续解码中被舍弃。通过额外的评估器评分和独有的回退机制，基于采样的启发式树搜索算法能够尽量地避免偏差在生成文本中的积累，特别是在生成长文本时具有极大优势。（3）从提高一致性和灵活性考虑，分别设计了温度核采样和带采样的多样集束搜索算法。其中温度核采样是核采样算法的改进版本，以增加一行代码的代价大幅提高了一致性；带采样的多样集束搜索算法解决了多样集束搜索总是产生固定化输出的问题，提高了生成的灵活性。此外，本文还设计了一种改进的重复惩罚策略，它根据重复程度动态地计算惩罚因子，能够更彻底地避免文本重复问题。（4）针对以上方法进行了全面的实验评估，证明了改进方法的有效性。同时应用改进的模型和改进的算法时，其BLEU得分相较于GPT2提升约33%，与人类文本在一致性得分上的差距相比于基线方法缩小了一个量级。最后，基于以上研究设计并实现了一个开放式文本生成系统，该系统集成了多种解码算法，允许生成时自由选择。系统还提供了模型训练和文本评估功能，能够满足各开放式文本生成任务的基本需求。收起

关键词 : 文本生成开放式文本生成长文本生成语言模型解码策略

3. 基于深度学习的中医文本生成方法

[学位论文] 李婵娟四川大学 2022年硕士导师: 吕建成共81页

摘要 : 中医作为一种古老的医疗保健方法，在中国已经使用了数千年。在这一过程中积累了大量的经典书籍和文献，其中蕴含的理论是非常有价值的。而深度学习作为当今的先进技术，在西医领域已经获得了巨大的成功，如智能诊断和手术机器人等。相比之下，结合中... 展开中医作为一种古老的医疗保健方法，在中国已经使用了数千年。在这一过程中积累了大量的经典书籍和文献，其中蕴含的理论是非常有价值的。而深度学习作为当今的先进技术，在西医领域已经获得了巨大的成功，如智能诊断和手术机器人等。相比之下，结合中医的相关研究却较少。大部分的中医数据都是以文本的形式保存的，如果将深度学习中的文本生成方法运用到中医领域，相信可以加快中医信息化的进程，促进中医的传播和推广。然而，中医理论复杂，且大规模的、公开的电子化数据集很少。因此，在中医领域结合文本生成技术进行相关研究不仅具备深厚的研究价值和意义，更具有非常大的挑战性。基于上述背景，本研究从智能辅助诊疗角度，选取中药处方生成和中医问题生成两个文本生成任务进行探索性研究。中药处方生成通过挖掘经典处方规律，辅助从业人员开具合理的处方，而中医问题生成可以实现高效、自动地构建中医问答知识库，在中医从业人员教育、自动问诊和辅助治疗领域发挥重要的作用。主要研究内容和贡献总结如下：首先，提出了一种融入知识的中药处方生成模型HKE-PG。将中医开方过程视为序列到序列生成任务，以病人症状描述为输入，模型输出处方。过去的研究主要是直接学习症状和中药处方之间的关系。然而，中医在开具处方时常会参考中药的功效信息。本研究模拟医生的开方思路，引入中药功效数据作为外部知识，症状信息和外部知识通过联合注意力机制共同解码生成处方。在典籍处方数据集和现代经典教科书处方数据集上进行实验，结果表明，我们的方法可以依据中药知识来生成更好、更有意义的处方，其机器评估优于多个基线模型，并通过人工评估和示例分析证明其有效性。其次，提出了一种基于预训练模型的中医问题生成模型SPTAdv-QG。主要思想是将序列到序列的掩码结构与预训练模型相结合，利用预训练模型强大的语言表征能力，实现端到端的问题生成。但中医语料与预训练模型的训练语料存在较大的差异，为了弥补通用预训练与中医领域任务微调之间的差距，利用中文医学问答数据进行二次预训练，将领域知识和任务知识迁移到预训练模型中，在此基础上再进行任务的微调。另外，由于数据集规模较小，为了缓解网络过于拟合任务文本，将对抗训练引入到模型中。实验结果显示提出的方法在有限的训练数据下取得了有竞争力的性能。收起

关键词 : 文本生成深度学习处方生成问题生成

4. 基于生成对抗网络的文本自动生成方法研究

[学位论文] 孙博哈尔滨工业大学 2017年硕士导师: 王岢共65页

摘要 : 近年来，人工智能技术发展迅速，人工智能技术的应用领域也不断扩展，如智慧城市、自动驾驶、内容分发和人脸识别等。自然语言处理领域同样也存在着诸多人工智能技术可以落地的场景，文本的自动生成就是其中之一。作为一项基础性工作，本文所研究的文... 展开近年来，人工智能技术发展迅速，人工智能技术的应用领域也不断扩展，如智慧城市、自动驾驶、内容分发和人脸识别等。自然语言处理领域同样也存在着诸多人工智能技术可以落地的场景，文本的自动生成就是其中之一。作为一项基础性工作，本文所研究的文本生成模型可以作为一个模块未来应用于输入法、文本的特征提取、文本自动纠错等更多的任务上。目前文本生成任务在学术上的研究主要集中在深度学习模型上，但实际产品中大多使用的仍然是基于模板的文本生成方法。造成这种研究与应用间差异的主要原因在于基于深度学习的文本生成模型还不够完善，对目标文本的模拟不够细致。但是文本生成模板的总结需要大量的人工辅助和先验知识，且只针对特定场景，扩展性不强。因而，对基于深度学习的文本生成技术进行研究更具有现实意义。为突破文本生成的技术瓶颈，本文提出了更加高效的文本生成模型，并在构建的文本数据集上对其效果进行了实验。具体来说，本文的研究工作可以分为两个部分：一是对文本生成和图像生成两大领域进行了广泛调研，分析比对了单一网络与生成对抗网络框架的优劣。将生成对抗网络中的生成器网络与强化学习技术相结合构建了基础文本生成模型，解决了原始生成对抗网络模型无法处理离散型数据的问题。仿照机器翻译中的相关工作，设计了“相似度得分”指标来衡量文本生成的质量，并使用该指标将基础文本生成模型与传统的循环神经网络文本生成模型在超声检查报告数据集和长篇小说数据集上进行了实验对比。二是深入分析了基础文本生成模型的缺陷。针对蒙特卡洛搜索方法不足量采样导致实际回报函数具有较高的方差的问题和补全文本所需要的大量的采样运算导致模型收敛速度慢的问题，使用卷积神经网络对判别器网络进行了改进。同时，针对反馈信号不足导致强化学习训练的方向性不够明确的问题，采用将判别器网络与生成器网络共享文本特征提取层的方式进行了改进。在超声检查报告数据集和长篇小说数据集上，将改进后的文本生成模型与基础文本生成模型、循环神经网络文本生成模型以及相同领域下的RankGAN文本生成模型进行了对比实验。在两个是数据集上，改进模型都在“相似度得分”这一指标上取得了较好的结果。收起

关键词 : 文本生成深度学习生成对抗网络

5. 面向图像文本翻译的数据合成方法研究

[学位论文] 韩旭中国科学院大学 2022年硕士导师: 周玉；张家俊共75页

摘要 : 近年来，人们对图像文本翻译的需求日益增加，图像文本翻译任务是给定含有文本的图像，在没有相应文本数据的情况下，对图中的文本图像进行翻译，并返回翻译结果的任务。传统图像文本数据往往是词级别的合成数据，缺乏面向句子级别的合成方法，且在真... 展开近年来，人们对图像文本翻译的需求日益增加，图像文本翻译任务是给定含有文本的图像，在没有相应文本数据的情况下，对图中的文本图像进行翻译，并返回翻译结果的任务。传统图像文本数据往往是词级别的合成数据，缺乏面向句子级别的合成方法，且在真实性和复杂程度上也与真实场景有很大差距。本文的目标是构造序列级别的文本、源文本图片、目标文本、目标文本图像的平行数据。从方法上，目前人们通常使用基于规则的词级别合成方法，合成的数据与真实数据的分布差异较大。因此，本文从序列级别图像文本数据生成和复杂图像文本数据生成两个维度深入研究，主要工作及创新点如下: 1.提出了一种基于规则的图像文本构建方法现有的基于规则的图像文本合成方法目前主要针对单语的词级别图像文本合成任务。无法满足更加复杂的图像文本翻译任务。针对上述问题，本文提出了一种基于规则的图像文本构建方法，能够满足句子级别图像文本翻译任务。具体地，本文通过设计了更多的数据变化方法，如多样的背景、字体、形变等;同时为了生成更加复杂的图像文本，在生成过程中添加更多的随机变化。同时本文在大规模双语平行句对的基础上，合成了大量面向图像文本翻译任务的数据训练集，并人工标注了影视字幕领域和街景领域的测试集。所构建的数据集为图像文本翻译任务提供了数据基础。 2.提出了一种基于Transformer的序列图像文本生成方法尽管基于规则的数据合成方法能够以一定规则合成大量图像文本，但合成的数据与真实数据的分布之间存在较大差异。同时基于神经网络的图像文本生成方法目前主要聚焦于字符级别的无背景字体风格转换，即不同手写体风格的转换，无法满足面向图像文本翻译任务的需求。针对上述问题，本文提出了基于Transformer的序列图像文本生成方法，以生成更加复杂和多样化的图像文本翻译数据。具体地，本方法能够首先通过利用自注意力机制捕捉图像文本数据的长短期上下文关系，获得图像文本数据分布，然后基于Transformer的图像文本生成模型通过编码器-解码器注意力，对目标序列文本中的每个字符进行推断，将图像信息和文本信息良好的融合在一起，模型通过生成式对抗网络方式训练，生成多样性的序列图像文本。实验表明，基于Transformer的序列图像文本生成方法能够提高图像文本识别和图像文本翻译的性能。综上所述，本文针对面向翻译的图像文本数据生成展开了深入研究，最终实验证明了本文所提出的方法能够有效的提升图像文本数据生成的多样性，并提高图像文本翻译模型的性能，相关成果对图像文本识别和图像文本翻译有较大的帮助。收起

关键词 : 图像文本翻译图像文本生成注意力机制数据生成生成式对抗网络

6. 汉语天气预报自动生成系统内容规划器的研究

[学位论文] 王纤上海交通大学 1997年硕士导师: 姚天仿;何厚存共49页

摘要 : 该文主要讨论有关汉语天气预测文本自动生成器中内容规划器的实现.该生成系统内容规划器是基于SCHEMA技术,采用文本结构(TEXT STRUCTURE) 的中间表达形式与句子表层生成器进行信息交换.内容规划器能够根据用户输入的数据动态地建立内部知识库.在当前焦... 展开

关键词 : 文本自动生成 SCHEMA 焦点控制文本结构文本宏观规划汉语文本生成

7. 社交媒体文本情感分析及对话生成研究

[学位论文] 杜嘉晨哈尔滨工业大学 2020年博士导师: 王轩;徐睿峰共151页

摘要 : 伴随着互联网和社交媒体的飞速发展，网络用户正在从单纯的信息获取者转变为信息的生产者。在这一过程中，大量带有个人情感的信息在社交媒体中传播、发酵、聚集、碰撞，形成群体情感并反作用于现实社会。这就使得对社交媒体中的情感信息进行分析、理... 展开伴随着互联网和社交媒体的飞速发展，网络用户正在从单纯的信息获取者转变为信息的生产者。在这一过程中，大量带有个人情感的信息在社交媒体中传播、发酵、聚集、碰撞，形成群体情感并反作用于现实社会。这就使得对社交媒体中的情感信息进行分析、理解和生成的文本情感计算研究正在成为自然语言处理的重要课题。现阶段面向社交媒体的情感分析研究大部分集中在基于文本内容和用户特征建模的分析层面，相对缺乏结合外部知识和因果推理的立场分析研究。同时，目前的情感文本生成研究主要集中于单一会话场景下的文本生成，缺乏融合用户情感及立场的复杂场景立场对话生成能力。为此，本文提出一整套覆盖文本情感分析、文本立场分析、情感文本生成和立场对话生成的研究框架及相应的研究方法，针对性解决各个问题研究难点的同时，关注不同问题间的共性技术。本文主要工作包括：针对文本情感分析中，神经注意力机制缺少全局感知能力，而多头自注意力机制存在参数过多、运行效率较低的不足，本文借鉴人类阅读认知过程中的“模板注意力”，提出了一种卷积神经注意力计算机制，以提高文本情感分析性能。这一机制应用一维卷积操作模拟人类的注意力信号，通过有限地扩增注意力感受野以增大全局感知范围的同时，只增加了少量模型参数，控制模型的计算代价上升。在此基础上，本文提出一种面向语句级和文档级情感分析的卷积注意力神经网络模型。进而，利用卷积注意力机制的全局情感感知能力，改进了一种连续文本情感表达抽取算法。在语句级和文档级情感分析数据集上的实验结果表明，本文提出的卷积注意力神经网络模型性能明显优于传统情感分析方法。针对文本立场分析需要同时对立场对象和立场表达文本进行表示学习的特点，本文分别提出了一种结合立场对象的卷积注意力模型以提高立场对象的表示学习能力，以及两种融合大规模结构化外部知识的方法以提高立场表达文本的表示学习能力，从而大幅度提高文本立场分析的性能。针对立场对象的语义表示，本文引入立场对象嵌入和对象注意力机制，提出一种结合立场对象的卷积注意力模型，分别从词语和语句层面利用上下文对给定立场对象进行表示学习。针对立场表达文本的语义表示，本文引入大规模结构化外部知识作为文本理解的背景和依据，通过融合外部知识大幅提升立场分析性能。具体的，针对立场表达文本与知识表示的异质性问题，提出一种基于后融合的知识增强神经记忆网络，通过使用不同的建模单元分别表示文本与外部知识，利用文本与知识间的互补属性高效地筛选与立场表达相关的外部知识，从而提升立场分析性能。针对融合策略中外部知识的噪音与稀疏问题，提出一种多视角知识感知网络模型，将知识实体作为建模视角对外部知识进行更高层次的语义表示，并通过视角层面的融合网络与注意力机制减少外部知识中噪音与稀疏的影响。在两个文本立场分析数据集上的实验结果显示，本文提出的结合立场对象的卷积注意力模型取得一定性能提高；两种结合外部知识的立场分析方法则进一步地提升了立场分析性能，达到目前已知最高水平。针对情感对话文本生成通常要求模型同时具有语义表达生成能力和情感表达生成能力的特点，本文提出一种基于自回归变分自编码器和连续情感表达的情感对话文本生成模型。其中基于自回归变分自编码器的生成模型通过在回复序列生成过程的每一步中加入基于变分自编码器的隐变量推理，对全局语义信息进行感知，提高生成回复的流畅性，从而增强了模型的语义表达生成能力。在此基础上，利用模型的自回归特性，向模型引入连续情感表达信息，增强了文本情感表达生成的连贯性。进而，融合卷积注意力机制提取的连续情感表达，将其通过后验推理模型加入情感文本生成过程中，进一步提升生成文本的情感一致性，增强了模型的情感表达生成能力。在情感对话数据集上的实验结果显示，本文提出的模型在相关性、流畅性及多样性的自动评价与人工评测指标上明显优于基线模型；同时相关实验结果显示出生成文本具有良好的情感表达能力。本文在情感对话生成与基于知识的对话生成研究基础上，通过引入立场对象与立场类标，首次定义了立场对话文本生成问题。将这一问题分解为融合外部知识的对话文本生成和融合预设立场的对话文本生成两个子问题，并针对性设计了一种变分插值自编码器模型以提高基于知识的对话生成能力，以及一种结合立场判别器的立场对话文本生成方法。针对融合外部知识的对话文本生成中“知识复述”与“对话交互”间不平衡的问题，通过隐变量变分插值方法显式地建模对话上下文以及外部知识的影响，并平衡二者间关系，大幅提升了生成回复的可读性与知识利用率。针对融合预设立场的对话文本生成问题，本文在基于知识的对话生成模型基础上，设计了立场对象和立场类标的注意力机制，将给定对象与预设立场类标融入文本生成。在这一过程中借鉴生成对抗网络的设计思路，在模型中加入文本立场判别器，对生成回复立场标签进行判别，并使用策略梯度方法将这一监督信号回传至生成模型中，从而有效提升模型的立场表达能力。在大规模立场对话数据集的实验结果显示，本文提出的立场对话生成模型明显优于基线模型，有效提升了生成对话文本的流畅性与立场准确率。收起

关键词 : 自然语言处理文本情感分析文本立场分析情感对话文本生成立场对话文本生成

8. 基于序列生成对抗网络的综合素质评价系统文本生成研究

[学位论文] 黄路遥南昌大学 2020年硕士导师: 徐知海;黄晓川共75页

摘要 : 综合素质评价是素质教育的一项规范，开发针对综合素质评价的管理系统非常有必要，不仅可以方便管理在读学生的学习状态，归档后的数据也是将来进一步提高素质教育水平的重要参考。但目前的素质评测存在很强的主观性，主要体现在控制权集中在班主任手... 展开

关键词 : 文本生成生成对抗网络策略梯度语义控制

9. 基于改进生成对抗网络的文本生成方法研究

[学位论文] 熊露内蒙古民族大学 2023年硕士导师: 裴志利共46页

摘要 : 在信息化、智能化的时代背景下，随着各式各样数据的不断增加，人工智能技术已经对人们的生活产生了深远的影响，而利用自然语言生成文本问题是当下人工智能领域的热点之一，例如利用该方法已成功解决摘要提取、信息检索和文本风格转换等问题。现阶段... 展开在信息化、智能化的时代背景下，随着各式各样数据的不断增加，人工智能技术已经对人们的生活产生了深远的影响，而利用自然语言生成文本问题是当下人工智能领域的热点之一，例如利用该方法已成功解决摘要提取、信息检索和文本风格转换等问题。现阶段，生成对抗网络是解决生成问题的主流方法之一，其已成功应用于解决图片生成问题，而利用该方法解决文本生成问题的研究成果相对较少，但是生成对抗网络在文本生成方面已经展现出了优异的性能。在利用生成对抗网络进行文本生成任务时，生成器的输出精度影响着生成结果，而文本数据的离散型特点，制约了生成器的输出精度。另外在生成对抗网络的训练过程中，生成器聚焦于局部语义信息的获取,出现生成的文本不够流畅、质量不高、多样性不丰富等现象。对于上述存在的问题，本文提出了改进的生成对抗网络文本生成模型，主要工作内容如下: 一是为解决离散型变量影响生成对抗网络生成器输出精度的问题，本文提出了一种改进的生成对抗网络模型LFMGAN,在该模型中设计了一个Loss函数，判别器利用Loss函数得出的Loss值指导生成器进行优化，使得生成器生成的文本尽可能接近真实文本，让生成器不再只关注某个生成的单词和目标单词是否一致，转而让模型关注整体的生成结果是否合理，促使生成器生成的样本语义分布与原始的样本语义分布更加接近，即让生成器向语义相似度高的方向进行迭代，避免了离散型变量带来的精度影响。本文生成对抗网络的生成器和判别器分别采用GPT-2和RoBerta模型，并使用BLEU、ROUGE和METEOR评价指标与基础模型MaliGAN模型和LeakGAN模型以及基线模型MLE进行了对比。通过在Image_COCO数据集、EMNLP2017WMTNews数据集和《唐诗三百首》数据集上完成的验证和对比实验表明，本文提出的生成模型优于其它对比生成模型，生成的结果合理、文本质量有所提高。二是由于LFMGAN模型的生成器使用贪心搜索解码策略输出文本结果，使得生成的文本存在多样性不足的问题，模型在全局语义信息获取方面表现不佳。本文通过使用集束搜索解码策略优化LFMGAN模型，选取集束宽的大小为4,既能有效降低计算复杂度、提高学习效率，同时能够有效关注全局语义信息，能够进一步提升文本的多样性与质量。为验证全局语义信息获取的效果，采用了上述实验相同的数据集和评价指标与LFMGAN模型进行了对比，实验结果表明，通过关注全局语义信息，增加生成文本的多样性，评价指标结果有所提升，进一步说明了该模型的有效性。收起

关键词 : 文本生成生成对抗网络 Loss函数集束搜索

10. 文本问答与信息抽取关键技术研究

[学位论文] 张浩宇国防科技大学 2020年博士导师: 王戟共140页

摘要 : 文本问答通过理解问题的自然语言描述并依据不同形式的知识源给出问题的答案，这是自然语言处理领域中最具难点的挑战之一，一直受到学界和产业界的广泛关注和研究。尽管过去几十年的研究取得了很大的进展，文本自动问答系统在语义理解、文本生成等方... 展开文本问答通过理解问题的自然语言描述并依据不同形式的知识源给出问题的答案，这是自然语言处理领域中最具难点的挑战之一，一直受到学界和产业界的广泛关注和研究。尽管过去几十年的研究取得了很大的进展，文本自动问答系统在语义理解、文本生成等方面仍然面临一些尚未解决的问题，比如对于复杂的自然语言问题的语义理解仍比较困难；用于无结构化问答的文本生成技术在语义一致性、信息多样性等质量属性上存在不足。另一方面，海量的知识是增强问答系统智能的关键，而知识图谱正在成为结构化知识表示的一种重要形式，能为知识提供更加完整和规范的语义化描述，因此，如何从大数据量的网络文本中有效构建和更新结构化知识图谱从而更好地支撑文本问答系统，也是问答系统所面临的一项重要挑战。针对上述问题，本文研究了不同数据支撑的文本问答系统的关键技术：基于结构化知识图谱的问答、基于无结构化文本的问答中的文本生成技术。同时本课题还关注结构化知识图谱构建，对信息抽取技术进行了研究。论文主要内容和贡献如下：第一，在基于结构化知识图谱的自动问答方面，本文提出了基于关系判别和语义解析的两种问答方法。针对已有的简单问题的关系判别方法的语义表示问题，提出了一种融合子图信息表示的关系判别方法；针对已有的语义解析方法对复杂问题建模困难和可解释性低的问题，提出了一种基于文本空间问题分解的层次化语义解析方法，首先将复杂问题分解为子问题序列，而后抽取子问题序列中的关系信息和语义聚合类别，最后在已有信息约束下生成对应的逻辑表达式。所提出的复杂问题语义解析方法因具有显式的证据推理路径提升了结果的可解释程度。实验表明这两种方法分别提高了问答系统对于简单问题和复杂问题的理解与回答能力。第二，在无结构化文本的问答方面，针对序列到序列的文本生成技术在文本摘要和关键词提取的不足，提出了两种改进的模型。针对序列文本摘要方法与预训练双向语言模型的不适应性，本文提出了一种“草稿-精炼”结构，以补充双向语言模型需要的语境上下文；针对关键词提取对文档编码表示和关键词关系建模的需求，提出了一种能够提升关键词序列多样性的结构。该结构包含一个使用全局信息传递机制的动态图句法编码器，以及一个无需修改训练过程的多样性推断算法。在两项任务对应数据集上的实验显示，所提出的结构在文本生成的流畅度、语义相关度、多样性等质量指标上都有显著的提升。第三，在面向知识图谱构建和补全的信息抽取技术方面，针对已有方法所面临的噪声标签问题，本文提出了两种噪声鲁棒学习方法。针对细粒度实体分类问题，我们提出了一种基于伪标签分布估计的标签自修正模块，并使用多轮学习机制来充分发挥伪标签估计的效果；针对同义词挖掘问题，我们在已有基础模型上使用成对字向量增强实体语义表示能力、使用基于辅助学习器和交替优化的鲁棒学习框架减少噪声标签的影响。在这两个问题上所提出的噪声学习方法都与具体任务和模型无关，并只依赖很宽松的先验假设，因此具有很强的灵活性和普适性，可以直接应用于通用领域或垂直领域的信息抽取，为问答系统提供大规模知识图谱支撑。在包含真实噪声（与人造噪声相对应）的基准数据集上进行了实验与分析，结果表明了所提出的方法能够在不同比例的噪声数据上取得显著超过之前方法的效果，辅助实验及分析进一步证明了噪声学习框架的有效性。本文的三项研究内容中，前两项关注如何利用已有的信息源和知识库对问题进行语义理解、智能推理和回答，而信息抽取技术能够用来从无结构化文本中抽取事实信息并建立或完善知识图谱等知识库。本文针对这几项研究内容所进行的实验在若干大规模开放域的任务标准数据集上完成，与之前效果最佳的若干方法进行对比，验证了所提出的方法在不同数据分布下的有效性。本课题所涉及的自动问答关键技术能够应用于搜索引擎、语音助手、客服机器人等场景，具有较强的实用性。收起

关键词 : 文本问答知识图谱文本生成信息抽取