摘要: 近年来，机器学习在文本生成任务中的应用已成为学界和业界共同关注的热点话题。传统研究将深度神经网络应用于文本生成任务时，大多仅基于前文来选择每个生成的新单词，并由此构建语言模型，但忽略了不同单词之间的相关性。有鉴于此，基于语料库的并... 展开 近年来，机器学习在文本生成任务中的应用已成为学界和业界共同关注的热点话题。传统研究将深度神经网络应用于文本生成任务时，大多仅基于前文来选择每个生成的新单词，并由此构建语言模型，但忽略了不同单词之间的相关性。有鉴于此，基于语料库的并发词的统计信息在选择后续单词时的价值应当得到关注，这有助于提高句子的流畅性和通顺性。 为充分挖掘这些重要信息，本研究提出一种用于文本生成的graph softmax函数,最终的文本生成结果将由语言模型和单词之间的图形关系共同决定。具体而言，本文使用图的总变分项来调整softmax函数，以便将单词间的并发关系合并到语言模型中，在此基础之上，graph softmax函数和基于Transformer模型的GPT2语言模型将共同承担起文本生成任务。实验结果表明，与传统模型相比，文本所提出的新模型不仅具有更好的生成效果，还可以方便测试人员区分不同模型生成的文本。 收起