中国科学技术信息研究所--国家工程技术数字图书馆

[学位论文] Phiri Jackson 哈尔滨工业大学 2012年博士导师: 赵铁军共288页

摘要 : 身份管理系统建立的目的是为用户提供不容易被复制、盗取和改变的唯一的识别信息。本文运用定影模块技术,构建了一个多特征的认证系统,它可以满足上述目的,为用户提供安全和唯一的识别。一个安全的认证系统依赖于多种认证特征。美国联邦政府、中国政府... 展开身份管理系统建立的目的是为用户提供不容易被复制、盗取和改变的唯一的识别信息。本文运用定影模块技术,构建了一个多特征的认证系统,它可以满足上述目的,为用户提供安全和唯一的识别。一个安全的认证系统依赖于多种认证特征。美国联邦政府、中国政府以及欧盟都一致认可三种认证特征:物理度量(用户拥有什么)、伪度量(用户知道什么)以及生物信息度量(用户是什么)。本文的研究主题旨在把以上两种或多种认证特征结合起来,构建一个多特征验证系统。本文研究表明,通过组合两种或多种认证特征,多特征的认证系统能够更安全地防护攻击,同时针对网络犯罪为用户提供更好的保护。网络犯罪的形式主要有身份窃取,身份欺诈,数据破坏,信息采集,痕迹跟踪,网络钓鱼等等。在过去的二十多年间,网络犯罪快速增长,已经破坏了数百万用户的记录和证书。这些行为给在线交易系统带来巨大损害,耗费了政府和私人企业部门巨大的资金。为了更好地理解身份管理攻击,我们对在近些年发表的文章中提到的各种形式的攻击以及防御机制做了一个全面的调查和回顾。常见的防御机制包括操作系统保护、加密、数字签名、信息隐藏、水印、多模生物识别以及多特征身份认证。本文将主要研究多特征身份认证技术。本文主要分为三个部分,分别是身份度量建模、基于定影模块技术的度量模型融合以及多特征认证系统构建。在文本挖掘和文本分类领域,词权重计算常被用来衡量词的质量。通信科学中香农的信息熵理论也被用于量化信息质量。本文通过身份属性度量模型,融合上述两种度量来量化身份属性。本文使用一个含有200个应用形式的集合作为身份特征信息的第一个来源,这些表格是世界各国政府和企业用来提供常见的23项公共服务的。身份特征信息的第二个来源是25个社交网络的电子应用表格。第三个来源是100份来自不同国家人员的有关身份特征信息调查问卷。这三个数据集分别构成了三个样本空间,本文使用AntConc, ConcApp和TextSTAT语料库分析工具包从样本空间中提取身份属性。这三个语料库分析工具包也被用来获取统计学的信息并为其计分,这些信息包括身份特征的词频和采集频率。接下来,通过一个身份特征度量系统,利用术语加权和熵为样本空间中出现频率最高的50个身份特征进行量化表征。接下来,我们构建了两种多特征身份验证模型。分别是基于网络终端的认证模型(WBMAS)以及基于验证卡的认证模型(CBMAS)。前者需要四个输入,后者需要三个输入。对于上述两种模型,本文都设计了一个信息融合系统。对于每个模型,两种身份属性度量(词权重和信息熵)会被用于形成两个训练数据集。本文分别运用人工神经网络(ANN),Sugeno型模糊推理系统(FIS)和自适应模糊推理系统(ANFIS),设计并实现了一个信息整合系统,并使用两种身份属性度量作为训练数据集。同时,本文使用MatLab软件来训练该信息融合系统。在两个模型中,都使用了一个具有两层正反馈的人工神经网络。信息融合系统产生的结果用于实施一种采用四个输入(身份验证信息)的WBMAS原型。这四个输入分别为:指纹(生物特征),IP地址(设备度量),密码(伪度量)以及用户名(SoftBio-and-Others)。我们选择了人工神经网络是因为人工神经网络计算开销低,且易于实现。本文采用来自于Griaule的专有生物识别软件开发工具包(SDK),用于开发生物识别模块;采用来自于DigitalPersona公司的指纹扫描仪用于捕捉指纹图像。上述过程完成后,已获取的指纹图像会采用小波标量量化进行预处理。这个原型的开发使用了 NetBeans SDK、Java语言和 MySQL数据库。并在一个采用奔腾双核、2GB内存、具有Tomcat环境的计算机上运行WBMAS原型系统。最终我们开发了一个有存取款功能的银行自动取款机模块,该模块可用于提供受保护的服务。这种系统通过一个使用所有认证特征的多特征身份验证的过程,可以验证携带正确凭证的远程用户,也能够拒绝接入携带错误凭证的用户。收起

关键词 : 多特征验证系统人工智能信息融合身份属性度量

2. 纤维增强再生微粉水泥基复合材料力学性能影响因素及其多缝形成机制

[学位论文] 吴瑞雪青岛理工大学 2022年博士导师: 赵铁军共187页

摘要 : 建筑垃圾资源化是消化城市垃圾的有效途径，可以降低对原生矿产资源开发的需求，缓解资源短缺瓶颈，对实现节能减排目标具有重要战略意义。目前，学术界和工业界在再生骨料、再生混凝土方面开展了大量的研究和应用工作。然而，再生微粉(Recycled Powd... 展开建筑垃圾资源化是消化城市垃圾的有效途径，可以降低对原生矿产资源开发的需求，缓解资源短缺瓶颈，对实现节能减排目标具有重要战略意义。目前，学术界和工业界在再生骨料、再生混凝土方面开展了大量的研究和应用工作。然而，再生微粉(Recycled Powder，缩写为RPs)的资源化利用方面的研究尚不完善，其在高延性纤维增强水泥基复合材料中的作用机理尚不明晰。本文聚焦建筑垃圾制备的各类再生微粉材料基本特性及微观结构，对纤维增强再生微粉水泥基复合材料力学性能的影响因素及其多缝形成机制进行研究，以探索再生微粉作为掺合料在应变硬化水泥基复合材料(Strain Hardening Cement-based Composites，缩写为SHCC)中应用的可行性，为建筑垃圾的资源化再利用提供思路。取得的主要研究成果如下: (1)采用激光粒度分析仪、X射线衍射仪、傅里叶红外吸收光谱仪、扫描电子显微镜、X射线荧光光谱仪、热重-差热分析等系统研究了再生微粉的粒度分布、活性指数、表面形貌、化学成分等理化特性，并分析了再生微粉对水泥净浆晶相物质、水化产物及微结构的影响，实现了再生微粉对纤维增强水泥基复合材料强度和韧性影响的定量表征。从粒径分布、活性指数以及化学组分、微观结构等结果分析，再生微粉具备作为胶凝材料使用的特性。 (2)系统研究了纤维掺量、养护时间、再生微粉类型及取代率、微粉粒径以及再生微粉与粉煤灰等量双掺等对SHCC抗折、抗压强度的影响。建立了再生微粉-SHCC单轴压缩损伤本构模型，并基于应变等效原理，引入韧性指数进一步描述再生微粉对SHCC压缩韧性性能的影响，为再生微粉SHCC材料的结构设计和力学分析提供科学依据。再生微粉SHCC抗压强度和抗折强度随着养护龄期的增加，先缓慢增加，后迅速增加，这主要是因为当基体强度达到一定水平时，纤维发挥了关键的桥联作用;随着再生微粉取代率的增加，SHCC强度逐渐降低，但基体韧性提高幅度更大;再生微粉粒径对SHCC的极限荷载和极限位移呈负相关的影响模式;从再生微粉SHCC的本构关系和韧性指数来看，适量再生微粉的掺入可以有效提高SHCC基体强度和压缩韧性。试验结论可知，再生微粉取代水泥一定程度上降低了SHCC的材料强度，但韧性大幅提高，且韧性提高幅度远高于材料强度的降低幅度，由此可选用再生微粉替代水泥制备低强度高韧性要求的SHCC。 (3)系统研究了再生微粉类型和取代率对PVA-SHCC(聚乙烯醇纤维Poly Vinyl Alcohol，缩写为PVA)拉伸性能及多缝形成规律的影响。结果表明，再生微粉取代水泥制备SHCC对材料拉伸强度有所影响，但极限应变大幅提高，且提高幅度远远大于拉伸应力的降低幅度;当取代率小于54％时，再生微粉所制备SHCC拉伸应力降低幅度在25％以内，而拉伸应变均提高了2.5倍以上。RPs和FA等量双掺配比下SHCC拉伸性能最佳，在保证强度的情况下提高了拉伸应变。采用数字图像处理(DIC)技术揭示了轴拉伸荷载作用下RPs-SHCC的多裂缝开展规律，基于Gamma概率密度分布，构建了PVA-SHCC裂缝宽度概率密度分布函数。从裂缝宽度分布曲线来看，再生微粉掺入PVA-SHCC各应变状态下裂缝宽度概率密度峰值主要集中在0-60μm之间，峰值裂缝数量均值达到3-6条/cm。 (4)研究不同微粉掺量配比下超高韧性PE-SHCC(聚乙烯纤维Polyethylene，缩写为PE)力学性能和单轴拉伸裂缝控制能力。当再生微粉对30％水泥和50％硅灰双取代时，PE-SHCC极限应力降低幅度基本在20％-25％之间，而极限应变达到了11％，提高幅度为86％。基于Weibull概率密度分布构建了PE-SHCC裂缝宽度概率密度分布函数，并绘制裂缝宽度分布规律曲线;通过对再生微粉和硅灰双掺SHCC多缝形成规律分析，各应变状态下裂缝宽度峰值主要集中在0-40μm之间，而双掺配比裂缝控制能力最好，峰值裂缝数量均值达到15条/cm，在应变为9％时试件100μm内累计裂缝数量占比是75％，表现出良好的应变硬化特性和细密多缝开裂特性。收起

关键词 : 建筑垃圾资源化利用纤维增强再生微粉水泥基复合材料制备工艺力学性能多缝形成机制

3. 基于知识自动获取的无指导译文消歧方法研究

[学位论文] 刘鹏远哈尔滨工业大学 2008年博士导师: 赵铁军共175页

摘要 : 这是个互联网的世界，使用高效的搜索引擎在互联网获取信息已经成为当代人们获取信息的最重要手段。在日益国际化的信息中，不同种语言之间的理解与处理一直存在着难以逾越的鸿沟，这就形成了人们对机器翻译、跨语言信息检索与处理的迫切需求。目前对... 展开这是个互联网的世界，使用高效的搜索引擎在互联网获取信息已经成为当代人们获取信息的最重要手段。在日益国际化的信息中，不同种语言之间的理解与处理一直存在着难以逾越的鸿沟，这就形成了人们对机器翻译、跨语言信息检索与处理的迫切需求。目前对此研究仍有诸多难题亟需解决，其主要之一就是，如何为源语言多义词选择语义正确对应的目标语译文词汇的问题，称之为译文消歧。译文消歧及与之相似的在单语范畴内的词义消歧一直是自然语言处理领域基础研究课题，它也是自然语言处理技术的重点和难点之一。针对译文消歧及词义消歧的现状，通过对各类无指导消歧方法的比较分析，本文认为，目前无指导译文消歧的关键问题是消歧知识的自动获取与利用、克服数据稀疏及双语语义词典建设。因此，本文没有在机器学习算法、消歧特征选择等问题上做过多的研究与探讨，而是充分关注与挖掘无指导译文消歧方法中最核心的内容——知识获取，利用这些消歧知识来完成无指导译文消歧任务，同时克服数据稀疏问题。由此思想出发，本文提出了一系列逐步递进的无指导译文消歧知识获取以及消歧的创新方法，这些创新方法均利用了国际标准语义评测语料进行评测与对比分析，并均超过了以往可比较的最好无指导系统。最后，本文还进行了另一个关键问题的研究，即双语语义词典的自动构建。本文具体研究内容包括以下几个方面： 1．自动获取带标记目标语语料，并直接形成译文消歧模型，提出利用该模型进行译文消歧的方法。在此基础上，提出了等价伪译词概念以及等价伪译词的构造方法，并以此实现无指导的译文消歧。最后在国际语义评测数据集Senseval-2ELS上进行了实验与比较； 2．通过对双语语料库间接关联的观察，提出利用双语词汇间接关联度的完全无指导译文消歧方法。在计算间接关联度的过程中充分利用了Web资源，设计了Web的词汇间接关联度（Web_IA）的计算方法，在消歧过程中利用了三种不同的决策方法进行决策。随后，针对基于间接关联方法的不足，本文将整个Web视为语义词典，直接利用Web进行双语词汇语义相关度（WBR）的定义分析以及计算。经过对WBR方法在一个经改造处理的标准语义相关度测试集上的比较实验，证明该方法可行后，设计了基于WBR的完全无指导译文消歧方法，并在同一个国际标准语义评测数据集Semeval2007上的task5与基于Web_IA方法做了详细的对比实验； 3．通过对歧义词同义词集合内词汇语句序列的观察，提出了一种基于Ngram语言模型以及Web挖掘的无指导译文消歧方法。该方法认为歧义词不同词义所对应的N-gram语言模型模式不同，且利用的是语言模型知识而非语义知识。随后在同一个标准集上的对比评测表明，该方法取得了极为优异的性能。性能超过了该任务可比较最好无指导系统TorMD12.8%（Pmar值），最后，还进行了基于语言模型的方法与基于语义模型的方法的详细比较及性能上限的讨论； 4．研究了利用WordNet、HowNet以及大规模双语平行语料库自动生成面向译文消歧的的双语词典的方法。该方法充分利用大规模平行语料库内丰富的词汇对齐知识以及各项统计信息，利用WordNet及HowNet语义资源的相似度计算，形成了一部同时带有双语语义信息及语料库统计信息的词典。综上所述，本文基本上给出了面向知识自动获取的无指导译文消歧的一整套解决方案，特别是其中基于Web的各种方法，为自然语言处理中的难题之一——译文/词义消歧，在基于Web搜索的研究思路上进行了初步探索。收起

关键词 : 自然语言处理译文消歧知识自动获取数据稀疏

4. 汉语动词次范畴化自动获取技术的研究

[学位论文] 韩习武哈尔滨工业大学 2006年博士导师: 赵铁军共172页

摘要 : 动词次范畴化信息反映了动词作谓词时所表现出来的不同句法特征的分布，是自然语言处理进一步发展所不可或缺的知识。世界上很多语种在次范畴化信息自动获取的理论和实践等方面都取得了很大的进展，而针对汉语的相关研究还很薄弱。探索基于汉语自身语... 展开动词次范畴化信息反映了动词作谓词时所表现出来的不同句法特征的分布，是自然语言处理进一步发展所不可或缺的知识。世界上很多语种在次范畴化信息自动获取的理论和实践等方面都取得了很大的进展，而针对汉语的相关研究还很薄弱。探索基于汉语自身语言特色的动词次范畴化自动获取方法对于中文信息处理来说具有重要的理论研究意义和广阔的应用前景。对次范畴化信息的自动获取技术来说，最关键的两个问题是假设生成和假设检验。前者解决如何利用已有自然语言处理工具和语言学规范从输入语料中为相关动词获取可能的次范畴化信息；后者解决如何设计一种符合相关语言特点的统计检验方法，最大限度地过滤掉第一步输出结果中的噪音。本文在国内外已有相关成果的基础上，充分考虑汉语的自身特点，对这两个主要问题进行了深入研究。具体地讲，本文研究从如下几个方面展开： 1．借鉴相关研究，分析了汉语动词次范畴化的语言现象，给出了以句法模式为主的汉语次范畴化信息的形式化描写规范，在内容和形式上基本保持了次范畴化规范与现有主要汉语处理工具，以及国际同类研究之间的一致性，为汉语动词次范畴化信息的自动获取打下了理论基础。 2．基于最大似然估计提出了一种动态估计最优经验阈值的汉语动词次范畴化基础类型假设检验方法。该方法以假设类型出现频率的数学期望为观察量来动态估计用于最大似然假设检验的最优阈值。并通过自动获取方法，以少量手工分析工作为补充，构建起了汉语动词次范畴化基础类型集合和以次范畴化类型描述的句式转换集合，为大规模真实文本的汉语动词次范畴化自动获取打下了物质基础。 3.设计并完成了从大规模真实文本中自动获取汉语动词次范畴化信息的实验过程，实现了一个自动构建汉语动词次范畴化词汇知识库的系统原型。性能评价表明，该系统已经达到了国际上同类研究相应阶段的水平；基于任务的评价体现了次范畴化信息在中文信息处理领域有着可观的潜在价值。 4.研究了以动词分类知识和句式转换知识为回退启发信息的获取性能改进技术。动词分类知识的回退实验揭示了汉语动词次范畴化的形式化描写规范同已有手工资源中动词概念描述方式之间的潜在关系，在一定程度上改善了次范畴化自动获取的整体性能；在句式转换知识的回退实验中提出了双重过滤的假设检验方法，该方法通过同一谓语动词的高频和低频次范畴化假设类型之间可能存在的句式转换关系，比简单的最大似然估计方法更加充分地利用了输入语料上的可观察信息，较为彻底地摆脱了其它检验方法中次范畴化类型与动词之间的独立性假设和次范畴化类型之间的独立性假设所带来的负面影响，使得汉语动词次范畴化自动获取研究取得了当前国内外同类研究的最好结果。收起

关键词 : 汉语动词次范畴化自动获取假设检验

5. 自然语言句子级结构表示的建模与学习

[学位论文] 于墨哈尔滨工业大学 2015年博士导师: 赵铁军共164页

摘要 : 表示学习方法可以为自然语言处理任务学习低维的平滑特征表示，从而缓解数据稀疏问题对于基于有监督学习的自然语言处理方法的影响。近年来，服务于如短语和句法树等自然语言结构的表示学习方法得到了广泛的关注。然而已有方法往往局限于对于特定类型... 展开表示学习方法可以为自然语言处理任务学习低维的平滑特征表示，从而缓解数据稀疏问题对于基于有监督学习的自然语言处理方法的影响。近年来，服务于如短语和句法树等自然语言结构的表示学习方法得到了广泛的关注。然而已有方法往往局限于对于特定类型结构的表示，而且只能使用受限的语言学标注信息从而描述能力有限。受到以上现状的启发，本文考虑通过结合语言学知识和无监督的表示学习方法，从而更好地建立自然语言的结构表示。为了实现这一目标，本文提出了一种新的结构表示模型，并为该模型的训练过程提出了新的方法。同时本文对于结构表示在自然语言处理中的应用进行了新的探索。本文研究的核心在于表示自然语言结构各关键信息之间的合取。第一，为了说明合取思想的重要性，本文首先从最简单的n元词组表示的构造方法及应用开始，基于n元词组本身是其各组成词之间的合取这一事实，展示了词表示的合取对于构建n元词组表示的重要性。传统的基于词嵌入的n元词组表示方法通过对词嵌入向量进行拼接来表示n元词组，然而正如本文的的分析所示，这样的方法不能反映n元词组各组成词之间的合取信息。本文则通过对词嵌入进行聚类，并对离散的聚类进行合取对n元词组进行表示。这一方法相比词嵌入拼接得到了更好的实验结果，从而证明了合取信息的重要性。本文进一步在训练样本的去噪问题中展示了上述n元词组表示的有效性。第二，本文提出了一个通用的结构表示模型。对于任意的输入结构，只要我们可以将其表示为以词为节点的图，该模型便可为其构造结构表示。本文的这一模型首先将输入结构分解为子结构，每个子结构包含了一些词节点（表示为词嵌入），和一些带有结构信息属性的边（表示为语言学特征）。本文的模型通过对上述两种信息对应的向量求外积来获得它们的合取信息，从而得到每个子结构的表示。我们对所有子结构表示求和，得到原始输入结构的表示。在上述结构表示的基础上，本文的模型通过一个参数张量获得目标任务的输出。这一模型被称为基于丰富特征的结构表示合成模型（Feature-rich Compositional Embedding Model，FCM）。本文主要关注该模型在句子级别结构的表示任务上的应用，并证明该模型在多个关系抽取任务上都获得了业界领先的结果。第三，上面的FCM模型当子结构包含词节点较多，或者当张量的某个输入视角维度较高时，会因为模型的参数过多而易于过拟合。本文通过张量低秩近似的方法，对FCM进行了近似，得到一种称为低秩FCM的新模型（Low-RankFCM，LRFCM）。这一近似的结果是每一个视角上的输入都被映射到更低维的向量，减小了模型的参数空间。同时，通过张量的CP模式近似，我们将原本耗时的张量乘法近似为上述低维向量之间的点积。上述改进有效地减小了FCM的参数空间并提升了模型的运行速度，并在多个任务上取得了实验结果的提升。第四，本文提出了一种基于有标记数据和无标记数据的联合训练方法，用于对上述模型进行更充分的训练。相比传统的流水线式半监督训练方法，本文提出的方法有利于更充分地训练未被有标记数据覆盖的词的词嵌入。为了利用无标记数据，本文提出了一种基于语言模型思想的方法，使用一个结构的表示预测该结构的上下文词。最后，本文以短语嵌入的学习为例，展示了本文所提出的通用表示模型（及其低秩近似）以及联合训练方法的重要作用。上述方法在多个短语相似度任务上都取得了较大的提升。本文提出的方法在包括关系抽取、短语相似度、序列标注和跨语言映射等多个任务上都取得了业界领先的结果。同时本文所提出的基于合取的表示建模思想也为未来的表示学习的研究提供了新的方法和视角。收起

关键词 : 自然语言信息处理句子结构结构表示合成模型表示学习

6. 神经机器翻译的可解释性研究:模型的表示、训练与行为

[学位论文] 李冠林哈尔滨工业大学 2022年博士导师: 赵铁军共163页

摘要 : 近年来，神经机器翻译（NeuralMachineTranslation）取得了极大的成功，不仅仅作为机器翻译的一个全新范式而蓬勃发展，而且已经被应用于许多语言相关的技术中，例如：在线的通用多语翻译系统、同声传译系统、以及实时聊天助手等。标准的神经机器翻译... 展开近年来，神经机器翻译（NeuralMachineTranslation）取得了极大的成功，不仅仅作为机器翻译的一个全新范式而蓬勃发展，而且已经被应用于许多语言相关的技术中，例如：在线的通用多语翻译系统、同声传译系统、以及实时聊天助手等。标准的神经机器翻译框架由三个重要部件所组成：a)神经网络模型的体系结构（及其所学的内部隐层表示），b)高效的（且多利用数据增强技术的）序列到序列训练策略，c)用于近似找到最优预测的束状搜索推断策略。尽管神经机器翻译框架已取得不可否认的长足进步，但对研究者和用户而言，该框架却存在诸多难解释性问题，这主要是由框架本身所使用的模型架构十分复杂，且随训练数据增长而使得模型的参数越来越庞大而导致的。神经机器翻译框架的这种难解释性会对未来大规模神经机器翻译系统的研究与部署带来下述两个问题：1)研究人员可能很难解释模型的内在运作机制，使得很难定位与发现模型的缺陷与问题并对框架本身进行改进；2)下游用户可能很难解释模型的推断过程，对模型行为异常没有很好的认识，这使得用户可能不会充分信任翻译系统。本文正是受上述对可解释性在神经机器翻译框架中重要性之讨论的启发而展开的。本文基于该框架的三个组件分别开展了可解释性研究：a)表示的可解释性（RepresentationInterpretability[RI]），用于解释复杂模型体系结构中蕴含的隐层表示，b)训练的可解释性（TrainingInterpretability[TI]），用于解释模型的数据增强训练策略与无监督训练策略，c)行为的可解释性（BehaviorInterpretability[BI]），用于解释模型推断与模型泛化之间的关系。 1.解释与提升神经机器翻译模型的隐层表示[RI]。多层编解码器架构是目前大规模神经机器翻译模型的金标准。现有的一些工作已经探索了解释隐层表示的方法，且主要关注模型编码器表示的解释，然而，模型解码器表示的可解释性却少有工作涉及，且大多数工作并没有依据他们的解释性结论来改进模型的翻译质量。基于“给予解释并提升性能”的目标，本文首先人工构造了一系列所谓的嵌套亲属任务，通过这些亲属任务来衡量解码器各层所学表示的特征泛化能力，验证了解码器各层所学表示的“粗粒度到细粒度”（Coarse-to-Fine）的演化特性。基于上述解释，本文提出了采用全部亲属任务对各层进行表示正则的策略；由于利用全部亲属任务进行表示正则的计算瓶颈，本文进一步设计高效的近似策略，通过选择粗粒度到细粒度的几个具有代表性的亲属任务用于逐层正则。在两个翻译任务上的充分实验证明了上述策略仅仅导致训练计算开销略有提高，且不改变测试计算开销，并相较基线系统而言有（最高达1.3个BLEU值的）一致的性能提升。 2.基于与模型泛化能力相关的两个度量，解释神经机器翻译的数据增强训练[TI]。近年来有许多实用的数据增强策略被提出用于模型训练。现有的工作通过模型在特定测试集上的性能好坏来比较不同数据增强策略的优劣，然而本文发现部分数据增强策略在不同的翻译任务或数据上却呈现不一致的性能好坏。基于上述观察，本文尝试去回答如下问题：何种在跨任务、跨数据增强方法上一致的“益处”是数据增强能普遍带给神经机器翻译模型的呢？受到近期深度学习理论研究进展的启发，本文通过两个角度——i)输入的敏感性度量与ii)预测的间隔度量——解释数据增强策略对于模型泛化能力的影响。与依赖于目标端参考译文的BLEU指标相比，上述两个度量均与特定的测试集相关性不高，这使得本文的结论具有相对更小的方差。在四个翻译任务上对五种常用的数据增强方法进行的实验表明了上述二指标相较BLEU指标而言更高的跨任务一致性，可作为衡量数据增强策略的全新内部评价（IntrinsicEvaluation）指标。 3.解释神经机器翻译模型的无监督训练[TI]。对神经机器翻译模型的无监督训练近年来受到广泛关注。尽管大量的经验性进展已经达成，然而理论为导向的研究却十分欠缺，因此一些更为本质的问题并没有被很好地探索，例如：为什么某种训练协议能工作？在何种设定下能工作？为此，本文试图对上述问题给出具有理论意义的解释。具体来讲，基于对照研究的思路，本文从两个具有理论背景的角度——i)边际似然最大化与ii)信息论中的互信息——对无监督训练协议的各变体在训练过程中的特性进行了深入的分析。本文的对照研究揭示了一些关于成功进行无监督训练的关键条件，及其他一些有价值的发现。 4.通过检测源端上下文屏障来解释神经机器翻译模型的行为[BI]。在机器翻译评价中，传统的性能评估策略往往是在平均意义来衡量模型的泛化能力的，例如语料级别BLEU值。然而，语料级BLEU值这一统计量并不能对模型的泛化能力作出详细的解释与细粒度的分析。为了解决上述问题，本文试图通过定义并检测所谓的“源端上下文屏障”（SourceContextualBarriers）来对神经机器翻译模型的泛化行为进行细粒度的解释。本文提出了源端上下文屏障的原则性定义，并进一步提出该定义一个可计算的、单词级别的修缮版本。该修缮版本利用修改源端词所生成的反事实（Counterfactual）句子级别评价指标值集合，来构造源端单词成为屏障词的风险值。基于该修缮的定义，本文提出三种简易的策略用于估算上述风险值，以检测所谓的源端上下文“屏障词”（BarrierWord）。本文在中-英与英-中的NIST标准数据上进行实验，对检测出的屏障词从词性、源端词范畴、上下文性等维度上进行了细致的分析，并分别定量与定性地讨论了屏障词在译文重排序与人工错误分析中的应用价值。收起

关键词 : 神经机器翻译可解释性表示学习数据增强无监督神经机器翻译

7. 再生微粉对水泥基材料物理力学性能及微结构的影响机理

[学位论文] 徐建光青岛理工大学 2022年博士导师: 赵铁军共163页

摘要 : 利用建筑垃圾生产再生骨料时，会产生约占再生骨料质量5％～20％粒径小于150μm的再生微粉。若能将再生微粉作为辅助胶凝材料使用，不仅可以全面实现建筑垃圾的资源化利用，同时可以缓解粉煤灰等矿物掺合料紧缺的局面。根据建筑垃圾来源，再生微粉可以... 展开利用建筑垃圾生产再生骨料时，会产生约占再生骨料质量5％～20％粒径小于150μm的再生微粉。若能将再生微粉作为辅助胶凝材料使用，不仅可以全面实现建筑垃圾的资源化利用，同时可以缓解粉煤灰等矿物掺合料紧缺的局面。根据建筑垃圾来源，再生微粉可以分为黏土砖废弃物制备的再生砖粉和混凝土废弃物制备的再生胶凝微粉两大类，其中再生胶凝微粉又可以分为再生混凝土微粉、再生砂浆微粉和再生净浆微粉。再生微粉的理化特性会直接影响水泥基材料的微结构和物理力学性能。然而，由于再生微粉来源不同，自身的多样性导致其矿物组成、微观形貌等存在很大的差异，对水泥基材料的影响机理不同，目前缺乏系统研究。基于此，本文通过微观试验和宏观性能试验，系统研究了再生砖粉、再生胶凝微粉和再生混凝土-砖混合微粉对水泥基材料工作性能、力学性能、毛细吸水性能及微结构的影响规律，探究了复掺矿物掺合料和热活化方式提升再生胶凝微粉水泥基材料力学性能和抗渗透性的作用机制，研究成果可为再生微粉的资源化利用提供理论依据，主要研究内容及结论如下: (1)通过X射线衍射仪、扫描电子显微镜、压汞分析和热重分析等微观试验，系统研究了不同来源再生微粉的化学成分、矿物组成和微观形貌等理化特性，阐明了不同类型再生微粉对水泥基材料微观特征、孔结构分布和水化产物的影响机理，证实了再生微粉作为辅助胶凝材料的水化机理与作用机制。 (2)研究了再生砖粉对水泥基材料物理力学性能的影响。结果表明，随着再生砖粉取代率的增加，需水量增加，掺入高细度再生砖粉可以抑制砂浆的收缩。当再生砖粉细度高于水泥细度、取代率≤15％时，28d抗压强度随再生砖粉取代率的增加而增加，其28d活性指数约为90％;建立了再生砖粉活性指数与中位径的关系模型。掺入一定细度和取代率的再生砖粉可以降低再生砖粉砂浆的总孔隙率和吸水性能，再生砖粉砂浆毛细吸水系数与再生砖粉取代率符合抛物线关系。基于非饱和毛细吸收理论，通过引入Bolzmann变量，实现了再生砖粉砂浆内部水分时空分布的量化计算。 (3)系统研究了3种类型、4种粒径、5种取代率(0％、10％、20％、30％和50％)下再生胶凝微粉对水泥基材料力学性能、毛细吸水性能和总孔隙率的影响。结果表明，再生胶凝微粉的掺入降低了砂浆的抗压强度，细粒径再生胶凝微粉28d的活性指数均在70％以上。建立了相对毛细吸水系数与再生胶凝微粉取代率、再生砂浆总孔隙率的关系模型。再生胶凝微粉砂浆的总孔隙率和毛细吸水系数随着再生胶凝微粉粒径和取代率的增加而增加。通过复掺再生胶凝微粉和活性矿物掺合料可以制备出力学性能优异且低渗透性的再生微粉砂浆。其中，20％再生胶凝微粉与10％偏高岭土(MK)或10％硅灰(SF)混合后28d活性指数均在100％以上;20％再生混凝土微粉与10％MK或10％SF复掺后再生砂浆毛细吸水系数分别比普通砂浆降低了25.9％和35.7％。 (4)探明了再生混凝土-砖混合微粉细度、砖粉所占比例对水泥基材料流动性、凝结时间、力学性能和毛细吸水性能的影响规律。随着再生混凝土-砖混合微粉中再生砖粉比例的增加，再生净浆流动性降低，凝结时间延长。当总取代率为10％、20％和30％时，分别建立了再生砂浆相对抗压强度、相对抗折强度、毛细吸水系数、相对总孔隙率与混合微粉中再生砖粉比例的关系模型。随着再生砖粉比例的增加，力学性能提高，毛细吸水性能降低。当再生混凝土-砖混合微粉总取代率为30％、再生砖粉比例分别为25％和75％时，再生混凝土-砖混合微粉砂浆的毛细吸水系数分别比普通砂浆高41.4％和7.3％。 (5)研究了不同类型再生胶凝微粉经过600～1200℃高温处理后，对水泥基材料的力学性能和渗透性的影响。揭示了热活化再生胶凝微粉矿物组成和微观形貌的演变规律，热活化温度超过600℃时，再生胶凝微粉中会形成新的C2S、C3S和CaO等活性成分。阐明了热活化再生胶凝微粉促进水化反应、细化孔结构的作用机制，及其对水泥基材料力学性能、抗渗透性的提升原理。结合环境和经济效益，给出了再生胶凝微粉最佳热活化温度区间为600～800℃。收起

关键词 : 水泥砂浆再生微粉力学性能抗渗透性

8. 机器翻译系统的自动评价及诊断方法研究

[学位论文] 王博哈尔滨工业大学 2010年博士导师: 赵铁军共161页

摘要 : 人类社会是一个由多种文化组成的复杂整体，各种文化间的互相影响和渗透促进了人类社会的进步和发展。在当今的信息社会中，各文化间交流的主要载体是语言，而不同语言之间的翻译成为文化交流过程中的关键所在。面对海量的多语言信息，传统的人工翻译... 展开人类社会是一个由多种文化组成的复杂整体，各种文化间的互相影响和渗透促进了人类社会的进步和发展。在当今的信息社会中，各文化间交流的主要载体是语言，而不同语言之间的翻译成为文化交流过程中的关键所在。面对海量的多语言信息，传统的人工翻译已经远远无法满足需要，因此能够实现自动化的自然语言翻译的机器翻译技术在过去十几年中一直是人工智能领域研究的一个主要热点。在机器翻译研究中，翻译系统的评价方法是一个关键环节，它对于机器翻译研究具有着非常重要的意义。评价方法可以对翻译系统的性能作出评价，指出存在的问题，指导系统的研发。准确的评价方法是系统研发过程的主要依据，是推进机器翻译系统发展的主要动力之一。可以说，没有有效的评价方法，就没有机器翻译系统的发展。经过近几年的发展，机器翻译自动评价方法的研究在世界范围内取得了丰富的成果，这些成果都主要体现在基于系统译文和参考译文的宏观相似度的评价方面。目前，基于宏观相似度的评价方法虽然取得了一些进展，但是其评价性能仍然有待进一步提高。这里的“宏观”指的是将一个句子，一篇文章乃至一套语料作为一个完整的整体进行评价，给出唯一的一个评价分数，该分数体现了机器翻译系统的整体性能。宏观评价是一种黑箱的评价方法另一方面，随着机器翻译系统变得越来越复杂，传统的宏观评价方法已经难以满足当前机器翻译研究的需要，研发者们需要能够提供更加丰富信息的微观自动评价方法。这里的“微观”指的是对语料中的片段或者机器翻译系统的某方面功能的评价。微观评价是一种白箱的评价方法，在本文中，我们进一步的根据其特点，将提出的微观评价方法称为“诊断”方法。基于这些问题，本文旨在进一步提高宏观自动评价方法的性能，同时面向机器翻译的微观评价，提出有效的机器翻译自动诊断方法。对基于字符串相似度的宏观评价方法，参考译文的覆盖度扩展以及面向单语和双语的自动诊断方法等关键技术进行研究。 1.基于不连续N元子串的宏观自动评价。基于字符串相似度的宏观自动评价方法以其快速稳定的性能和广泛的适用性得到普遍接受。本研究着眼于提高基于字符串相似度的评价方法的性能，在对现有方法的优势和不足的分析的基础上，提出了一种新的基于不连续N元子串的评价技术。新的方法在不连续2元子串方法的基础上进行了扩展，其中包括了选择更宽的单元长度和多重的相似度统计。另一方面，基于SVM的机器学习方法也被引入到新方法当中，用于调整多重统计在整体评价中的权重。新的方法在性能上得到了提高。该研究的成果在2008年NIST评测中取得了两个第一和一个第二的好成绩。作为宏观评价方法的一种应用，本文还将宏观评价指标引入机器翻译译文融合方法。机器翻译中的译文融合技术是近年来备受关注的一个新课题。随着不同类型的机器翻译系统的不断涌现，研究者们开始尝试通过译文融合技术来整合不同系统的优势能力。作为宏观评价方法的一个应用，本研究着眼于利用翻译系统的宏观评价指标来指导译文融合，实现译文融合技术在鲁棒性和有效性上的平衡。该研究的成果在2008和2009年的国内评测中均取得了最佳成绩。 2.基于句法信息的参考译文扩展。参考译文是自动评价方法的关键因素，参考译文的语言学覆盖度直接影响着评价的质量。本研究着眼于自动化的提高参考译文的语言学覆盖度。本文在不依赖于额外的语言学数据的情况下，实现了参考译文的扩展，并且在参考译文中实现了对不同层次，不同尺度的片段的替换。基于自动扩展的参考译文集合，宏观自动评价方法的性能得到了进一步的提高。 3.基于单语语言学检测点的自动诊断方法。机器翻译的微观评价，或称诊断方法是自动评价方法中的全新课题，在国内外受到普遍重视，但是尚处于起步阶段。本研究着眼于提出完整的，全自动的机器翻译诊断体系。该体系从单语的角度，对机器翻译系统在不同重要语言现象上的翻译能力予以评价，为翻译系统的研发者提供多角度，多层次的诊断信息，为实现有针对性的系统开发提供有力的帮助。该研究的成果已经被国内的机器翻译评测选用为评价指标之一。 4.面向双语转换的自动诊断方法。机器翻译的根本任务是实现从源语言到目标语的转换。双语转换的质量是机器翻译的根本问题。在单语诊断方法的研究基础上，本研究旨在实现面向双语转换的自动诊断系统。新的诊断系统通过直接对双语转换进行识别，获取，分类和统计来实现对翻译能力的更为直接的评价。另一方面，本研究还首次提出了翻译错误成因的自动分析以及针对词序转换错误的专门分析等新的方法。综上所述，本文的主要贡献在于通过新的相似度评价手段，机器学习方法以及参考译文的扩展，提高了宏观自动评价方法的整体性能，为宏观评价方法中的若干关键技术提供了新的思路。在微观评价的自动诊断技术领域，做出了开拓性的工作，分别从单语和双语的角度，提出了较为完整的自动诊断体系，为机器翻译的研究者提供了全新的评价方法。新的诊断方法一方面促进了机器翻译研究的发展，另一方面，也为今后的微观评价研究提供了借鉴。收起

关键词 : 机器翻译系统自然语言翻译自动评价宏观相似度译文融合诊断方法

9. 基于句法的序列--序列模型增强方法研究

[学位论文] 马春鹏哈尔滨工业大学 2019年博士导师: 赵铁军共149页

摘要 : 序列-序列模型是人工智能领域（特别是自然语言处理领域）普遍使用的模型之一。这个模型能够使用一个统一的框架，直接将输入序列转化为输出序列。许多问题都能够转化为这种形式的问题，进而能够使用序列-序列模型进行求解。无论是机器翻译、句法分析... 展开序列-序列模型是人工智能领域（特别是自然语言处理领域）普遍使用的模型之一。这个模型能够使用一个统一的框架，直接将输入序列转化为输出序列。许多问题都能够转化为这种形式的问题，进而能够使用序列-序列模型进行求解。无论是机器翻译、句法分析还是语音识别，通过对问题的输入和输出的形式进行合理的变换，我们可以对众多问题得到一个统一的解法。另一方面，句法信息是计算语言学的一个重要的组成部分。许多研究已经证明了句法信息对于自然语言处理的重要性。因此，使用句法信息来提升模型的性能，是长期以来自然语言处理领域的研究者们的一个重要的问题。基于上述分析，本论文针对下面的问题进行了研究：使用句法信息增强序列一序列模型。序列-序列模型由编码器、注意力机制模块和解码器这三个部分组成，编码器和解码器的最底层都是词嵌入模块，而隐含层模块上方都可以通过添加输出模块的方法来引导隐含层的学习。因此，本论文研究了在以下三个模块通过句法信息的融合来提升序列-序列模型的性能：词嵌入模块、注意力机制模块、输出模块。同时，本论文对注意力机制的基本原理进行了分析，提出了一种全新的具有通用性的注意力机制。具体地，本论文进行了以下的研究工作。第一，在词嵌入模块，本论文提出了三种融合句法信息的方法。针对传统的基于句法的模型对句法分析器错误敏感的问题，本论文提出了面向压缩句法森林的编码方法。针对最新的基于Transformer的神经机器翻译系统，本论文提出了基于句法的位置编码方法，将句法结点的位置信息融入到词嵌入模块。针对句法树的线性化序列长度较长的缺点，本论文提出了基于神经句法距离的词嵌入模块增强方法。这三种方法能够从不同角度使用句法信息增强词嵌入模块。第二，在注意力机制模块，本论文提出了三种利用句法信息增强注意力机制的方法。确定性注意力机制的引入，使得基于序列-序列模型的句法分析器可以利用关于句法分析的语言学信息来指导模型的学习。基于句法的自注意力机制使用句法信息来约束Transformer中的注意力机制的模块。基于压缩句法森林的注意力机制，使得解码器能够根据句法树的质量确定句法树的权值，从而能够使用质量更好的上下文向量进行解码。第三，在隐含层的上方，通过增加一个额外的输出层的方式，本论文提出了一种使用句法信息提升隐含层质量的方法。在隐含层的上方额外增加的输出层可以预测出神经句法距离的序列。通过使用真实的神经句法距离来引导这个序列的学习，隐含层中就会融合句法信息，从而提升了隐含层的向量表示的质量。第四，本论文对序列-序列模型注意力机制的根本原理进行了研究。以机器翻译中的词对齐任务作为目标，通过比较使用了两种不同的神经网络的序列-序列模型效果的差异，本论文对序列-序列模型中的注意力机制提供了新的认识。此外，本论文提出了一种全新的公理化注意力机制，这种注意力机制可以应用于任何形式的序列-序列模型，与神经网络的具体结构无关。这种注意力机制模块能够很好地学习到词对齐信息。本论文的研究使得序列-序列模型能够充分地利用句法信息这一重要的语言学特征来提升模型的性能，这对于机器翻译、句法分析以及许多其他的自然语言处理任务都很有帮助。同时，本论文对注意力机制模型的探索能够为其他关于序列-序列模型的研究提供一些全新的认识。收起

关键词 : 句法信息序列-序列模型模型增强词嵌入注意力机制输出模块

10. 基于统计学习的生物医学文本信息抽取方法研究

[学位论文] 王浩畅哈尔滨工业大学 2008年博士导师: 赵铁军共149页

摘要 : 生物医学文本信息抽取是生物医学研究中不可缺少的环节，有关生物医学的最新信息大部分以文献的形式存在，随着统计学习技术和自然语言处理技术的发展，采用归纳统计的方法从文本中发现知识已经成为可能。因此采用信息抽取技术从生物医学文献发现生物... 展开生物医学文本信息抽取是生物医学研究中不可缺少的环节，有关生物医学的最新信息大部分以文献的形式存在，随着统计学习技术和自然语言处理技术的发展，采用归纳统计的方法从文本中发现知识已经成为可能。因此采用信息抽取技术从生物医学文献发现生物医学知识是急需和有效的方法。近年来生物医学文本信息抽取已经取得了一定的成果，但是与新闻领域同类工作相比，平均性能相差近20个百分点。生物医学领域的文本信息抽取任务很富有挑战性，主要是由生物医学领域文本的特点决定的。目前现有成果距离真正实用还有一定距离，其中最主要的问题就是识别的精确率和召回率还有待提高，尚不能满足实用化的要求。本文以提高生物医学文本信息抽取的性能作为目标，寻求新的识别策略，为推进生物医学文本信息抽取的实用化做出贡献。本文研究从如下几个方面展开： 1．研究了基于单分类器的生物医学命名实体识别方法。该方法针对生物医学命名实体特点选择了丰富有效的特征集合，包括局部特征、全文特征和外部资源特征，提高了学习模型的学习性能。为了进一步提高系统的性能，本文还引入了缩写词识别、嵌套识别、边界扩展和过滤器等后处理过程，从多方面结合多个策略来提高生物医学命名实体的识别性能。 2．提出了基于元学习策略的多分类器融合模型，包括同态元学习模型和异态元学习模型识别生物医学命名实体。同态元学习模型采用了bag-stacking模型并提出了将基分类器输出的分类的置信度作为元分类器的输入的一项特征来提高系统的性能。异态元学习模型使用两种元学习策略包括叠加归纳法和级联归纳法融合了四种不同的学习模型。实验结果表明该模型能够充分利用不同分类器识别能力之间的互补性和相关性以及多个层次的特征来提高整体识别性能。同时，打破了单一学习模型不能覆盖生物医学命名实体的所有特点，只能借助丰富的特征选择和有效的后处理过程来提高系统性能的局限性，取得了比单分类器更好的识别结果。 3．提出了基于多Agent系统学习的生物医学命名实体识别方法。探索了将多 Agent系统学习方法引入到生物医学命名实体识别中，以提高生物医学命名实体的识别性能，包括基于多Agent元学习框架和基于决策共现矩阵的多Agent融合策略，实验结果证明多 Agent系统学习是一种有效的生物医学命名实体的识别方法，其中面向生物医学命名实体识别的多 Agent元学习框架解决了语料分配不平衡的问题，提高了小类别和难识别类别的性能。 4．研究了基于元学习策略的分类器融合方法在蛋白质相互作用关系识别中的应用。该研究的主要目的是通过分析蛋白质相互作用关系的特点，选择有效的特征集合，包括浅层语言学特征和深层句法特征，并选择合适的学习模型来提高蛋白质相互作用关系识别的性能；并在此基础上提出了基于元学习策略的分类器融合方法，将基于浅层语言学特征模型和基于深层句法特征模型融合在一起，充分利用了基于不同特征模型学习结果之间的互补性和相关性，进一步提高了蛋白质相互作用关系识别的性能。本文主要贡献在于将多种统计学习方法应用于生物医学信息抽取领域，对该领域中命名实体识别任务作了深入探索。提出了结合丰富领域特征、融合多个后处理模块的基于统计学习的生物医学命名实体识别方法；将基于元学习的多分类器融合策略引入生物医学命名实体识别研究；将多 Agent系统学习引入到生物医学命名实体识别研究；提出了一种融合生物医学文本浅层语言学特征和深层句法特征的蛋白质相互作用关系识别方法。总体来说，本文在应用统计学习方法进行生物医学文本信息抽取方法作了广泛深入的探索，取得了较好的结果。这些研究对于文本信息处理领域的同类研究具有参考价值。同时，将有助于医学研究人员对生命的探索、疑难病理的研究、有效药物的开发等。收起

关键词 : 统计学习生物医学文本信息抽取方法