中国科学技术信息研究所--国家工程技术数字图书馆

[学位论文] 王亚楠中国科学院研究生院 2013年硕士导师: 田英杰共61页

摘要 : 支持向量机(Support Vector Machine)是建立在统计学习理论和最优化理论基础上的一种有效的解决分类问题的机器学习方法，并已在理论和应用方面有了很大进展。Twin支持向量机则是在支持向量机的基础上发展起来的，其基本思想是构造两个非平行的超平面... 展开

关键词 : 支持向量机分类问题局部学习

2. 基于局部学习的自适应软测量建模方法研究

[学位论文] 邵伟明中国石油大学 2016年博士导师: 田学民共127页

摘要 : 在现代过程工业中，为增加经济效益，提高过程运行的平稳性、安全性和环保性，软测量技术被广泛应用于主导变量的在线预测。为了提高软测量模型的预测精度以及使用寿命，本文在局部学习的框架下，从即时学习和集成学习两个方面着手，研究能够同时解决... 展开在现代过程工业中，为增加经济效益，提高过程运行的平稳性、安全性和环保性，软测量技术被广泛应用于主导变量的在线预测。为了提高软测量模型的预测精度以及使用寿命，本文在局部学习的框架下，从即时学习和集成学习两个方面着手，研究能够同时解决过程非线性和时变性问题的自适应软测量建模方法，针对不同的问题提出了一些解决方案，并对其进行了仿真验证和结果分析。主要的研究成果简述如下： (1)针对即时学习中相似样本集的构造难以充分利用有标签样本监督信息的问题，提出了一种基于有监督结构保持投影算法的即时学习软测量建模方法通过建立辅助变量的特征子空间实现即时学习，在保持样本结构信息的同时，使得样本监督信息得以利用。此外，采用一种自适应数据库监控方法在损失较少预测精度的前提下降低数据库规模。人工合成数据以及来自实际工业过程的数据验证了所提方法的有效性。 (2)针对传统的局部化方法存在的一些不足，设计了一种基于统计假设检验的自适应过程状态分割方法以统计假设检验理论为依据，构造能够检验误差一阶信息和二阶信息是否发生显著性改变的统计量，将整个过程状态分割为一系列无冗余的局部模型区域。这一局部化方法考虑到了辅助变量与主导变量间的映射关系，并具有局部模型集合在线扩展容易、模型数量自适应确定等优点。脱丁烷塔过程以及硫回收单元的数据初步验证了所提方法的有效性。 (3)提出了一种基于局部模型在线切换的自适应软测量建模方法，并在此基础上设计了一种基于选择性集成学习的自适应建模框架利用数据库中最新的有标签样本以及未知样本的近邻样本建立能够体现局部模型在未知样本处泛化能力的指标，在线选择最优模型估计主导变量的值。在选择性集成学习中，利用模型切换准则量化局部模型满意度，并据此淘汰不能提高集成学习性能的局部模型。在连续搅拌反应釜产生的仿真数据，以及来自脱丁烷塔过程和硫回收单元的实际工业数据上的仿真建模结果验证了所提方法的有效性。 (4)针对集成学习中难以利用无标签样本以及缺乏通用性好的模型性能评价方法的问题，提出了一种基于半监督选择性集成学习的软测量建模方法及性能评价方法。半监督学习首先定义一种样本到模型的距离(Distance to Model，DM)，以更准确地衡量样本与模型的相关性。然后，在选择性集成学习框架下以DM计算局部模型满意度，对主导变量值进行预测。此外，所设计的模型性能评价方法不依赖具体的回归算法，具有良好的通用性。在脱丁烷塔对象上的仿真建模结果验证了半监督集成学习方法及性能评价方法的有效性。收起

关键词 : 自适应软测量建模局部学习 DM模型

3. 基于全局优化和局部学习的进化多目标优化算法

[学位论文] 左益西安电子科技大学 2016年博士导师: 焦李成共136页

摘要 : 一直以来，最优化问题都是科学研究和工程实践的难点和热点。根据其所需要优化的目标函数的个数，优化问题可以分为单目标优化问题和多目标优化问题。受生物智能启发的进化算法以种群进化的方式不断逼近最优解，具有全局优化的能力，能有效的解决大部... 展开一直以来，最优化问题都是科学研究和工程实践的难点和热点。根据其所需要优化的目标函数的个数，优化问题可以分为单目标优化问题和多目标优化问题。受生物智能启发的进化算法以种群进化的方式不断逼近最优解，具有全局优化的能力，能有效的解决大部分优化问题。然而，进化算法也存在一些缺陷，如收敛速度较慢，运行时间较长等。特别是对于那些比较复杂的优化问题，进化算法通常需要花费足够长的搜索时间才能获得较为满意的解。结合高效的局部学习策略，提高进化算法求解问题的性能，是一个值得研究的重要方向。针对单目标优化问题，已经存在大量的混合优化算法。本论文的主要研究目的就是将局部学习策略引入到多目标优化算法中，设计更高效的算法，并应用于实际问题。论文的主要成果概括如下: (1)针对进化多目标优化算法存在的收敛速度较慢的缺陷，提出了一种新的基于链式局部搜索的混合多目标优化算法。在该算法中，设计了基于链式规则的局部搜索策略，其中，局部搜索的参数，如步长，成功率等被编码在个体中，因而，这些参数能够在局部搜索执行完后得到保留，进一步提高了局部搜索的效率。在选择个体执行局部搜索时，采用了基于多样性的选择机制，在一定程度上避免了局部搜索带来的多样性损失。此外，设计了计算资源的自适应分配策略用来平衡全局优化和局部学习。对比实验的结果表明，局部搜索的策略的引入能够有效的提高进化多目标优化算法的性能。 (2)受博弈论中多臂老虎机选择策略的启发，提出了一种自适应多密母算法用于求解单目标柔性作业车间调度问题。该问题是一个极为复杂的离散组合优化问题，传统的数学规划方法很难得到有效解，而进化算法又很难在一定的时间内获得满意解。因此，越来越多的研究者倾向于使用混合算法。面对众多的局部搜索策略，如何选择出适合当前求解问题的策略是设计算法的一个难点。我们设计的自适应多密母算法提供了一种自适应选择策略，能够在算法运行的不同阶段自动选择搜索算子。具体的，该自适应选择策略利用一个长度有限的滑动窗口记录不同搜索算子当前的搜索效果，然后基于这些效果去指导后续的算子选择。在多个标准测试数据集的对比实验结果表明，相对于现有的代表性算法，该算法能够获得更优的效果。 (3)针对传统推荐算法仅仅致力于提高推荐准确率这一目标的不足，提出了一种基于多目标优化的个性化推荐算法。在算法中，物品推荐问题被建模成一个多目标优化问题，优化的两个目标为准确率和多样性。其中，为了度量物品推荐的准确率，使用了概率传播算法，而多样性的度量使用的是覆盖率这一指标。针对建模后的优化问题，设计了合理而有效的个体编码和相应的遗传操作算子。特别的，在设计的个体编码中，多个用户的推荐结果被编码在同一个个体里。因此，通过求解该问题，算法能够在一次运行中给多个用户提供多组推荐。为了提高算法效率，还使用聚类算法将用户划分为相对较小的集合。实验结果验证了算法的有效性。 (4)针对标签系统的特性，提出了一种基于深度神经网络的推荐算法。在标签系统中，用户可以用任何词汇去描述或者评价物品，不再拘泥于固有的等级评分机制。然而，这些词汇给可能给标签信息带来困难，如导致标签信息的冗余性或多义性等。如何处理标签信息成为算法设计的难点。基于这个难点，我们通过引入深度神经网络构建了一个新的推荐算法。首先，算法将标签系统中，用户、物品之间三维关系转换为两个二维矩阵，获取每个用户基于标签的信息。接着，利用稀疏自动编码器这一深度网络模型从这些信息中提取出新的特征。相对于初始的特征，这些特征不再稀疏，且更具有代表性。最后，基于这些特征，利用协同过滤算法产生推荐结果。在两个网络数据集的实验结果表明，相对于原始的协同过滤算法和基于聚类的协同过滤算法，该算法在准确率上能取得更优的结果。收起

关键词 : 多目标优化算法全局优化局部学习

4. 基于联合局部扰动学习的3D人体骨架动作识别

[学位论文] 林枫中国科学技术大学 2020年硕士导师: 陈欢欢共82页

摘要 : 机器学习在不同领域的广泛应用往往依赖于大量数据。而在实际应用中，高维数据的存在给不少机器学习任务带来了困难。为了应对这些高维数据带来的挑战，人们提出了很多基于子空间的学习方法，将高维数据表示成低维子空间，通过处理子空间来解决相应的... 展开机器学习在不同领域的广泛应用往往依赖于大量数据。而在实际应用中，高维数据的存在给不少机器学习任务带来了困难。为了应对这些高维数据带来的挑战，人们提出了很多基于子空间的学习方法，将高维数据表示成低维子空间，通过处理子空间来解决相应的问题。在这些基于子空间的方法中，在格拉斯曼流形上进行子空间学习的方法因为其处理子空间时的高度一致性而备受关注。但是这类方法忽略了子空间表示受到原始数据中噪声干扰的可能。同时，这类表示方法往往缺乏对数据类型的甄别，在降维时剔除了太多信息，从而导致判别学习的准确率下降。本文回顾了基于格拉斯曼流形的判别学习方法，围绕这两类问题进行了进一步的探讨。本文基于序列数据提出了一种带扰动格拉斯曼核的子空间联合局部学习方法，同时考虑子空间潜在的扰动和信息损失以实现在更加稳健和准确的分类器。并在此基础上，本方法给出了一类联合局部扰动核，利用核方法的优势解决判别问题。本文的讨论以人体三维骨架动作识别应用为例，在多个合成或真实的动作识别数据集上进行实验，验证了该方法在多种环境以及不同子任务上都能取得较好的结果。本文的主要工作如下: 1.为了更好地分析噪声干扰下的动作识别，本文提出了一个基于真实人物动作进行采集的新数据集。不同于其他动作识别数据集，该数据集加入了若干特定的噪声动作，可专用于受干扰的动作识别任务; 2.针对子空间扰动问题，本文系统地介绍了扰动子空间学习，将线性空间中利用边缘损坏特征进行学习的方法推广到非线性空间，在格拉斯曼流形上主动加入噪声进行数据增广，从而提高了子空间学习的稳健性; 3.本文提出了一种基于乘积格拉斯曼流形的子空间表示，该表示本质上嵌入了序列的局部时间信息，弥补了降维过程中的信息丢失，显著提高了子空间学习的准确性; 4.本文依赖上述表示提出了一种带扰动核的联合局部学习方法用于骨架动作识别，有效利用了噪声干扰和冗余信息，促进了识别的准确性与鲁棒性之间的平衡; 5.本文在多个数据集上进行实验，证明了所提出方法在不同环境下是有效的。收起

关键词 : 人体三维骨架动作识别联合局部学习扰动核

5. 贝叶斯网络分类器学习及其在信用评分中的应用

[学位论文] 李志强华侨大学 2016年硕士导师: 傅顺开共71页

摘要 : 在这个信息爆炸式增长的年代，数据规模的不断激增，为了得到数据中的有价值的知识，我们往往会使用数据挖掘DM技术来处理。而贝叶斯网络因为其坚强的数学基础和图论特点，直观的表示和定性定量的描述能力，成为处理信息的代表性的智能模型。目前，在... 展开

关键词 : 数据挖掘贝叶斯网分类器局部学习信用评分

6. 基于局部学习的图像编辑算法研究

[学位论文] 王颖中国科学院研究生院 2012年博士导师: 潘春洪共132页

摘要 : 在图像处理和计算机视觉领域中,图像编辑具有重要的应用价值和研究意义。对于复杂的自然图像,由于其视觉模式分布的复杂性,往往难以用一个全局的统计模型对其进行建模。相对于全局复杂模式分布而言,图像局部区域内的视觉外观相对简单,统计特性更加单一... 展开在图像处理和计算机视觉领域中,图像编辑具有重要的应用价值和研究意义。对于复杂的自然图像,由于其视觉模式分布的复杂性,往往难以用一个全局的统计模型对其进行建模。相对于全局复杂模式分布而言,图像局部区域内的视觉外观相对简单,统计特性更加单一。也就是说,在图像全局数据空间不满足的属性,在局部数据分布空间内可能很容易得到满足。与全局学习方法不同,局部学习关注如何从数据中获取局部有用的信息。这种立足于局部的建模方法,更加灵活,更具任务导向性。因此本文基于局部学习的观点对图像进行建模,并由此提出多种图像编辑算法。论文的主要贡献如下: 1.提出了一种基于局部线性分类的水平集图像分割方法。该方法通过在图像局部区域引入线性分类函数来有效地区分图像的前景区域和背景区域,并通过全局误差最小化驱动水平集函数的演化。该方法不仅可以有效地处理图像亮度不均匀的情况,而且对于水平集的初始化非常鲁棒。大量的对比实验验证了该方法的有效性。 2.提出了一种基于局部核回归的图拉普拉斯方法,并将其运用于交互式图像分割和抠图。该方法的核心思想是利用局部核映射函数和局部核岭回归实现流形正则化。局部核映射函数的优点在于它是非线性、平滑的以及可以保证局部回归的高精度性。在局部核岭回归的基础上,可以将全局回归误差表示为目标值的二次拉普拉斯形式。论文从理论上证明了基于局部核回归的模型具有图拉普拉斯的性质。实验结果表明基于局部核回归的图拉普拉斯相比于传统的图拉普拉斯方法能得到更高精度的结果。 3.提出了一种基于局部线性算子的图像编辑框架。由于多种图像编辑任务是通过局部操作算子来保持图像局部区域的性质,论文首先将这些局部操作算子表示为统一的稀疏矩阵一向量乘法的形式,然后将多种图像编辑问题归入到统一的目标函数下。基于所构建的图像编辑框架,可以灵活地增加图像局部操作和改变权重因子,从而改进原有方法的不足。实验结果验证了所提出图像编辑模型的有效性。 4.提出了一种基于多方向梯度场和加权采样的图像融合算法。所提出的算法使得融合图像在保持全色图像细节信息的同时也能保持多光谱图像的光谱信息。为了适用大规模高分辨率遥感图像的融合,论文利用图像尺度空间理论将保持多光谱图像的目标函数进行近似转换,使得目标函数可以在频率域上快速求解。融合实验结果表明,所提出的融合算法在空间分辨率和光谱分辨率上都要优于传统的融合方法。收起

关键词 : 局部学习图像编辑算法水平集方法图像融合

7. 基于云平台的特征选择并行化研究

[学位论文] 陆江南京邮电大学 2015年硕士导师: 李云共58页

摘要 : 机器学习是人工智能领域的研究热点，并且在产业界也受到极大的关注。随着大数据时代的来临，由于大数据本身的复杂特性，使得传统用来处理小数据的机器学习算法无法发挥作用甚至不可行。因此，研究大数据环境下的机器学习算法成为学术界和产业界共同... 展开

关键词 : 云平台特征选择局部学习并行化计算 MapReduce编程

8. 具有局部学习能力的特征提取技术研究及应用

[学位论文] 黄丽莉安徽理工大学 2014年硕士导师: 皋军共90页

摘要 : 近年来，随着模式识别技术在各个科技领域中显得格外重要，作为模式识别技术的关键环节——特征提取技术，也受到了越来越多研究学者的关注。科技信息的进步伴随着收集到的信息量的骤增，造成了数据的信息爆炸，特征提取技术作为解决“维数灾难”的有... 展开近年来，随着模式识别技术在各个科技领域中显得格外重要，作为模式识别技术的关键环节——特征提取技术，也受到了越来越多研究学者的关注。科技信息的进步伴随着收集到的信息量的骤增，造成了数据的信息爆炸，特征提取技术作为解决“维数灾难”的有效途径，被广泛的研究与应用。然而，一些传统的经典特征提取方法由于一系列的问题，如小样本问题，非线性问题等，不能得到很好的特征提取效果。故本文通过分析提出了一些具有局部学习能力的特征提取算法，本课题主要的研究贡献在于: 1.本文提出了一种具有局部学习能力的线性特征提取方法:基于局部子域最大间距判别分析LBMMC。该方法以线性判别分析LDA为基础，指出LDA方法会因“小样本”问题而失效。本文提出的方法结合最大判别分析MMC,将散度比值改为散度差，有效地解决了“小样本问题”。同时，使用局部加权均值来代替原LDA中的标准均值，使局部信息得以更好的保持。 2.由于非线性的特征提取方法在揭露嵌入在样本内部的非线性结构上有着良好的优势，故本文在KFDA的基础上提出了基于局部加权的非线性特征提取方法LWNFE。该方法能很好的反映样本内部的局部非线性结构。 3.受到了矩阵模式的影响，本文提出了新的具有局部学习能力的特征提取方法:基于矩阵模式的局部子域最大间距判别分析Mat-LSMMC。该方法以矩阵模式MatFLDA为基础，将样本以向量的形式转为矩阵模式结合局部加权的概念，保留了样本行列之间的信息，具有更好的特征提取效果。 4.本文在特征线NFE的基础上提出了基于特征线子空间嵌入的非线性特征提取方法NFE-NFL。该方法结合了“核技术”，并利用特征线之间的联系构造拉普拉斯图，具有更好的分类效果。收起

关键词 : 模式识别特征提取局部学习核技术矩阵模式

9. 图模型的局部学习与非参数协方差矩阵模型

[学位论文] 尹建鑫北京大学 2009年博士导师: 耿直共75页

摘要 : 本文主要探讨图模型的学习问题。对于有向无环图的局部学习问题，提出了POLSL算法；进而探讨了当连续型数据服从非高斯分布，变量间有非线性关系时学习图模型如何作检验的问题；非参数协方差矩阵模型可以视为一类拓展的图模型的前身，即随着一个指标变... 展开本文主要探讨图模型的学习问题。对于有向无环图的局部学习问题，提出了POLSL算法；进而探讨了当连续型数据服从非高斯分布，变量间有非线性关系时学习图模型如何作检验的问题；非参数协方差矩阵模型可以视为一类拓展的图模型的前身，即随着一个指标变量的变化而协方差矩阵随之变化的模型。对于有向无环图的局部学习问题，假设在一个大的因果网络中需要对某个目标变量进行预测，并且预测是在测试集上有外部干预的情形下进行的。本文提出两个算法并统称为部分定向局部结构学习算法(Partial Orientation and LocalStructure Learning，以下称POLSL)。它包括Local-Graph算法和PCD-by-PCD算法(这里PCD代表父节点(Parents])，子节点(Children)和后代节点(Descendants))。使用POLSL算法可以学习出来目标变量的局部结构并部分定向一些边而不用把整个因果网络构造出来。Markov等价类中能定向的边该算法都可以定出向来。这样就可以极大地将结构学习的计算量降下来并提高统计检验的功效。对于存在外部干预和不存在外部干预的不同情况，采取不同的策略选择变量集来建立预测模型。这里使用的是带有L1惩罚的logistic回归模型来作预测。图学习的算法大体上可以分为两类：一类是constraint-based，一类是score-based。对于constraint-based类型的算法，不可避免要作条件独立性检验。但当条件集包含的变量很多时，样本量往往不足，使得检验的功效很低或根本无法完成：面对连续型数据，人们常常假设数据服从高斯分布，但当该假设不成立或者变量间的关系是非线性时，用一般的高斯分布的条件独立性检验会产生很大的偏差。本文指出，当数据中有降维结构时，可以对条件集进行降维，然后在降维后的数据上作检验。本文还提出一种对于连续型变量的非参数的检验条件独立性的方法。结合这两种新方法，可以相应地提高这些非标准情况下作检验的功效。本文给出了一些模拟结果。对于服从高斯分布的连续型数据，学习其对应的无向图等价于求它的协方差矩阵的逆。一般来说，给定数据只有一个固定的协方差矩阵。本文试图拓展这个概念，提出一类“变系数协方差矩阵”模型，即对于一个指标变量(index variable)，协方差矩阵是这个指标变量的光滑函数(矩阵值函数)，即条件协方差矩阵。历史上对条件方差的估计已有很多研究，本文对条件协方差矩阵提出了一个非参数模型。提出了相应的基于核函数的估计量，并详细研究了该估计量的渐近偏差、方差和渐近正态性质。最后应用这个模型在一个实际的数据集上作了分析，得出了很多有趣的结论。收起

关键词 : 图模型有向无环图局部学习协方差矩阵

10. 维数约简中的数据性质研究

[学位论文] 毕华中国科学院自动化研究所 2009年博士导师: 王珏共101页

摘要 : 维数约简是机器学习领域中一个重要的研究方向。近年来，高维海量不可控数据的现状，维数约简算法又一次成为人们关注的焦点。高维数据使我们不得不面对维数灾难(Curses of Dimensionality)问题，维数的不断膨胀给高维数据中的模式识别与数据分... 展开维数约简是机器学习领域中一个重要的研究方向。近年来，高维海量不可控数据的现状，维数约简算法又一次成为人们关注的焦点。高维数据使我们不得不面对维数灾难(Curses of Dimensionality)问题，维数的不断膨胀给高维数据中的模式识别与数据分析带来极大的挑战，但与此同时，维数的增长又带来了“维数福音”(Blessings of Dimensionality)，高维数据中蕴藏着的丰富信息中可产生解决问题的新的可能性。如何将高维数据表示在低维空间中，并由此发现其内在结构是高维信息处理研究的关键问题之一。传统的机器学习算法有两种不同的建模理念：整体学习与局部学习。整体学习体现数据的整体性质，建立统一的模型；而局部学习通过数据的局部特性来归纳模型。我们根据局部学习的不同特点，将局部学习算法分为三种类型。在统计推断中稳健性是指实际问题的数据来源与我们的模犁假定有偏离时，所采用的算法的结果受到的扰动很小，并且保持算法的预测性能。将统计稳健性的研究方法引入维数约简算法中，分析得到邻域局部加权估计这种局部学习能够在大样本的情形下收敛到Bayes最优估计，同时收敛条件可以说明邻域局部加权估计是稳健估计。并在模拟数据和真实数据库上进行试验，结果表明在某些离群点影响模型的情况下，仍然保持监督学习预测的泛化性能。 Boosting算法试图用弱学习器的线性组合逼近复杂的自然模型，以其优秀的可解释性和预测能力，得到计算机界的高度关注。但只是将Boosting看作是一种特定损失下的优化问题，我们提出从统计理念看待Boosting方法：在统计学框架下，Boosting算法仅仅是重采样方法的一个特例。目前机器学习算法只重视算法性能忽略数据性质的现状，把预测准确性作为衡量的唯一目标。我们希望改变这种现状，在注重统计解释性的同时，提高算法预测性。本论文的主要成果是： 1.分析了机器学习两种不同理念整体学习和局部学习，将局部学习算法划分为邻域局部加权学习算法，模型局部算法和局部流形算法三类，并对其主要算法进行了较为详细的阐述。 2.探讨了统计稳健性的概念和分类，并提出了机器学习中的算法稳健性，分析了不同噪音方式对数据的影响，并分析了一种特殊的局部学习算法-邻域局部加权算法的稳健性。 3.介绍了Boosting算法的发展过程，对重采样方法的发展历史进行了较为详细的综述；提出了机器学习算法的四个步骤：样本采集、采样策略、算法类型、集群方法，分析了Boosting方法的统计学性质-Boosting算法仅仅是重采样方法一个特例。收起

关键词 : 机器学习维数约简局部学习稳健性重采样数据性质