中国科学技术信息研究所--国家工程技术数字图书馆

[学位论文] 李飞山西大学 2019年硕士导师: 杜亮共83页

摘要 : 数据挖掘经过几十年的发展，已经成为目前计算机科学研究领域的重要方向之一，通过数据挖掘我们可以在数据中探索到潜在的规律。数据挖掘中有一项在我们日常生活中应用非常广泛且非常重要的方法，即聚类分析。同样，聚类分析也一直是国内外相关学者研... 展开数据挖掘经过几十年的发展，已经成为目前计算机科学研究领域的重要方向之一，通过数据挖掘我们可以在数据中探索到潜在的规律。数据挖掘中有一项在我们日常生活中应用非常广泛且非常重要的方法，即聚类分析。同样，聚类分析也一直是国内外相关学者研究的一个重要领域。聚类分析技术可以探究到数据中潜在的构造，从而在很多专业领域的运用非常广泛。在聚类分析领域中，基于概念分解算法(CF)得到了广泛的应用，因为该方法能够将矩阵分解推广到单个非线性核空间，使得多维数据更容易被描述，该方法被广泛运用在信号处理和计算机视觉等领域的研究中。但是，基于概念分解的聚类算法在实际应用中面临的一个重要问题是针对特定的任务或数据集该如何设计合适的核函数，因为很多情况下单一的线性方法或非线性方法不能体现任务的具体特性。针对概念分解在聚类分析时面临的核函数选择和设计的困难，我们提出了两个相应的多核概念分解方法，具体如下: (1)提出了基于全局融合的多核概念分解方法(GMKCF)。该方法通过全局线性加权的方式将多个候选核函数合并，并将多核融合过程和概念分解过程进行联合学习。一方面借助融合后的高质量核函数提升概念分解质量，另一方面借助概念分解发现数据集上的本征结构并用于指导多核融合参数的学习。本文设计了相应的分块迭代算法并证明其收敛性和复杂性等理论特性。经过实验表明，该方法在基准数据集上与实验中对比的单核方法和其他多核方法相比实验效果更好，因此方法的有效性被证明。 (2)提出了基于局部判别分析全局集成的多核概念分解方法(DMKCF)。该方法首先扩展了以上提出的GMKCF，然后对于每个基核，通过全局集成的局部判别模型提取每个样本的局部判别结构。此外，我们进一步线性组合所有这些核级局部判别模型，以获得跨基核的内在结构的综合一致性特征。这样，我们的方法可以通过更紧凑的数据重建和更准确的局部结构保持来获得更好的结果。另外，还设计了一种保证收敛性的迭代算法来寻找最优解。通过在基准数据集上的实验，可以从实验结果看到该方法在多个指标上优于许多先进的算法。综上，本文围绕概念分解中核函数设计的问题，探索了概念分解中新的核函数生成算法，并提出了两个多核聚类算法。聚类分析作为模式识别、机器学习以及数据挖掘等计算机研究领域中使用最为普遍的方法，在其他专业领域的应用也十分的广泛。所以不管在理论层面，还是在实际应用层面，这两个多核聚类方法在聚类分析领域有很大的价值。收起

关键词 : 数据挖掘多核概念分解全局集成多核聚类核函数生成

2. 随机多尺度核学习及应用

[学位论文] 翁昊浙江工商大学 2017年硕士导师: 董雪梅共54页

摘要 : 本文提出了一种简单的多核学习框架，用于对复杂数据的回归问题进行建模.选取多尺度的高斯核函数作为基本内核，根据随机配置的方法设置核尺度参数.结合l1正则化方法，利用样本自适应地选择最优的模型参数，构造一个具有稀疏约束的单任务机器学习解决... 展开

关键词 : 多核学习高斯核函数随机配置稀疏约束

3. 基于多核局部保映射特征提取方法的研究

[学位论文] 路小燕北京工业大学 2016年硕士导师: 刁麓弘共48页

摘要 : 本文主要研究对样本数据进行特征提取的方法。随着机器智能的发展，模式识别与机器学习技术在社会生产生活的很多领域中应用的越来越多，如图像识别、视频检索和文本处理等。而一个模式识别系统的设计和其分类性能的优劣，很大程度上都要受到特... 展开

关键词 : 模式识别特征提取多核函数局部保持投影

4. 基于L1-范数的多核Fisher判别分析方法及其应用研究

[学位论文] 张丹丹重庆大学 2015年硕士导师: 钟波共46页

摘要 : 统计模式识别在判别分析领域扮演着重要的角色，也是模式识别的课题之一，作为统计模式识别基础的多元统计分析和鉴别分析在计算机出现之前就已经存在，而作为对样本数据具有降维功能的Fisher判别分析法发展迅速，其理论研究和应用取得了很大进展，如... 展开统计模式识别在判别分析领域扮演着重要的角色，也是模式识别的课题之一，作为统计模式识别基础的多元统计分析和鉴别分析在计算机出现之前就已经存在，而作为对样本数据具有降维功能的Fisher判别分析法发展迅速，其理论研究和应用取得了很大进展，如医疗诊断、人脸识别、信用风险评价等领域。随着大数据时代的到来，数据分析更多面对的是高维度、结构非常复杂的数据，传统的Fisher判别分析已难以实现准确的识别。传统的Fisher判别分析法利用Frobenius范数确定判别准则，异常数据对其比较敏感，这就引出了基于L1范数建立Fisher判别准则；又为了解决非线性可分问题以及充分反映样本的多种特征，将多个核函数引入以构造新的判别模型。论文将多核函数和L1范数同时用于Fisher判别建立基于L1范数的多核Fisher判别模型，以研究如何提高判别模型的准确识别率问题。本研究主要内容包括：①选取将具有旋转不变性的L1范数应用于Fisher判别分析中，以减弱异常数据的敏感性。为了处理线性不可分的情况，并且充分利用样本的多种特征属性，引入了合成核函数，该核函数融合了线性核函数的全局性和高斯核函数的局部特性。②从理论上对L1范数下的多核Fisher判别函数以及相对应的判别准则进行了详细的推导；对模型中的参数和组合系数，提出了“经验选择法”与“实验试凑法”相结合的计算方法；在建立判别函数和判别准则时使用拉格朗日乘子法求解类间散度距离与类内散度距离差的极大值，避免了“小样本问题”下的类内散度矩阵不可逆问题。③选取UCI数据库中IRIS、SEEDS、Ionosphere三类不同类型的数据集对论文研究方法的有效性进行了验证，选用上证100指数成分股和“ST”股的上市公司作为样本，应用论文提出的方法并对上市公司财务状况好坏进行了实证判别。⑤通过与传统的Fisher判别中的误判概率比较，模型使判别能力（或准确识别率）在一定程度上有所提高。与传统的Fisher判别法相比，在样本维数较低时模型的判别能力较弱，在对维数相对较多或维数比较接近样本数目时，模型准确识别率比传统Fisher略有改善,并且多核函数下的判别能力优于单个核函数。如果要大幅改善论文判别方法的识别率，提高计算速度，需要在确定参数的算法上有所改进。收起

关键词 : 模式识别判别分析多核函数 L1-范数

5. 基于多数据相关核的模拟电路故障诊断方法研究

[学位论文] 王硕哈尔滨工业大学 2015年硕士导师: 张毅刚共69页

摘要 : 随着半导体技术的飞速发展，现代电子系统中使用的模拟电路集成度和复杂度不断提高，功能也不断增强，其出现故障的概率也不断增大，因此研究人员提出了不同类型的电路故障诊断方法，以保证模拟电路具有良好的可用性和可靠性。在这些方法中，基于支持... 展开随着半导体技术的飞速发展，现代电子系统中使用的模拟电路集成度和复杂度不断提高，功能也不断增强，其出现故障的概率也不断增大，因此研究人员提出了不同类型的电路故障诊断方法，以保证模拟电路具有良好的可用性和可靠性。在这些方法中，基于支持向量机的模拟电路智能故障诊断方法具有坚实的理论基础和推广特性，能够解决有限样本的学习问题，已经成为电路故障诊断领域的研究热点。支持向量机使用单个核函数方法把非线性输入数据映射到高维空间使其线性可分，然而研究表明由于不同核函数性能上的差异，使其在各种数据集上分类效果差距较大，而核函数的选择和构造至今还没有完善的理论依据。另外，由于模拟电路自身的固有特性，使得故障样本集合具有数据不规则和高维特征空间分布不平坦的问题，采用单一核函数往往难以取得良好的诊断效果。针对以上问题，本文提出了一种基于多数据相关核的核矩阵优化策略，用于改进标准支持向量机对训练模型和参数过于依赖的问题，并将多数据相关核方法应用于解决模拟电路故障诊断问题中。首先，本文研究多核函数构造原理，使用核排列的方法优化多核算法中基本核函数的权重系数；然后，研究经验特征空间中的核函数优化方法，对核矩阵进行优化构造数据相关核；基于此提出了基于多数据相关核的模拟电路故障诊断方法，将多个基本核进行凸组合构造多核矩阵，并对多核矩阵进行数据相关核优化，利用优化后的核矩阵替代标准支持向量机的单一核函数，以提高故障诊断方法的诊断准确率。最后，论文利用Hspice软件对几个典型的标准电路进行了仿真实验，在电路中注入常见故障类型，使用Haar小波变换、PCA等方法进行特征提取，获取故障样本集，以验证论文中提出的基于多数据相关核的电路故障诊断方法的有效性。仿真实验结果表明，同基于标准支持向量机，基于多核函数以及基于数据相关核的模拟故障诊断方法相比，本文提出的基于多数据相关核的模拟电路故障诊断方法在标准电路集上能够取得更好的故障诊断准确率和极短的诊断模型建立时间，并且在此基础上可以提高诊断效率。收起

关键词 : 模拟电路故障诊断支持向量机多核函数

6. 基于RM界的多核支持向量机算法研究

[学位论文] 王文丽西安电子科技大学 2009年硕士导师: 周水生共45页

摘要 : 支持向量机(SVM)是数据挖掘中的一项新技术，是借助于最优化方法解决机器学习问题的新工具。支持向量机具有全局最优、结构简单、推广能力强等优点。支持向量机通过引入核函数，简化了高维空间中的内积运算，很好地解决了非线性分类问题。对多数据源或... 展开

关键词 : 人工智能机器学习多核函数支持向量机

7. 基于改进的SVM彩色图像分割方法研究

[学位论文] 吴迪西安理工大学 2016年硕士导师: 戴芳共62页

摘要 : 图像分割旨在研究如何有效地将图像依据一定的规则划分成各具特性的区域并对其感兴趣区域进行提取，其分割质量直接或间接影响后期图像分析和理解的效果。图像分割的本质就是对像素进行分类，故选择性能优良的分类算法对于图像分割具有重要的理论价值... 展开图像分割旨在研究如何有效地将图像依据一定的规则划分成各具特性的区域并对其感兴趣区域进行提取，其分割质量直接或间接影响后期图像分析和理解的效果。图像分割的本质就是对像素进行分类，故选择性能优良的分类算法对于图像分割具有重要的理论价值与实际意义。 20世纪末提出的支持向量机(Support Vector Machine，SVM)是基于统计学习理论基础的有监督分类的新型机器学习算法，已经在数据分析、图像分割和信号处理等众多领域得到广泛的关注与应用，尤其是对解决非线性、小样本等的分类问题具有潜在优势。本文围绕SVM理论展开研究，提出两种改进的SVM彩色图像分割方法。首先考虑不同类型核函数之间的互补性，并兼顾图像特征属性以及训练样本选取方式，提出了基于k均值聚类和粒子群优化的多核SVM彩色图像分割方法；同时鉴于支持向量、非支持向量和噪声点在SVM进行图像分割过程中呈现的差异性，为了突出不同类型样本点在图像分割过程中的实际作用，使得图像的分割效果更加能够符合人类视觉注意机制，提出了基于视觉注意和改进隶属度的FSVM彩色图像分割方法。主要工作如下： 1.针对单核SVM在进行图像分割过程中不能兼顾分割精度高和泛化性能好的问题，提出了一种基于k均值聚类和粒子群优化的多核SVM彩色图像分割方法。该方法首先在L*a*b*颜色空间提取像素级颜色特征，利用Gabor变换提取像素级纹理特征；然后使用k均值聚类依据图像像素级颜色特征和纹理特征选取适量的训练样本，并使用该特征属性对构造的多核SVM分割模型进行训练；最后用粒子群优化算法对多核核参数、惩罚因子以及核权重系数联合寻优，使生成的多核SVM具有更好的分割性能。通过选取复杂背景下的典型彩色图像进行分割实验，结果表明，本文方法在有效提取图像目标细节的同时，获得了更高的分割精度，与基于单核的SVM分割模型相比，具有更强的泛化能力。 2.针对SVM分割图像时存在对噪声和孤立点较敏感而容易产生误分割的问题，提出了一种基于视觉注意和改进隶属度的FSVM彩色图像分割方法。该方法将人类视觉显著性检测机制因素也考虑在内，避免了噪声点等非重要训练样本的干扰且使得分割效果符合人类视觉特点，改进的隶属度函数综合考虑了样本点距离类中心的远近以及样本点的疏密程度，从而有效的惩罚噪声点等，即增强了支持向量的作用，可以有效提高分割准确率。通过选取伯克利图像库中典型的彩色图像进行分割验证，结果显示，与标准的SVM及基于样本疏密程度隶属度的SFSVM分割方法相比，本文方法能够对复杂场景下的彩色进行有效分割，同时呈现出良好的抗噪能力。收起

关键词 : 图像分割支持向量机多核核函数特征提取

8. 多核正则化算法及相关问题

[学位论文] 刘萍济南大学 2011年硕士导师: 孙红卫共60页

摘要 : 基于核的正则化算法是统计学习理论的主要研究对象之一,其在计算机、经济、生物等领域有着广泛的应用。算法的一致性分析和误差估计,对算法的可靠性及复杂性,有着重要的意义。在某些实际情况中,单核的算法往往并不令人满意,因此,为提高算法的性能,人们... 展开基于核的正则化算法是统计学习理论的主要研究对象之一,其在计算机、经济、生物等领域有着广泛的应用。算法的一致性分析和误差估计,对算法的可靠性及复杂性,有着重要的意义。在某些实际情况中,单核的算法往往并不令人满意,因此,为提高算法的性能,人们引入基于多个核的假设空间。这样既克服了单核的再生核Hilbert空间的逼近能力有限的问题,也避免了因采用光滑性低的核带来的计算复杂的问题。近几十年来,多核问题越来越引起人们的重视,国内外的学者就这一问题做了深入的研究,并且取得了卓越的成果。本文主要研究基于再生核Hilbert空间多核的正则化算法问题。研究内容主要分为以下几章: 第一章简述了学习理论的产生与发展,经验风险最小化原则,正则化算法和再生核:Hilbert空间,多核问题的产生,多核问题的研究现状和主要成果,介绍了本文所需要的基本知识和本文的主要工作。第二章研究单位圆周上点积核的严格正定函数。第一节引入严格正定函数的定义,同步讨论了前人关于函数严格正定的充分条件和必要条件,其中用到Kronecker逼近性质和普遍存在模的概念。第二节给出n秩严格正定的定义,利用函数在单位圆周上n秩严格正定与严格正定的等价性和n秩严格正定的充要条件,证明了普遍存在模条件的必要性。关于普遍存在模条件是否是严格正定的充要条件,人们尚未给出证明,在第三节讨论了在某些情况下普遍存在模条件的充分性。第三章研究多核正则化算法解的存在性。第一节首先介绍了多核问题产生的背景,给出核函数空间到半正定矩阵空间的映射,并将多核正则化算法表述为核函数空间上的映射。第二节对核函数空间赋予拓扑,采用算子逼近的方法证得多核正则化算法所对应的映射是连续的,从而得到本章的主要结果:最优解存在只需要核函数空间是一个紧集即可,推广了C.A.Micchelli等人的工作。第三节考虑了采用Gaussian核的多核正则化算法最优解的存在问题,该种算法中核函数空间非紧。利用表示定理把该问题转化为函数最值的存在性问题,给出了算法解存在与不存在的两个充分条件。第四章研究两个核的最小二乘正则化算法。本章研究基于两个核的正则化回归学习算法的一致性与误差估计。关于多核算法的一致性已有的研究较少,Wu Q、Ying Y M、Zhou D X等人研究了多核分类算法的误差分析与一致性。第一节给出了我们所研究算法的框架,将学习误差分为逼近误差和样本误差,给出本章的主要结果;第二节证明了该种算法的表示定理,以及算法解的范数估计;第三节采用积分算子的方法,估计逼近误差;第四节和第五节用Bernstein不等式和覆盖数来估计样本误差的两部分,从而完成主要结果的证明。最后将估计出的学习速率与已有关于单核算法的学习速率进行比较,说明在多数情形下,多核算法优于单核算法。虽然,我们只是讨论了两个核的情形,但我们的方法适用于有限核的情形。第五章总结硕士阶段所作的工作,并对后续工作作出展望。收起

关键词 : 多核正则化严格正定函数最优解覆盖数学习速率

9. 多尺度核支持向量回归模型的研究

[学位论文] 陈燚玲华中科技大学 2016年硕士导师: 段金桥共43页

摘要 : 支持向量回归机主要应用于求解回归问题，其学习效果很大程度上取决于核函数的选择。对于核函数的研究，从最初的单个核函数的研究，到近几年的多核学习方法，一直都是支持向量机理论研究的热点问题。目前，关于多尺度核支持向量回归机的论文中... 展开

关键词 : 支持向量回归机多核学习方法高斯径向基核函数小波核函数

10. 面向物体识别的多核学习方法研究

[学位论文] 杨晶晶中国科学院研究生院 2011年博士导师: 高文共127页

摘要 : 随着多媒体技术以及计算机互联网技术的迅速发展，人们生活中触手可及的图像数据呈现爆发式的增长趋势，这对机器自动分析和识别图像内容的技术提出了迫切的需求和挑战。一方面，受制于图像底层信息和高层语义之间的语义鸿沟，图像中的物体类别信息很... 展开随着多媒体技术以及计算机互联网技术的迅速发展，人们生活中触手可及的图像数据呈现爆发式的增长趋势，这对机器自动分析和识别图像内容的技术提出了迫切的需求和挑战。一方面，受制于图像底层信息和高层语义之间的语义鸿沟，图像中的物体类别信息很难直接从底层特征获得，因此需要借助物体识别的方法建立从底层特征到高层语义的映射。另一方面，不同的底层特征对物体识别的贡献不尽相同，既存在类内的变化，也存在一定的类间差异及共性。因此，本文针对基于多核函数的物体识别方法进行深入研究，致力于设计不同的多核函数组合以及对应的多核学习方法，挖掘不同问题背景下各种底层特征和核函数对物体识别的贡献，从而建立从多种底层特征到物体类别的合理映射。本文的主要创新点包括: 第一，提出了一种多核主动学习方法，用于解决训练样本筛选及多核学习方法计算复杂度较高的问题。该方法将主动学习引入多核学习框架，根据无标签样本的分布情况，通过一种局部自适应的样本筛选策略，自顶向下地利用样本簇间竞争和簇内竞争筛选出一批最有信息量并兼顾代表性及差异性的样本，进行类别标注并参与分类器训练。实验表明，该方法在不影响识别性能的前提下，有效地去除了训练样本冗余，缓解了多核学习算法复杂度较高的问题，并取得了显著优于已有主动学习方法的结果。第二，提出了一种样本特定的多核学习方法，用于解决类内变化较大的物体识别问题。该方法提出了样本特定的多核函数组合对样本间的相似性进行度量，挖掘了各个核函数在不同样本上对于识别的贡献。该方法对物体的类内多样性具有较好的适应性。多个公开数据集上的大量实验表明，相比已有多核学习方法，该方法能更好地适用于类内变化较大的物体识别问题，并取得了与目前国内外前沿的物体识别方法性能相当的结果。第三，提出了一种簇敏感的多核学习方法，用于解决不同物体类别间数据混叠的物体识别问题。该方法将样本簇引入多核学习框架，对物体类内多样性及类间相关性进行建模，提出了簇敏感的多核函数组合方式，有效地挖掘了不同核函数在样本簇上对于识别的贡献，在捕捉物体类内变化的同时兼顾了物体类别的共性。该方法在模型复杂度上对样本特定的多核学习方法进行了改善，降低了过拟合的风险。多个公开数据集上一系列的实验表明，该方法对于复杂数据中由类内多样性和类间相关性带来的数据混叠问题具有较强的适应能力，其识别能力显著优于已有的多核学习方法，并取得了与国际前沿的物体识别方法性能相当甚至更优的结果。第四，提出了一种类共享的多核学习方法，用于解决多类物体识别问题中，多核函数组合的知识共享问题。该方法在物体识别领域将多核学习拓展到了多标签学习问题，并在统一的学习框架下，根据训练数据的充分程度，提供了多核函数组合在物体类别间相互独立、部分共享或者完全共享的多核学习方法。该方法在充分考虑物体类别在多核函数空间个性的同时，有效地挖掘了多个类别在多核函数空间的共性。实验表明，该方法能削弱训练数据不充分带来的不利影响，具有较强的识别能力和泛化性能。综上所述，本文针对物体识别的多核学习问题进行了深入的研究。在充分考虑物体类别类内多样性、类间相关性以及类间共性等因素的基础上，挖掘了多种底层特征对于不同复杂程度的物体识别问题的贡献，提出了四种多核学习方法，并实现了基于视觉内容的图像分类系统，通过大量的实验验证了本文提出的方法的有效性。此外，本论文的研究成果将为物体识别领域开展更深入的多核学习方法研究奠定基础。收起

关键词 : 物体识别图像分类多核学习底层特征核函数