摘要: 现如今我们的生活与网络息息相关，网络在给人们的生活带来巨大便捷的同时也存在着安全隐患。人们为了消除这些隐患，便提出了网络入侵检测技术。尤其近十几年机器学习、神经网络的空前发展也推动了网络入侵检测技术的蓬勃发展。网络入侵检测技术是指... 展开 现如今我们的生活与网络息息相关，网络在给人们的生活带来巨大便捷的同时也存在着安全隐患。人们为了消除这些隐患，便提出了网络入侵检测技术。尤其近十几年机器学习、神经网络的空前发展也推动了网络入侵检测技术的蓬勃发展。网络入侵检测技术是指为了防止网络被入侵，从而对网络的状态做实时检测的技术，它是一种主动进行防御的技术，它的存在不会影响到网络的正常运行，如果说防火墙是防止网络入侵的一道关卡，那么网络入侵检测就是防止网络入侵的第二道关卡，因此研究网络入侵检测技术的重要性不言而喻。 为了研究网络入侵检测问题，本文使用了机器学习算法中的效果较好的集成算法建立了网络入侵检测模型。具体的工作和主要研究内容如下： 1.网络入侵检测数据的预处理。本论文针对网络入侵检测问题，分析比较了国际上常用的两种数据集Kddcup99和NSL_KDD数据集，然后对NSL_KDD数据集进行了三个阶段的数据预处理：将标签变为数值阶段，将字符形式属性转化为数值形式属性阶段以及归一化阶段。 2.基于集成算法对网络入侵检测问题的研究。本论文首先使用了集成算法随机森林对网络入侵检测问题进行建模处理；其次使用集成算法LightGBM对网络入侵检测进行建模，期间使用贝叶斯优化对参数进行寻优；之后使用集成算法CatBoost对网络入侵检测问题进行建模，建模时根据CatBoost算法的性质建立了两种不同的模型：基于集成算法CatBoost自处理类别型特征的网络入侵检测模型和基于集成算法CatBoost对转化成数值型特征的网络入侵检测模型。然后对比了三种集成算法的检测效果并将它们与其他的一些机器学习算法的检测效果进行对比，期间又使用了SMOTE算法对少数类数据集进行处理，最后为了进一步改善检测效果使用Stacking模型融合技术将几种集成算法以一种较优的两层Stacking结构融合成混合模型。 3.基于DBN网络特征降维的研究。NSL_KDD数据集预处理之后特征可能会有些冗余，所以为了进一步提升检测效果，将注意力放在了特征降维上。采用深度置信网络(DBN)进行了特征的非线性提取，再将得到新特征的数据集输入到集成算法LightGBM上。为了验证所提出的使用DBN网络进行特征降维的有效性，又将其与使用传统特征提取方法PCA技术以及未做降维的LightGBM模型分类效果进行对比，发现DBN-LightGBM的检测效果最优，也验证了本论文提出的DBN-LightGBM网络入侵检测技术综合利用深度置信网络(DBN)的非线性特征提取优势以及集成算法LightGBM优良的分类预测性能。 收起