摘要: 在大数据时代，网络技术的高速发展对人类社会产生了深刻的影响，给人们的生活、工作、学习等带来了许多的便利。与此同时，层出不穷的网络攻击行为也给社会带来了巨大的危害，不仅对个人和企业造成了重大的财产损失，而且对政府和国家的安全也带来了... 展开 在大数据时代，网络技术的高速发展对人类社会产生了深刻的影响，给人们的生活、工作、学习等带来了许多的便利。与此同时，层出不穷的网络攻击行为也给社会带来了巨大的危害，不仅对个人和企业造成了重大的财产损失，而且对政府和国家的安全也带来了严重影响和威胁。入侵检测技术作为一种积极的安全防御措施，可以有效防范入侵行为带来的危害。但在大数据时代，数据规模和数据量级剧增，传统的入侵检测技术面临着许多的局限和问题。因此，研究大数据下的入侵检测技术，采取高效有用的方法来检测和防御入侵行为有着重要的意义。 本文从大数据的处理和分析方法出发，结合入侵检测技术的特点，提出了大数据下入侵检测的基本方法和检测过程，对大数据下入侵检测技术的研究有一定的借鉴意义。本文的主要工作如下: (一)分析和总结了大数据下入侵检测技术的基本要求。本文分析了大数据的处理技术，结合入侵检测的特点和实际要求，总结了大数据下入侵检测技术的基本框架和发展趋势，提出了适用于大数据的入侵检测模型，该模型优化了网络数据的处理流程，简化了网络数据中正常流量的处理方式，可以提升大数据下入侵检测系统的处理能力。 (二)实现了一种基于高维入侵数据的特征降维算法。本文分析和对比了入侵检测中不同度量方式的优缺点，实现了一种融合不同度量方式的特征子集选择算法。该算法基于信息度量和分类准确率度量，采用前向选择和后向删除结合的方法来优化特征子集，以减少选择特征之间的冗余。实验表明，该算法得到的特征子集，不仅较好保持特征与分类属性之间的关系，而且可以提升后续分类检测算法的效率。 (三)实现了一种基于集成学习方法的入侵检测算法。本文分析和对比了集成学习方法的特点，将集成学习的思想应用到入侵检测中，实现了一种基于集成学习方法的入侵检测算法，该算法基于XGBoost算法框架，采用SMOTE少数类过采样合成技术和FCV快速交叉验证方法来优化入侵检测模型，从而实现对入侵测试数据的入侵检测。实验表明，该算法不仅能提升建模的速度，而且具有较高的检测效率，能更好适用于大数据网络的入侵检测。 收起