摘要: 随着大数据时代的来临，各类并行计算框架应运而生。这其中，基于MapReduce架构的Hadoop和Spark等由于具备高容错性、高扩展性和高可靠性等优点，越来越受到人们的关注。随后，研究人员在MRv2中将资源管理和处理组件分开，形成通用的资源处理框架——YA... 展开 随着大数据时代的来临，各类并行计算框架应运而生。这其中，基于MapReduce架构的Hadoop和Spark等由于具备高容错性、高扩展性和高可靠性等优点，越来越受到人们的关注。随后，研究人员在MRv2中将资源管理和处理组件分开，形成通用的资源处理框架——YARN，进一步提升了系统的可伸缩性、效率和灵活性。YARN平台非常适合面向互联网的大规模数据处理，但当其应用到高性能计算中时，在资源调度、Shuffle算法等方面，仍然存在可提升性能的地方。本文针对上述问题，进行了深入的研究，取得的主要成果如下: (1)提出并实现了一种基于人工鱼群的YARN平台资源调度器算法，提高了系统的资源利用率。该算法从提高内存利用率和减少job运行时间两个方面进行了改进，使其更加适应高性能计算的需求，并将其抽象为MKP多背包问题，最后应用人工鱼群算法获得最优解。实验证明本文可以有效地提高系统的运行效率和资源利用率。 (2)提出并实现了一种面向RDMA的YARN平台Shuffle算法，提高了YARN系统的处理效率。该算法充分利用新一代网络互联设备RDMA的高带宽，将Shuffle操作从Reduce端分裂出来，做成后台进程，同时改进了读写策略，降低了磁盘随机读写的负载，减少了Shuffle过程的时间。实验证明改进的Shuffle算法可以有效地提升系统的处理效率。(3)针对地质高性能计算应用系统——Kirchhoff叠前时间偏移(PKTM)算法进行了研究，在本文改进的YARN平台上，分别提出和实现了基于Hadoop平台和Spark平台的PKTM系统，并对其性能进行了分析，验证了本文改进算法的有效性，也为地质成像算法在MapReduce架构上的并行化提供了借鉴。 收起