摘要: 随着互联网与大数据技术的蓬勃发展，云服务时代已经到来。云消息服务基于分布式消息系统，实现了在分布式组件之间自由地传递数据等功能。然而，随着业务系统向云端的迁移，消息系统的规模逐渐扩大，负载倾斜问题显现出来。服务节点之间的负载不均衡... 展开 随着互联网与大数据技术的蓬勃发展，云服务时代已经到来。云消息服务基于分布式消息系统，实现了在分布式组件之间自由地传递数据等功能。然而，随着业务系统向云端的迁移，消息系统的规模逐渐扩大，负载倾斜问题显现出来。服务节点之间的负载不均衡影响了云消息服务的可用性，降低了上云效果。论文针对包括Kafka、RocketMQ和RabbitMQ在内的多个主流分布式消息系统存在的共性负载倾斜问题，主要研究工作如下: (1)针对分布式消息系统的特点，提出了基于副本角色的负载均衡算法。首先，提出以容量限制和分布均衡作为实现负载均衡状态的具体目标，以CPU利用率、磁盘利用率、网络入站速率以及网络出站速率作为负载监控的主要指标。然后，依据负载的不同角色类型，设计了首领角色迁移策略和副本迁移策略。分别针对两迁移策略，详细设计了选择目标副本和目的节点依据的原则和算法流程，实现在实施负载迁移的同时，保证分布式场景下的副本一致性、分区可用性和数据可靠性。最后，论文说明了算法总流程并讨论了参数影响及代价评估。 (2)负载均衡策略的设计与实现建立在对节点和副本资源利用情况已知的前提下，针对现有分布式消息系统无法直接获取副本级别CPU使用情况的问题，提出了基于线性回归的负载感知算法。首先，论文基于机器学习算法，对节点级别的网络出入站速率和CPU使用率之间的隐含相关性进行建模。利用学习到的线性模型，基于副本的网络出入站速率，实现副本级别CPU使用率的预测。然后，对线性回归模型进行训练与验证。最后，结合负载感知模型与基于副本角色的负载均衡算法进行实验测试。实验结果表明:算法能够使分布式消息系统的负载分布更加均衡，并能够明显提升云消息服务的可用性。 (3)针对在云服务中常会结合虚拟化技术的特点，提出了虚拟化环境下的负载均衡算法，保证分布式消息系统在物理主机级别和虚拟节点级别均能够实现负载均衡状态。首先，通过分析系统在虚拟化场景下对CPU、磁盘及网络带宽资源的使用特点，将资源在主机级别和节点级别进行分类。然后，依据资源所属类别，提出了虚拟化环境下的容量限制目标和分布均衡目标，补充了基于副本角色的负载均衡算法，使其适用范围扩大到虚拟化的环境下。最后，从负载均衡性和服务可用性两个层面证明算法的有效性。实验证明:算法不仅使分布式消息系统在主机级别和节点级别均实现负载均衡，而且能够通过提高系统的负载均衡状态实现提高集群的可靠性和服务的可用性。 收起