摘要: 在工业生产过程中，企业通常会遇到生产设备故障的问题，设备日志在分析设备故障原因以及了解设备损耗情况方面发挥着重要的作用，对设备日志的存储和分析工作由工业日志系统完成。近年来，我国提出中国制造2025，这意味着对工业日志系统提出了更高的... 展开 在工业生产过程中，企业通常会遇到生产设备故障的问题，设备日志在分析设备故障原因以及了解设备损耗情况方面发挥着重要的作用，对设备日志的存储和分析工作由工业日志系统完成。近年来，我国提出中国制造2025，这意味着对工业日志系统提出了更高的要求，然而，传统的工业日志系统并不能满足其需求，这体现在不能高并发处理日志存储请求、缺乏对日志数据的实时分析以及对原始日志数据的处理方式较为简陋。因此，设计实现一个分布式工业日志系统来解决上述问题具有重要意义。 本文以A公司的日志系统需求为背景，针对传统工业日志系统的不足，设计实现了基于ELK和kafka的分布式工业日志系统，采用分层设计的思想，将该日志系统分为收集层、缓冲层以及检索层，主要完成的工作包括： (1)针对传统工业日志系统无法高并发处理日志请求的问题，本文设计实现了一个日志收集服务子系统，该子系统采用Reactor事件驱动模式和线程池技术实现了高并发处理日志请求，设计实现了环形内存缓冲降低了日志文件磁盘I/O对服务器性能的影响。 (2)针对传统工业日志系统缺乏对日志数据的实时分析的问题，本文设计实现了一个日志计算中心，日志计算中心基于Elasticsearch实现了日志数据的实时检索分析，并提供一个日志检索的可视化界面。 (3)针对传统工业日志系统对原始日志数据的处理方式较为简陋的问题，本文设计实现了一个日志缓存服务子系统，该子系统采用logstash对实现了日志数据处理规则的灵活配置，并基于分布式消息系统kafka实现了日志数据的缓存队列。 最后，本文对设计的工业日志系统进行测试分析，验证了日志系统能够高并发处理工业设备的日志存储请求，对原始日志数据的处理规则实现了可灵活配置，并实现了对日志数据的实时检索分析。 收起