基于Hadoop的動車組故障數據關聯規(guī)則挖掘研究與實現.pdf

1、隨著我國高速鐵路的建設和發(fā)展，經過近十年的運營，已積累了海量的高速動車組運行狀況數據，并以TB數量級增長。如何利用動車組的海量故障數據進行分析，并進一步指導動車組的維修和維護工作，對動車組的故障診斷具有重要意義。面對高速鐵路動車組運行狀況數據所呈現出的多樣化，容量大、高度復雜，速度快等特點，傳統(tǒng)的數據挖掘算法已不能有效處理，其不足主要反映在耗時長、效率低、實時性差，難以滿足目前動車組故障應急處理應用的需求。本論文將探索基于Hadoop的

2、數據分析技術和方法，并應用于動車組故障診斷分析。
　　本論文給出了基于分布式計算框架Hadoop的動車組故障診斷大數據解決方案，并通過將目前流行的基于Hadoop的關聯規(guī)則挖掘算法Apriori算法進行優(yōu)化，為提高動車組故障數據關聯規(guī)則挖掘效率提供了有效方法，并在實際應用中得到了驗證。
　　本論文的工作有以下幾方面:
　　(1)在分析了MapReduce分布式計算框架、分布式文件系統(tǒng)HDFS、數據倉庫Hive等Hado

3、op核心技術的基礎上，給出了基于Hadoop的動車組故障分析大數據解決方案。搭建了Hadoop集群環(huán)境，并對動車組故障數據集進行數據清洗。
　　(2)分析并實現了基于Hadoop的Apriori并行算法優(yōu)化方案，提出了一種基于MapReduce迭代計算的改進算法MRAprioriT，并改進了集群的負載均衡。實驗表明，改進算法比原始算法速度提高約36％，可滿足動車組故障診斷實時性要求。
　　(3)將改進后的算法MRAprior