基于Hadoop的橋梁監(jiān)測數據孤立點挖掘研究.pdf

1、橋梁是公路交通的重要組成部分，保證橋梁的運營安全極為重要。橋梁健康監(jiān)測是一種通用的管理辦法，監(jiān)測數據處理是其中的一個核心內容。隨著時間的推移，橋梁監(jiān)測系統(tǒng)會累積越來越多的數據，而傳統(tǒng)的數據處理技術在面對日益增長的數據存儲與處理時壓力越來越大。Hadoop是一種流行的大數據處理平臺，它以HDFS分布式文件存儲系統(tǒng)及MapReduce計算框架為核心，Hive、Sqoop等工具為枝干，形成了一個完整的大數據處理生態(tài)系統(tǒng)，使用Hadoop處理大

2、量橋梁監(jiān)測數據，具有理論意義及現實價值。數據挖掘是常用的一種數據處理手段，孤立點挖掘是其中的熱門研究之一，目前在許多行業(yè)與領域如網絡入侵檢測、天氣預報等都有所應用，而在橋梁監(jiān)測領域，孤立點數據的挖掘研究還沒有得到足夠重視。本文主要研究基于Hadoop的橋梁監(jiān)測數據孤立點挖掘方案，研究內容體現在以下幾個方面:
　　第一，針對K-近鄰孤立點算法開銷大的缺點，結合劃分思想、聚類思想及最小限界矩陣理論進行了改進，提出一種基于k-均值聚類劃

3、分的k-近鄰孤立點算法（KMKNN）。該算法首先對數據集進行均值聚類，以聚類結果作為劃分依據把數據集分成不同區(qū)域，判斷每個區(qū)域是否包含孤立點，對不存在孤立點的區(qū)域進行剪枝處理，最后對包含孤立點的候選區(qū)域中的數據進行k-近鄰計算，得到孤立點。實驗表明，改進算法相比原始K-近鄰算法提高了運算效率。
　　第二，KMKNN算法的缺點在于對數據集進行K-均值聚類時，需要給定聚類數目且隨機選取初始聚類中心，得到的聚類結果精度不高，使得最終得到

4、的孤立點不準確。因此，對KMKNN算法進行改進，使用Canopy聚類計算初始聚類數目，使用最大最小距離算法計算初始聚類中心，提出一種基于Canopy與最大最小距離算法的均值聚類劃分k-近鄰算法(CMM-KMKNN)。實驗表明，改進算法提高了聚類精度及孤立點精度。
　　第三，由于KMKNN及CMM-KMKNN算法需要對數據進行大量迭代計算操作，算法開銷大，因此搭建了一個Hadoop集群實驗環(huán)境，對KMKNN與CMM-KMKNN算法實