基于Hadoop平臺的分布式EM聚類算法.pdf

1、隨著“大數據”概念的出現(xiàn)，國內外研究學者越發(fā)集中關注如何從大數據中獲取有價值的知識，如何運用智能算法從海量數據中發(fā)現(xiàn)有意義的模式和規(guī)則以及如何借助有效工具從數據海洋中提取對領導決策具有支撐和引導作用的信息。聚類分析作為數據挖掘領域的一個重要研究方向，是一種將數據對象劃分成若干簇或類的過程，使同一類中的對象高度相似，而不同類之間的對象具有較大的差異。然而隨著數據規(guī)模的迅猛增長，單機串行的聚類算法遇到了瓶頸，主要表現(xiàn)在數據無法一次性裝入內存

2、、執(zhí)行效率差、無法實現(xiàn)并行處理等方面。Hadoop分布式計算技術的出現(xiàn)及發(fā)展為解決這類問題提供了一種有效的手段。
　　Hadoop分布式平臺通過HDFS(分布式文件系統(tǒng))存儲海量數據，并結合MapReduce編程框架實現(xiàn)對大規(guī)模數據集的并行處理。科研工作者和用戶可以根據串行聚類算法的特點，結合MapReduce編程框架，在不需要過多了解Hadoop平臺底層細節(jié)的情況下，能夠很容易的實現(xiàn)算法的并行化，從而提高算法的執(zhí)行效率，幫助人們

3、從大數據中獲取有價值的信息和知識。
　　在聚類分析中，合理設置初始化參數是基于高斯混合模型的EM聚類算法的關鍵指標。初始化參數的選取和設置不僅會影響算法的迭代次數和算法執(zhí)行的復雜度，而且會影響到最終的聚類結果。因此，一個良好的初始化參數選取機制可以在減少迭代次數的同時，提高聚類結果的準確度。本文通過對隨機初始化、K均值初始化、層次聚類初始化等傳統(tǒng)初始化方法進行分析研究，提出了基于密度的MergeC方法。該方法依據每類樣本中心部位密

4、度大、邊緣部位密度小的特點，將各類中心部位的最優(yōu)候選中心提取出來進行加權合并，從而得到高斯混合模型的參數值。通過實驗和分析表明，該方法是高效、可行的。
　　針對傳統(tǒng)EM算法中存在數據需要多次載入內存、并行性較差以及執(zhí)行效率不高等問題，本文將串行EM算法與MapReduce框架結合，給出了基于Hadoop平臺的分布式EM聚類算法，實現(xiàn)了EM算法的分布式并行處理方案。該算法通過合理的冗余操作，采用MeanMapReduce和VarMa