基于大數(shù)據(jù)平臺的數(shù)據(jù)挖掘算法研究與實現(xiàn).pdf

1、隨著信息時代的高速發(fā)展，互聯(lián)網平臺上每天都會產生海量數(shù)據(jù)，如何從這些海量的數(shù)據(jù)中提取出有價值的信息具有重大的意義。Hadoop技術提出的HDFS和MapReduce技術解決了海量數(shù)據(jù)的分布式存儲和計算問題；Spark技術提出RDD數(shù)據(jù)模型和基于內存的計算模式擅長于快速數(shù)據(jù)處理，特別是在需要反復迭代的數(shù)據(jù)挖掘工作中更為出色。本論文正是基于大數(shù)據(jù)和云計算的應用背景，對 Hadoop計算平臺調度算法和 Spark數(shù)據(jù)挖掘算法進行研究。

2、　　論文首先介紹了Spark技術的背景知識，簡要討論了Spark技術的系統(tǒng)架構、RDD的編程思想、k-means聚類算法和相關推薦算法等。同時，論文還分析介紹了Hadoop計算平臺的作業(yè)調度算法。
　　針對現(xiàn)有hadoop平臺作業(yè)調度算法無法很好滿足多任務調度的問題，論文提出了基于權值的hadoop計算能力調度算法，該算法通過動態(tài)計算各個任務的權值，同時均衡考量不同任務的優(yōu)先級、計算資源需求、數(shù)據(jù)資源位置等信息調整任務調度順序，實

3、現(xiàn)多作業(yè)快速執(zhí)行以及計算節(jié)點負載均衡。實驗結果表明本算法在多任務調度的情況下可以更加快速處理海量數(shù)據(jù)。
　　針對現(xiàn)有數(shù)據(jù)挖掘算法的優(yōu)化，論文還提出了基于Spark平臺的k-means聚類算法、推薦算法優(yōu)化以及在該平臺上并行化實現(xiàn)。對于k-means聚類算法，提出了非均勻選擇初始值的策略，通過設計數(shù)據(jù)點采樣概率函數(shù)，使得區(qū)分度大的數(shù)據(jù)點被選中作為初始聚類中心；對于協(xié)同過濾推薦算法，提出了采用基于用戶評分偏好聚類對協(xié)同過濾推薦進行系統(tǒng)