基于Spark的分類算法在電信客戶流失預(yù)測系統(tǒng)中的并行化研究.pdf

1、在電信行業(yè)中，數(shù)據(jù)挖掘中的分類技術(shù)廣泛運用于客戶流失預(yù)測。但是，傳統(tǒng)的分類算法大多是運行在單機上，面對小規(guī)模數(shù)據(jù)時能快速的完成分類，當對電信企業(yè)中的海量數(shù)據(jù)進行處理時，由于單機的資源有限，計算需要耗費大量的時間，不能高效的完成分類任務(wù)，如何提高分類算法處理海量數(shù)據(jù)的效率是電信企業(yè)提高流失預(yù)測效率亟需解決的問題。
　　以電信客戶流失預(yù)測系統(tǒng)項目為基礎(chǔ)，分析和研究了電信行業(yè)中客戶流失預(yù)測問題，在此基礎(chǔ)上對系統(tǒng)進行了需求分析和功能設(shè)計。

2、研究了電信企業(yè)中不同類型的數(shù)據(jù)，基于電信客戶靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)構(gòu)建了客戶信息模型作為電信客戶流失預(yù)測系統(tǒng)的輸入數(shù)據(jù)模型。另外，還研究了Spark平臺及分類算法，分析了分類算法在Spark平臺下實現(xiàn)的并行化方案，實現(xiàn)了基于分布式平臺Spark的分類算法的并行化封裝，并把并行化算法運用到電信客戶流失預(yù)測系統(tǒng)中。在電信客戶流失預(yù)測系統(tǒng)中設(shè)計和實現(xiàn)了softmax回歸算法和基于距離的分類算法的并行化，并搭建Spark和Hadoop集群對算法進行