面向大數(shù)據(jù)的云搜索引擎設計及并行K均值聚類算法研究.pdf

1、本文針對目前面向大數(shù)據(jù)搜索引擎本中存在的結構復雜、實施難度高、維護成本高等問題進行分析研究，提出一種基于YARN（Hadoop2.0）云計算框架面向大數(shù)據(jù)的云搜索引擎設計方法。并針對面向大數(shù)據(jù)的搜索引擎中的并行化 K均值聚類算法存在自適應性差的問題進行重點研究，提出了一種并行化自適應Canopy-K-means算法，在本文搭建的Spark on YARN云計算平臺上進行了對比實驗，驗證了算法的有效性。
　　本文在研究面向大數(shù)據(jù)的云

2、搜索引擎設計方法及所需的數(shù)據(jù)挖掘算法方面所做的主要工作有：
　?、偻ㄟ^對目前國內外的研究機構及科技公司在面向大數(shù)據(jù)的搜索引擎方面的相關進展與成果進行調研與分析，總結了目前該方向的發(fā)展現(xiàn)狀與存在的難點。在此基礎上對Hadoop云計算框架進行了詳細的研究、對其核心的Map-Reduce計算模型進行了分析，在此基礎上還對Spark云計算框架的相關理論進行了研究與分析，最后還實際完成了Spark on YARN云計算平臺的搭建。
　

3、?、诒疚幕趯?YARN云計算框架的研究提出了一種面向云大數(shù)據(jù)的搜索引擎設計方法，該方法涉及兩個階段：數(shù)據(jù)組織階段與對比檢索階段。該方法以設計一個面向大數(shù)據(jù)人臉的搜索引擎為應用實例，詳細介紹了如何基于本文所提出的面向大數(shù)據(jù)的搜索引擎設計方法，設計實施一個基于 YARN云計算框架的面向大數(shù)據(jù)人臉識別的搜索引擎。
　?、郾疚膶γ嫦虼髷?shù)據(jù)的云搜索引擎數(shù)據(jù)組織階段中數(shù)據(jù)挖掘算法進行深入的研究，提出了一種基于Map-Reduce計算模型同時

4、運行于Spark云計算框架的并行化自適應Canopy-K-means聚類算法。該算法的特點是使用統(tǒng)計學的方法，對并行Canopy-K-means算法進行了自適應參數(shù)估計優(yōu)化，解決了Canopy過程中參數(shù)依賴人工經驗選擇的問題，并使用Spark云計算框架進行實現(xiàn)。實驗結果表明：并行化自適應Canopy-K-means算法較普通的Canopy-K-means算法在聚類效率的穩(wěn)定性上有較大的提高，而且在基于Spark on YARN云計算平臺