基于hadoop2.0的數(shù)據(jù)挖掘算法并行化研究

1、分類號(hào)：U D C ： 密級(jí)：學(xué)校代號(hào)：1 1 8 4 5學(xué)號(hào)：2 1 1 1 2 0 4 2 0 1廣東工業(yè)大學(xué)碩士學(xué)位論文( 工程碩士)基于H a d o o p 2 ．0 的數(shù)據(jù)挖掘算法并行化研究瞿卓指導(dǎo)教師姓名、職稱：專業(yè)或領(lǐng)域名稱：學(xué)生所屬學(xué)院：論文答辯日期：摘要摘要當(dāng)今社會(huì)正在經(jīng)歷一場(chǎng)重大的時(shí)代變革，以互聯(lián)網(wǎng)行業(yè)為代表的各行各業(yè)正被鋪天蓋地的龐大數(shù)據(jù)所覆蓋，尤其是社交網(wǎng)絡(luò)、電子商務(wù)和移動(dòng)通信將人們帶入了一個(gè)以“P B ”級(jí)為

2、單位的數(shù)據(jù)信息新時(shí)代。在這個(gè)大規(guī)模生產(chǎn)、分享和應(yīng)用數(shù)據(jù)的時(shí)代里，以“云計(jì)算”技術(shù)為核心結(jié)合了數(shù)據(jù)挖掘、人工智能等一系列技術(shù)的整體方案成為了我們解決大數(shù)據(jù)難題、發(fā)掘數(shù)據(jù)價(jià)值、征服數(shù)據(jù)海洋的“巨大動(dòng)力”。H a d o o p 平臺(tái)是A p a c h eS o f t w a r eF o u n d a t i o n 旗下的一個(gè)開源分布式系統(tǒng)。它的軟件庫(kù)是一個(gè)允許使用簡(jiǎn)單的編程模型對(duì)集群計(jì)算機(jī)內(nèi)的大數(shù)據(jù)集進(jìn)行分布式處理的框架，它設(shè)計(jì)成

3、可以從單一服務(wù)器縱向擴(kuò)展到成千上萬(wàn)的服務(wù)器，而其中的每個(gè)服務(wù)器都提供本地計(jì)算及存儲(chǔ)。它不依靠硬件來(lái)提供高可用性，軟件庫(kù)本身具有能夠檢測(cè)和處理應(yīng)用層的錯(cuò)誤的能力，因此，可以在計(jì)算機(jī)集群的頂層提供高可用的服務(wù)，其中的每個(gè)節(jié)點(diǎn)都允許失效。近幾年來(lái)在互聯(lián)網(wǎng)巨頭的帶動(dòng)下，H a d o o p 逐漸被互聯(lián)網(wǎng)、金融、銀行、教育、政府機(jī)關(guān)等眾多行業(yè)所接受、嘗試和應(yīng)用，成為在大數(shù)據(jù)處理方面呼聲最高、應(yīng)用最廣的云計(jì)算平臺(tái)。決策樹分類算法和k —m e a

4、 n s 聚類算法是數(shù)據(jù)挖掘領(lǐng)域中應(yīng)用最廣泛的兩種挖掘算法，能夠?qū)⒃紨?shù)據(jù)中隱含的、未知的、有用的信息和知識(shí)提取出來(lái)，讓人們更好地利用數(shù)據(jù)所帶來(lái)的巨大價(jià)值。本課題立足于已有的云計(jì)算平臺(tái)，設(shè)計(jì)了基于H a d o o p 2 ．0 的數(shù)據(jù)挖掘算法并行化的方法，通過(guò)將串行的挖掘算法移植到H a d o o p 平臺(tái)上，以此來(lái)解決傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)面對(duì)海量數(shù)據(jù)無(wú)法進(jìn)行有效挖掘的難題。本論文首先介紹了研究?jī)?nèi)容的兩大技術(shù)背景：云計(jì)算和數(shù)據(jù)挖掘，結(jié)

5、合兩者提出了基于云計(jì)算平臺(tái)的數(shù)據(jù)挖掘算法并行化的思想。然后，深入地研究和探討了云計(jì)算平臺(tái)H a d o o p 2 ．0 的架構(gòu)原理和內(nèi)部實(shí)現(xiàn)細(xì)節(jié)。在此基礎(chǔ)上，本論文著重地分析了兩大類型的數(shù)據(jù)挖掘算法：決策樹分類算法和k ．m e a n s 聚類算法，并根據(jù)它們的優(yōu)化算法：S P R I N T 算法和c a n o p y 算法，設(shè)計(jì)了基于H a d o o p 2 ．0 平臺(tái)的并行化方案，詳細(xì)地描述了算法并行化實(shí)現(xiàn)的具體步驟。最后