基于Hadoop的分布式數(shù)據(jù)檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、高速發(fā)展的互聯(lián)網(wǎng)每天都在產(chǎn)生海量的數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)單位已經(jīng)從GB、TB發(fā)展到PB、EB甚至ZB、YB，大數(shù)據(jù)時(shí)代也應(yīng)運(yùn)而生。數(shù)據(jù)意味著價(jià)值，然而不是每一份數(shù)據(jù)都擁有我們想要的價(jià)值，我們?cè)诶脭?shù)據(jù)之前需要對(duì)數(shù)據(jù)的質(zhì)量進(jìn)行評(píng)估。傳統(tǒng)的數(shù)據(jù)篩選方法由于耗費(fèi)人力、不夠全面、效率低下等弊端，已經(jīng)不適合大數(shù)據(jù)時(shí)代了。在不斷有海量新數(shù)據(jù)產(chǎn)生的環(huán)境下，一份數(shù)據(jù)的質(zhì)量除了從準(zhǔn)確性、完整性、一致性、有效性、穩(wěn)定性等方面評(píng)估以外，還特別需要考慮時(shí)效性。因此對(duì)于

2、高效的數(shù)據(jù)質(zhì)量保證技術(shù)的研究與應(yīng)用顯得尤為重要。
　　本研究依據(jù)軟件工程的思想獨(dú)立完成了數(shù)據(jù)體檢、數(shù)據(jù)對(duì)比和指標(biāo)明細(xì)導(dǎo)出三大核心功能的需求分析、設(shè)計(jì)、實(shí)現(xiàn)及測(cè)試工作。首先，作者通過(guò)與目標(biāo)用戶溝通和分析產(chǎn)品的業(yè)務(wù)流程等方式對(duì)用戶需求有了總體了解，并對(duì)核心功能的需求作了更詳細(xì)的分析。之后完成了系統(tǒng)用例分析工作，細(xì)化了系統(tǒng)的功能范圍，進(jìn)一步明確了系統(tǒng)功能性需求和非功能性需求。然后根據(jù)需求進(jìn)行了系統(tǒng)概要設(shè)計(jì)，包括系統(tǒng)架構(gòu)設(shè)計(jì)、數(shù)據(jù)接口設(shè)計(jì)

3、和數(shù)據(jù)庫(kù)設(shè)計(jì)。最終利用Redis、Python、Java、HDFS、MapReduce、Hadoop Streaming等技術(shù)實(shí)現(xiàn)了一個(gè)支持高并發(fā)任務(wù)執(zhí)行和大數(shù)據(jù)量（大于1T）處理的高效的分布式數(shù)據(jù)檢測(cè)系統(tǒng)。系統(tǒng)的Web端基于PHPⅥi框架、AngularJS、百度Echarts圖表庫(kù)等技術(shù)，實(shí)現(xiàn)了數(shù)據(jù)體檢結(jié)果指標(biāo)（字段類型、字段概況、覆蓋率、錯(cuò)誤率）和數(shù)據(jù)對(duì)比結(jié)果指標(biāo)（新增、缺失、不同、相同）可視化，用戶可以直觀地查看數(shù)據(jù)的質(zhì)量評(píng)估，

4、同時(shí)支持指標(biāo)明細(xì)導(dǎo)出功能，便于用戶進(jìn)行問(wèn)題追蹤。系統(tǒng)還實(shí)現(xiàn)了一套完整的探測(cè)系統(tǒng)，針對(duì)Table二維表、JSON/XML樹狀結(jié)構(gòu)等格式的數(shù)據(jù)，能夠自動(dòng)探測(cè)數(shù)據(jù)編碼、數(shù)據(jù)結(jié)構(gòu)和字段類型。檢測(cè)系統(tǒng)根據(jù)探測(cè)結(jié)果進(jìn)行數(shù)據(jù)檢測(cè)，達(dá)到零配置使用的目的，同時(shí)也支持用戶自定義檢測(cè)規(guī)則，極大地拓展了系統(tǒng)的適用范圍。系統(tǒng)上線3個(gè)月以來(lái)，累計(jì)為公司41個(gè)部門、167位用戶提供數(shù)據(jù)質(zhì)量保證服務(wù)，執(zhí)行數(shù)據(jù)檢測(cè)任務(wù)總計(jì)1530個(gè)，月均檢測(cè)數(shù)據(jù)量為169TB。系統(tǒng)簡(jiǎn)單