分布式環(huán)境下元數(shù)據(jù)驅(qū)動(dòng)增量ETL的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、現(xiàn)代企業(yè)每天會(huì)產(chǎn)生大量異構(gòu)日志，以統(tǒng)一模型建立數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)迫切的需求。建立數(shù)據(jù)倉(cāng)庫(kù)的核心任務(wù)是設(shè)計(jì)ETL過(guò)程，由于不同業(yè)務(wù)系統(tǒng)中日志內(nèi)容和形式各異，目前每種ETL系統(tǒng)都只能適配特定的業(yè)務(wù)場(chǎng)景，因此實(shí)際應(yīng)用中存在諸多不便。本文提出了一套普適性的元數(shù)據(jù)存儲(chǔ)模型，并以此為基礎(chǔ)設(shè)計(jì)了具備很強(qiáng)可移植性的ETL系統(tǒng)，它可以對(duì)不同業(yè)務(wù)系統(tǒng)的海量數(shù)據(jù)進(jìn)行增量ETL處理，實(shí)現(xiàn)了統(tǒng)一數(shù)據(jù)存儲(chǔ)，并為接下來(lái)的數(shù)據(jù)分析提供標(biāo)準(zhǔn)化的維度。
　　本文主要工作

2、如下:
　　1)采用雪花模式進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)建模，實(shí)現(xiàn)維度規(guī)范化;簡(jiǎn)化元數(shù)據(jù)管理的組織方式，按功能將元數(shù)據(jù)劃分為資源元數(shù)據(jù)、映射元數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)。
　　2)設(shè)計(jì)數(shù)據(jù)字典，建立維度管理系統(tǒng);歸納映射種類(lèi)，表達(dá)映射規(guī)則;歸納數(shù)據(jù)倉(cāng)庫(kù)中的存儲(chǔ)對(duì)象;以前三項(xiàng)工作為基礎(chǔ)建立一套普適性的元數(shù)據(jù)存儲(chǔ)模型，其具備統(tǒng)一列式存儲(chǔ)、緩慢漸變維度支持、實(shí)體關(guān)系解耦、操作存儲(chǔ)支持等諸多優(yōu)點(diǎn)。
　　3)以Flume-ng，Kakfa，Hbase