2、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的olap技術(shù)

1、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘的OLAP技術(shù)數(shù)據(jù)倉(cāng)庫(kù)－數(shù)據(jù)挖掘的有效平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)清理和數(shù)據(jù)集成，是數(shù)據(jù)挖掘的重要數(shù)據(jù)預(yù)處理步驟數(shù)據(jù)倉(cāng)庫(kù)提供OLAP工具，可用于不同粒度的數(shù)據(jù)分析很多數(shù)據(jù)挖掘功能都可以和OLAP操作集成，以提供不同概念層上的知識(shí)發(fā)現(xiàn)分類(lèi)預(yù)測(cè)關(guān)聯(lián)聚集什么是數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)的定義很多，但卻很難有一種嚴(yán)格的定義它是一個(gè)提供決策支持功能的數(shù)據(jù)庫(kù)，它與公司的操作數(shù)據(jù)庫(kù)分開(kāi)維護(hù)。為統(tǒng)一的歷史數(shù)據(jù)分析提供堅(jiān)實(shí)的平臺(tái)，對(duì)信息處理提供支持?jǐn)?shù)據(jù)倉(cāng)

2、庫(kù)區(qū)別于其他數(shù)據(jù)存儲(chǔ)系統(tǒng)“數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、隨時(shí)間而變化的、不容易丟失的數(shù)據(jù)集合，支持管理部門(mén)的決策過(guò)程.”—W.H.Inmon數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵特征一——面向主題面向主題，是數(shù)據(jù)倉(cāng)庫(kù)顯著區(qū)別于關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)的一個(gè)特征圍繞一些主題，如顧客、供應(yīng)商、產(chǎn)品等關(guān)注決策者的數(shù)據(jù)建模與分析，而不是集中于組織機(jī)構(gòu)的日常操作和事務(wù)處理。排除對(duì)于決策無(wú)用的數(shù)據(jù)，提供特定主題的簡(jiǎn)明視圖。數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵特征二——數(shù)據(jù)集成一個(gè)數(shù)據(jù)倉(cāng)庫(kù)是通過(guò)集成多個(gè)異

3、種數(shù)據(jù)源來(lái)構(gòu)造的。關(guān)系數(shù)據(jù)庫(kù)，一般文件，聯(lián)機(jī)事務(wù)處理記錄使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)。確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性。當(dāng)數(shù)據(jù)被移到數(shù)據(jù)倉(cāng)庫(kù)時(shí)，它們要經(jīng)過(guò)轉(zhuǎn)化。數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵特征三——隨時(shí)間而變化數(shù)據(jù)倉(cāng)庫(kù)是從歷史的角度提供信息數(shù)據(jù)倉(cāng)庫(kù)的時(shí)間范圍比操作數(shù)據(jù)庫(kù)系統(tǒng)要長(zhǎng)的多。操作數(shù)據(jù)庫(kù)系統(tǒng):主要保存當(dāng)前數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù):從歷史的角度提供信息（比如過(guò)去510年）數(shù)據(jù)倉(cāng)庫(kù)中的每一個(gè)關(guān)鍵結(jié)構(gòu)都隱式或顯式地包含時(shí)間元素，而操作數(shù)據(jù)庫(kù)中的關(guān)鍵結(jié)構(gòu)可

4、能就不包括時(shí)間元素。數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵特征四——數(shù)據(jù)不易丟失盡管數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)來(lái)自于操作數(shù)據(jù)庫(kù)，但他們卻是在物理上分離保存的。操作數(shù)據(jù)庫(kù)的更新操作不會(huì)出現(xiàn)在數(shù)據(jù)倉(cāng)庫(kù)環(huán)境下。不需要事務(wù)處理，恢復(fù)，和并發(fā)控制等機(jī)制只需要兩種數(shù)據(jù)訪問(wèn):數(shù)據(jù)的初始轉(zhuǎn)載和數(shù)據(jù)訪問(wèn)（讀操作）數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建與使用數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建包括一系列的數(shù)據(jù)預(yù)處理過(guò)程數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)變換數(shù)據(jù)倉(cāng)庫(kù)的使用熱點(diǎn)是商業(yè)決策行為，例如：增加客戶聚焦產(chǎn)品重定位尋找獲利點(diǎn)客戶關(guān)系管理數(shù)據(jù)倉(cāng)庫(kù)與異

5、種數(shù)據(jù)庫(kù)集成異種數(shù)據(jù)庫(kù)的集成方法傳統(tǒng)的異種數(shù)據(jù)庫(kù)集成:（查詢驅(qū)動(dòng)）在多個(gè)異種數(shù)據(jù)庫(kù)上建立包裝程序（wrappers）和中介程序（mediats）查詢驅(qū)動(dòng)方法——當(dāng)從客戶端傳過(guò)來(lái)一個(gè)查詢時(shí)，首先使用元數(shù)據(jù)字典將查詢轉(zhuǎn)換成相應(yīng)異種數(shù)據(jù)庫(kù)上的查詢；然后，將這些查詢映射和發(fā)送到局部查詢處理器數(shù)據(jù)倉(cāng)庫(kù):（更新驅(qū)動(dòng)）將來(lái)自多個(gè)異種源的信息預(yù)先集成，并存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，供直接查詢和分析查詢驅(qū)動(dòng)方法和更新驅(qū)動(dòng)方法的比較查詢驅(qū)動(dòng)的方法需要負(fù)責(zé)的信息過(guò)濾和

6、集成處理與局部數(shù)據(jù)源上的處理競(jìng)爭(zhēng)資源對(duì)于頻繁的查詢，尤其是涉及聚集（匯總）操作的查詢，開(kāi)銷(xiāo)很大（決策支持中常見(jiàn)的查詢形式）更新驅(qū)動(dòng)的方法（帶來(lái)高性能）數(shù)據(jù)經(jīng)預(yù)處理后單獨(dú)存儲(chǔ)，對(duì)聚集操作提供良好支持不影響局部數(shù)據(jù)源上的處理集成歷史信息，支持負(fù)責(zé)的多維查詢數(shù)據(jù)倉(cāng)庫(kù)與操作數(shù)據(jù)庫(kù)系統(tǒng)操作數(shù)據(jù)庫(kù)系統(tǒng)的主要任務(wù)是聯(lián)機(jī)事務(wù)處理OLTP日常操作:購(gòu)買(mǎi)，庫(kù)存，銀行，制造，工資，注冊(cè)，記帳等數(shù)據(jù)倉(cāng)庫(kù)的主要任務(wù)是聯(lián)機(jī)分析處理OLAP數(shù)據(jù)分析和決策支持，支持以

7、不同的形式顯示數(shù)據(jù)以滿足不同的用戶需要OLAPVS.OLTP(1)用戶和系統(tǒng)的面向性面向顧客（事務(wù)）VS.面向市場(chǎng)（分析）數(shù)據(jù)內(nèi)容當(dāng)前的、詳細(xì)的數(shù)據(jù)VS.歷史的、匯總的數(shù)據(jù)數(shù)據(jù)庫(kù)設(shè)計(jì)實(shí)體－聯(lián)系模型(ER)和面向應(yīng)用的數(shù)據(jù)庫(kù)設(shè)計(jì)VS.星型雪花模型和面向主題的數(shù)據(jù)庫(kù)設(shè)計(jì)OLAPVS.OLTP(2)數(shù)據(jù)視圖當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù)VS.經(jīng)過(guò)演化的、集成的數(shù)據(jù)訪問(wèn)模式事務(wù)操作VS.只讀查詢（但很多是復(fù)雜的查詢）任務(wù)單位簡(jiǎn)短的事務(wù)VS.復(fù)雜的查詢?cè)L

8、問(wèn)數(shù)據(jù)量數(shù)十個(gè)VS.數(shù)百萬(wàn)個(gè)OLAPVS.OLTP(3)用戶數(shù)數(shù)千個(gè)VS.數(shù)百個(gè)數(shù)據(jù)庫(kù)規(guī)模100M數(shù)GBVS.100GB數(shù)TB設(shè)計(jì)優(yōu)先性高性能、高可用性VS.高靈活性、端點(diǎn)用戶自治度量事務(wù)吞吐量VS.查詢吞吐量、響應(yīng)時(shí)間更多的區(qū)別見(jiàn)教科書(shū)P28，表21為什么需要一個(gè)分離的數(shù)據(jù)倉(cāng)庫(kù)提高兩個(gè)系統(tǒng)的性能DBMS是為OLTP而設(shè)計(jì)的：存儲(chǔ)方式索引并發(fā)控制恢復(fù)數(shù)據(jù)倉(cāng)庫(kù)是為OLAP而設(shè)計(jì)：復(fù)雜的OLAP查詢多維視圖，匯總不同的功能和不同的數(shù)據(jù):歷史

9、數(shù)據(jù):決策支持需要?dú)v史數(shù)據(jù)，而這些數(shù)據(jù)在操作數(shù)據(jù)庫(kù)中一般不會(huì)去維護(hù)數(shù)據(jù)匯總：決策支持需要將來(lái)自異種源的數(shù)據(jù)統(tǒng)一（如聚集和匯總）數(shù)據(jù)質(zhì)量:不同的源使用不一致的數(shù)據(jù)表示、編碼和格式，對(duì)這些數(shù)據(jù)進(jìn)行有效的分析需要將他們轉(zhuǎn)化后進(jìn)行集成多維數(shù)據(jù)模型(1)數(shù)據(jù)倉(cāng)庫(kù)和OLAP工具基于多維數(shù)據(jù)模型在多維數(shù)據(jù)模型中，數(shù)據(jù)以數(shù)據(jù)立方體(datacube)的形式存在數(shù)據(jù)立方體允許以多維數(shù)據(jù)建模和觀察。它由維和事實(shí)定義維是關(guān)于一個(gè)組織想要記錄的視角或觀點(diǎn)。每個(gè)

10、維都有一個(gè)表與之相關(guān)聯(lián)，稱為維表。多維數(shù)據(jù)模型圍繞中心主題組織，該主題用事實(shí)表表示事實(shí)表包括事實(shí)的名稱或度量以及每個(gè)相關(guān)維表的關(guān)鍵字事實(shí)指的是一些數(shù)字度量多維數(shù)據(jù)模型(2)——示例time_keydayday_of_the_weekmonthquarteryeartime維表location_keystreetcitystate__provincecountrylocation事實(shí)表Sales事實(shí)表time_keyitem_keybra

11、nch_keylocation_keyunits_solddollars_soldavg_sales度量item_keyitem_namebrtypesupplier_typeitem維表branch_keybranch_namebranch_typebranch維表多維數(shù)據(jù)模型(3)在數(shù)據(jù)倉(cāng)庫(kù)中，數(shù)據(jù)立方體是nD的(n維）（關(guān)系表和電子表格是幾維的？）示例AllElectronics的銷(xiāo)售數(shù)據(jù)按維timeitem的2D視圖(P30表2

12、2)AllElectronics的銷(xiāo)售數(shù)據(jù)按維timeitem和location的3D視圖(P30表23)AllElectronics的銷(xiāo)售數(shù)據(jù)按維timeitem和location的3D視圖的3D數(shù)據(jù)立方體表示(P31圖21)銷(xiāo)售數(shù)據(jù)的4D立方體表示(P31圖22)多維數(shù)據(jù)模型為不同角度上的數(shù)據(jù)建模和觀察提供了一個(gè)良好的基礎(chǔ)多維數(shù)據(jù)模型(4)在數(shù)據(jù)倉(cāng)庫(kù)的研究文獻(xiàn)中，一個(gè)n維的數(shù)據(jù)的立方體叫做基本方體。給定一個(gè)維的集合，我們可以構(gòu)造一個(gè)

13、方體的格，每個(gè)都在不同的匯總級(jí)或不同的數(shù)據(jù)子集顯示數(shù)據(jù)，方體的格稱為數(shù)據(jù)立方體。0維方體存放最高層的匯總，稱作頂點(diǎn)方體；而存放最底層匯總的方體則稱為基本方體。數(shù)據(jù)立方體——一個(gè)方體的格alltimeitemlocationsuppliertimeitemtimelocationtimesupplieritemlocationitemsupplierlocationsuppliertimeitemlocationtimeitemsuppl

14、iertimelocationsupplieritemlocationsuppliertimeitemlocationsupplier0D(頂點(diǎn))方體1D方體2D方體3D方體4D(基本)方體數(shù)據(jù)倉(cāng)庫(kù)的概念模型最流行的數(shù)據(jù)倉(cāng)庫(kù)概念模型是多維數(shù)據(jù)模型。這種模型可以以星型模式、雪花模式、或事實(shí)星座模式的形式存在。星型模式（Starschema）:事實(shí)表在中心，周?chē)鷩@地連接著維表（每維一個(gè)），事實(shí)表含有大量數(shù)據(jù)，沒(méi)有冗余。雪花模式（Snowf

15、lakeschema）:是星型模式的變種，其中某些維表是規(guī)范化的，因而把數(shù)據(jù)進(jìn)一步分解到附加表中。結(jié)果，模式圖形成類(lèi)似于雪花的形狀。事實(shí)星座（Factconstellations）:多個(gè)事實(shí)表共享維表這種模式可以看作星型模式集，因此稱為星系模式（galaxyschema），或者事實(shí)星座（factconstellation）星型模式實(shí)例SalesFactTabletime_keyitem_keybranch_keylocation_key

16、units_solddollars_soldavg_salesMeasures雪花模式實(shí)例SalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasures事實(shí)星座模式實(shí)例SalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldav

17、g_salesMeasuresShippingFactTabletime_keyitem_keyshipper_keyfrom_locationto_locationdollars_costunits_shipped一種數(shù)據(jù)挖掘查詢語(yǔ)言:DMQLDMQL首先包括定義數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的語(yǔ)言原語(yǔ)，這包括兩種原語(yǔ)定義：一種是立方體定義，一種是維定義立方體定義(事實(shí)表)definecube[]:維定義(維表)definedimensionas

18、()特殊案例(共享維表的定義)第一次作為維表定義“cubedefinition”然后：definedimensionasincube實(shí)例：使用DMQL定義星型模式definecubesales_star[timeitembranchlocation]:dollars_sold=sum(sales_in_dollars)avg_sales=avg(sales_in_dollars)units_sold=count()definedimen

19、siontimeas(time_keydayday_of_weekmonthquarteryear)definedimensionitemas(item_keyitem_namebrtypesupplier_type)definedimensionbranchas(branch_keybranch_namebranch_type)definedimensionlocationas(location_keystreetcityprovin

20、ce__statecountry)實(shí)例：使用DMQL定義雪花模式definecubesales_snowflake[timeitembranchlocation]:dollars_sold=sum(sales_in_dollars)avg_sales=avg(sales_in_dollars)units_sold=count()definedimensiontimeas(time_keydayday_of_weekmonthquarte

21、ryear)definedimensionitemas(item_keyitem_namebrtypesupplier(supplier_keysupplier_type))definedimensionbranchas(branch_keybranch_namebranch_type)definedimensionlocationas(location_keystreetcity(city_keyprovince__statecoun

22、try))實(shí)例：使用DMQL定義事實(shí)星座模式definecubesales[timeitembranchlocation]:dollars_sold=sum(sales_in_dollars)avg_sales=avg(sales_in_dollars)units_sold=count()definedimensiontimeas(time_keydayday_of_weekmonthquarteryear)definedimensio

23、nitemas(item_keyitem_namebrtypesupplier_type)definedimensionbranchas(branch_keybranch_namebranch_type)definedimensionlocationas(location_keystreetcityprovince__statecountry)definecubeshipping[timeitemshipperfrom_location

24、to_location]:dollar_cost=sum(cost_in_dollars)unit_shipped=count()definedimensiontimeastimeincubesalesdefinedimensionitemasitemincubesalesdefinedimensionshipperas(shipper_keyshipper_namelocationaslocationincubesalesshippe

25、r_type)definedimensionfrom_locationaslocationincubesalesdefinedimensionto_locationaslocationincubesales度量的分類(lèi)一個(gè)數(shù)據(jù)立方體的度量是一個(gè)數(shù)值函數(shù)，該函數(shù)可以對(duì)數(shù)據(jù)立方體的每一個(gè)點(diǎn)求值。(剛才的示例中用的是什么函數(shù)？)度量可以根據(jù)其所用的聚集函數(shù)分為三類(lèi)：分布的(distributive)：將函數(shù)用于n個(gè)聚集值得到的結(jié)果和將函數(shù)用于所

26、有數(shù)據(jù)得到的結(jié)果一樣。比如：count()，sum()，min()，max()等代數(shù)的(algebraic)：函數(shù)可以由一個(gè)帶M個(gè)參數(shù)的代數(shù)函數(shù)計(jì)算（M為有界整數(shù)），而每個(gè)參數(shù)值都可以有一個(gè)分布的聚集函數(shù)求得。比如：avg()，min_N()，stard_deviation()整體的(holistic)：描述函數(shù)的子聚集所需的存儲(chǔ)沒(méi)有一個(gè)常數(shù)界。比如：median()，mode()，rank()56王燦數(shù)據(jù)挖掘.0703004概念分層(

27、1)一個(gè)概念分層（concepthierarchy）定義一個(gè)映射序列，將低層概念映射到更一般的高層概念E.g.表示location的概念：杭州?浙江?中國(guó)?亞洲概念分層允許我們?cè)诟鞣N抽象級(jí)審查和處理數(shù)據(jù)概念分層可以由系統(tǒng)用戶、領(lǐng)域?qū)＜?、知識(shí)工程師人工的提供，也可以根據(jù)數(shù)據(jù)分布的統(tǒng)計(jì)分析自動(dòng)的產(chǎn)生概念分層(2):location維的一個(gè)概念分層allEuropeNth_AmericaMexicoCanadaSpainGermanyVanc

28、ouverM.WindL.Chan..................allregionofficecountryTontoFrankfurtcity許多概念分層的定義隱含在數(shù)據(jù)庫(kù)的模式中。比如：location維的定義，officecitycountryregion；這些屬性按一個(gè)全序相關(guān)，形成一個(gè)層次結(jié)構(gòu)：yeardayquartermonthweek維的屬性也可以組成一個(gè)偏序，形成一個(gè)格：概念分層(3)——使用概念分層為不同級(jí)別上

29、的數(shù)據(jù)匯總提供了一個(gè)良好的基礎(chǔ)綜合概念分層和多維數(shù)據(jù)模型的潛力，可以對(duì)數(shù)據(jù)獲得更深入的洞察力通過(guò)在多維數(shù)據(jù)模型中，在不同的維上定義概念分層，使得用戶在不同的維上從不同的層次對(duì)數(shù)據(jù)進(jìn)行觀察成為可能。多維數(shù)據(jù)模型（數(shù)據(jù)立方體）使得從不同的角度對(duì)數(shù)據(jù)進(jìn)行觀察成為可能，而概念分層則提供了從不同層次對(duì)數(shù)據(jù)進(jìn)行觀察的能力；結(jié)合這兩者的特征，我們可以在多維數(shù)據(jù)模型上定義各種OLAP操作，為用戶從不同角度不同層次觀察數(shù)據(jù)提供了靈活性：多維數(shù)據(jù)模型上的O

30、LAP操作(1)上卷(rollup):匯總數(shù)據(jù)通過(guò)一個(gè)維的概念分層向上攀升或者通過(guò)維規(guī)約當(dāng)用維歸約進(jìn)行上卷時(shí)，一個(gè)或多個(gè)維由給定的數(shù)據(jù)立方體刪除下鉆(drilldown)：上卷的逆操作由不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù)，可以通過(guò)沿維的概念分層向下或引入新的維來(lái)實(shí)現(xiàn)(為給定數(shù)據(jù)添加更多細(xì)節(jié))切片和切塊(slicedice)切片操作在給定的數(shù)據(jù)立方體的一個(gè)維上進(jìn)行選擇，導(dǎo)致一個(gè)子方切塊操作通過(guò)對(duì)兩個(gè)或多個(gè)維進(jìn)行選擇，定義子方P40圖210多維數(shù)

31、據(jù)模型上的OLAP操作(2)轉(zhuǎn)軸(pivot)立方體的重定位，可視化，或?qū)⒁粋€(gè)3維立方體轉(zhuǎn)化為一個(gè)2維平面序列轉(zhuǎn)軸是一種可視化操作，通過(guò)轉(zhuǎn)動(dòng)當(dāng)前數(shù)據(jù)的視圖來(lái)提供一個(gè)數(shù)據(jù)的替代表示其他OLAP操作鉆過(guò)(drill_across)：執(zhí)行涉及多個(gè)事實(shí)表的查詢鉆透(drill_through)：使用關(guān)系SQL機(jī)制，鉆到數(shù)據(jù)立方體的底層，到后端關(guān)系表其他OLAP操作可能包括列出表中最高或最低的N項(xiàng)，以及計(jì)算移動(dòng)平均值、增長(zhǎng)率、利潤(rùn)、統(tǒng)計(jì)函數(shù)等等P

32、40圖210數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)：一個(gè)商務(wù)分析框架(1)數(shù)據(jù)倉(cāng)庫(kù)給商業(yè)分析專家提供了什么？通過(guò)提供相關(guān)數(shù)據(jù)與信息，獲得競(jìng)爭(zhēng)優(yōu)勢(shì)通過(guò)有效的收集精確的描述組織的數(shù)據(jù)，獲得生產(chǎn)力的提高通過(guò)提供不同級(jí)別（部門(mén)、市場(chǎng)、商業(yè)）的客戶視圖，協(xié)助客戶關(guān)系管理通過(guò)追蹤長(zhǎng)期趨勢(shì)、異常等，降低成本有效構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵：理解和分析商業(yè)需求通過(guò)提供一個(gè)商業(yè)分析框架，綜合各種不同的數(shù)據(jù)使用者的視圖數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)：一個(gè)商務(wù)分析框架(2)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的四種視圖自頂向下視圖允許

33、我們選擇數(shù)據(jù)倉(cāng)庫(kù)所需的相關(guān)信息數(shù)據(jù)源視圖揭示被操作數(shù)據(jù)庫(kù)系統(tǒng)所捕獲、存儲(chǔ)和管理的信息數(shù)據(jù)倉(cāng)庫(kù)視圖由事實(shí)表和維表所組成商務(wù)查詢視圖從最終用戶的角度透視數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)：一個(gè)商務(wù)分析框架(3)數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建與使用涉及多種技能商業(yè)技能理解系統(tǒng)如何存儲(chǔ)和管理數(shù)據(jù)數(shù)據(jù)如何提取數(shù)據(jù)如何刷新技術(shù)方面的技能如何通過(guò)使用各種數(shù)據(jù)或量化的信息，到處可以提供決策支持的模式、趨勢(shì)、判斷等如何通過(guò)審查歷史數(shù)據(jù)，分析發(fā)展趨勢(shì)等計(jì)劃管理技能如何通過(guò)與不同

34、的技術(shù)、廠商、用戶交互，來(lái)及時(shí)、有效、經(jīng)濟(jì)的提交結(jié)果數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)過(guò)程(1)自頂向下法、自底向上法或者兩者的混合方法自頂向下法：由總體設(shè)計(jì)和規(guī)劃開(kāi)始在技術(shù)成熟、商業(yè)理解透徹的情況下使用自底向上法：以實(shí)驗(yàn)和原型開(kāi)始常用在模型和技術(shù)開(kāi)發(fā)的初期，可以有效的對(duì)使用的技術(shù)和模型進(jìn)行評(píng)估，降低風(fēng)險(xiǎn)混合方法：上述兩者的結(jié)合從軟件過(guò)程的觀點(diǎn)瀑布式方法：在進(jìn)行下一步前，每一步都進(jìn)行結(jié)構(gòu)化和系統(tǒng)的分析螺旋式方法：功能漸增的系統(tǒng)的快速產(chǎn)生，相繼版本之間間隔很

35、短數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)過(guò)程(2)典型的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)過(guò)程選取待建模的商務(wù)過(guò)程找到所構(gòu)建的數(shù)據(jù)倉(cāng)庫(kù)的主題，比如：銷(xiāo)售、貨運(yùn)、訂單等等選取商務(wù)過(guò)程的顆粒度數(shù)據(jù)起始于多細(xì)的顆粒度，比如：記錄每條詳細(xì)訂單，或是開(kāi)始于每日的匯總數(shù)據(jù)選取用于每個(gè)事實(shí)表記錄的維常用的維有：時(shí)間、貨物、客戶、供應(yīng)商等選取將安放在事實(shí)表中的度量常用的數(shù)字度量包括：售價(jià)、貨物數(shù)量等三層數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)(1)數(shù)據(jù)倉(cāng)庫(kù)OLAP服務(wù)器查詢報(bào)告分析數(shù)據(jù)挖掘監(jiān)控、整合元數(shù)據(jù)存儲(chǔ)數(shù)據(jù)源前端工具輸

36、出數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器OLAP服務(wù)器三層數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)(2)底層：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)庫(kù)服務(wù)器關(guān)注的問(wèn)題：如何從這一層提取數(shù)據(jù)來(lái)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)（通過(guò)Gateway（ODBCJDBCOLEDB等）來(lái)提?。┲虚g層：OLAP服務(wù)器關(guān)注的問(wèn)題：OLAP服務(wù)器如何實(shí)施（關(guān)系型OLAP，多維OLAP等）前端客戶工具層關(guān)注的問(wèn)題：查詢工具、報(bào)表工具、分析工具、挖掘工具等三種數(shù)據(jù)倉(cāng)庫(kù)模型從體系結(jié)構(gòu)的角度去看，數(shù)據(jù)倉(cāng)庫(kù)模型可以有以下三種：企業(yè)倉(cāng)庫(kù)搜集關(guān)于跨越整個(gè)

37、組織的主題的所有信息數(shù)據(jù)集市企業(yè)范圍數(shù)據(jù)的一個(gè)子集，對(duì)于特定的客戶是有用的。其范圍限于選定的主題，比如一個(gè)商場(chǎng)的數(shù)據(jù)集市獨(dú)立的數(shù)據(jù)集市VS.非獨(dú)立的數(shù)據(jù)集市（數(shù)據(jù)來(lái)自于企業(yè)數(shù)據(jù)倉(cāng)庫(kù)）虛擬倉(cāng)庫(kù)操作數(shù)據(jù)庫(kù)上的一系列視圖只有一些可能的匯總視圖被物化數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)：困難與方法數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)上的困難自頂向下的開(kāi)發(fā)方法從全系統(tǒng)的角度提供解決方案，使得（模塊）集成的問(wèn)題最小；但是該方法十分昂貴，需要對(duì)組織進(jìn)行長(zhǎng)期研究和建模分析。自底向上方法提供了更多的開(kāi)

38、發(fā)靈活性，價(jià)格便宜；但往往會(huì)遇到集成問(wèn)題（每個(gè)模塊單獨(dú)運(yùn)行都沒(méi)有問(wèn)題，但是一集成就出異常）解決方法：使用遞增性、演化性的開(kāi)發(fā)方法高層數(shù)據(jù)模型?企業(yè)倉(cāng)庫(kù)和數(shù)據(jù)集市并行開(kāi)發(fā)?通過(guò)分布式模型集成各數(shù)據(jù)集市?多層數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)——一個(gè)推薦的方法定義高層數(shù)據(jù)模型數(shù)據(jù)集市數(shù)據(jù)集市分布式數(shù)據(jù)集市多層數(shù)據(jù)倉(cāng)庫(kù)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)模型提煉模型提煉OLAP服務(wù)器類(lèi)型(1)邏輯上，OLAP服務(wù)器從數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中給商業(yè)用戶提供多維數(shù)據(jù)物理上，OLAP的底層

39、數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)可以有多種不同的方式關(guān)系OLAP服務(wù)器(ROLAP)使用關(guān)系數(shù)據(jù)庫(kù)或擴(kuò)展的關(guān)系數(shù)據(jù)庫(kù)存放并管理數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)，而用OLAP中間件支持其余部分包括每個(gè)DBMS后端優(yōu)化，聚集導(dǎo)航邏輯的實(shí)現(xiàn)，附加的工具和服務(wù)較大的可擴(kuò)展性O(shè)LAP服務(wù)器類(lèi)型(2)多維OLAP服務(wù)器(MOLAP)基于數(shù)組的多維存儲(chǔ)引擎（稀疏矩陣技術(shù)）能對(duì)預(yù)計(jì)算的匯總數(shù)據(jù)快速索引混合OLAP服務(wù)器(HOLAP)結(jié)合上述兩種技術(shù)，更大的使用靈活性特殊的SQL服務(wù)器在星型

40、和雪花模型上支持SQL查詢數(shù)據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)——數(shù)據(jù)立方體的有效計(jì)算數(shù)據(jù)倉(cāng)庫(kù)中的OLAP查詢是一種海量數(shù)據(jù)計(jì)算（想象一下對(duì)過(guò)去10年各地區(qū)的軟件產(chǎn)品銷(xiāo)售的匯總查詢）用戶卻希望這個(gè)計(jì)算能在數(shù)秒鐘內(nèi)完成解決方法在于給出一種有效的計(jì)算數(shù)據(jù)立方體的方法數(shù)據(jù)立方體可以被看成是一個(gè)方體的格最底層的方體是基本方體最頂端的方體（頂點(diǎn)）只包含一個(gè)單元的值一個(gè)n維的數(shù)據(jù)立方體，每維L層，可能產(chǎn)生的方體總數(shù)是多少？方體的操作DMQL中的方體定義和計(jì)算define

41、cubesales[itemcityyear]:sum(sales_in_dollars)computecubesales上述的computecube子句可以轉(zhuǎn)化為一個(gè)類(lèi)似于SQL的語(yǔ)句itemcityyearSUM(amount)FROMSALESCUBEBYitemcityyear這個(gè)相當(dāng)于SQL中以下的groupby子句(itemcityyear)–3D(itemcity)(itemyear)(cityyear)—2D(item)

42、(city)(year)—1D()0D數(shù)據(jù)立方體的物化數(shù)據(jù)立方體的物化可以有以下三種選擇：全物化預(yù)先計(jì)算所有方體不物化不預(yù)先計(jì)算任何“非基本”方體部分物化有選擇的計(jì)算一個(gè)所有方體的適當(dāng)子集考慮因素:(1)確定要物化的方體；(2)在查詢時(shí)利用物化的方體；(3)在裝載和刷新時(shí)，有效的更新物化的方體確定物化哪些方體考慮工作負(fù)荷下的查詢、它們的頻率和它們的開(kāi)銷(xiāo)等等方體計(jì)算：ROLAPvs.MOLAP方體計(jì)算的挑戰(zhàn)：海量數(shù)據(jù)，有限的內(nèi)存和時(shí)間基于

43、ROLAP的方法（底層使用關(guān)系模型存儲(chǔ)數(shù)據(jù)）將排序、散列(hashing)和分組操作應(yīng)用于維的屬性，以便對(duì)相關(guān)元組重新排序和聚類(lèi)在某些子聚集上分組，作為“部分分組步驟”。可以由以前計(jì)算的聚集計(jì)算新的聚集，而不必有基本事實(shí)表計(jì)算基于MOLAP方法（底層使用多維數(shù)組存儲(chǔ)數(shù)據(jù)）多路數(shù)組聚集的計(jì)算方法將數(shù)組切成塊（每個(gè)塊都可以整個(gè)裝入內(nèi)存）通過(guò)訪問(wèn)各個(gè)塊來(lái)計(jì)算匯總值方體計(jì)算的多路數(shù)組聚集方法(1)將數(shù)組分成塊（chunk一個(gè)可以裝入內(nèi)存的小子方

44、）通過(guò)訪問(wèn)立方體單元，計(jì)算聚集?？梢詢?yōu)化訪問(wèn)單元組的次序，使得每個(gè)單元被訪問(wèn)的次數(shù)最小化，從而減少內(nèi)存訪問(wèn)和磁盤(pán)IO的開(kāi)銷(xiāo)。A(month)40個(gè)值B29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C(item)4000個(gè)值B(city)400個(gè)值442856402452362060哪個(gè)是多路數(shù)組聚集的最佳遍歷次序？方體計(jì)算的多路數(shù)組聚集方法(2)B(city)

45、400方體計(jì)算的多路數(shù)組聚集方法(3)AB29303132123459131415166463626148474645a1a0c3c2c1c0b3b2b1b0a2a3C442856402452362060B方體計(jì)算的多路數(shù)組聚集方法(4)方法：各平面要按他們大小的升序排列進(jìn)行排序和計(jì)算詳見(jiàn)書(shū)P50例2.12(P52圖216有誤）思想：將最小的平面放在內(nèi)存中，對(duì)最大的平面每次只是取并計(jì)算一塊方體計(jì)算的多路數(shù)組聚集方法(5)根據(jù)1到64的掃

46、描次序，在塊內(nèi)存中保存所有相關(guān)的2D平面所需的最小存儲(chǔ)為：40400（用于整個(gè)AB平面）＋401000（用于AC平面一行）＋1001000（用于BC平面一塊)＝156，000這種方法的限制：只有在維數(shù)比較小的情況下，效果才比較理想(要計(jì)算的立方體隨維數(shù)指數(shù)增長(zhǎng))如果維的數(shù)目比較多，可以考慮使用“自底向上的計(jì)算”或者時(shí)“冰山方體”計(jì)算OLAP查詢的有效處理確定哪些操作應(yīng)當(dāng)在可利用的方體上執(zhí)行：將查詢中的選擇、投影、上卷和下鉆等操作轉(zhuǎn)化為對(duì)

47、應(yīng)的SQL或和OLAP操作，如：dice=ionprojection確定相關(guān)操作應(yīng)當(dāng)使用哪些物化的方體找尋MOLAP中可以利用的索引結(jié)構(gòu)以及壓縮的或是稠密的數(shù)組結(jié)構(gòu)有效處理OLAP查詢（示例）立方體的定義為：sales[timeitemlocation]:sum(sales_in_dollar)time的維層次dayweekmonthquateryearlocation的維層次streetcityprovince__statecount

48、ryitem的維層次item_namebrtype現(xiàn)在要處理一個(gè)year＝2000，定位在br和province__state級(jí)別的查詢，現(xiàn)有四個(gè)可用的已經(jīng)物化的方體：item_namecityyearbrcountryyearbrprovince__stateyearitem_nameprovince__state其中year＝2000Question：以上四個(gè)方體，選那個(gè)來(lái)處理查詢？(要考慮計(jì)算的量，以及可以使用的索引等因素）元數(shù)據(jù)

49、存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，元數(shù)據(jù)就是定義數(shù)據(jù)倉(cāng)庫(kù)對(duì)象的數(shù)據(jù)。有以下幾種：數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的描述倉(cāng)庫(kù)模式、視圖、維、層次結(jié)構(gòu)、導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容操作元數(shù)據(jù)包括數(shù)據(jù)血統(tǒng)(datalineage)、數(shù)據(jù)類(lèi)別(currencyofdata)，以及監(jiān)視信息匯總用的算法由操作環(huán)境到數(shù)據(jù)倉(cāng)庫(kù)的映射關(guān)于系統(tǒng)性能的數(shù)據(jù)索引，profiles，數(shù)據(jù)刷新、更新或復(fù)制事件的調(diào)度和定時(shí)商務(wù)元數(shù)據(jù)商務(wù)術(shù)語(yǔ)和定義、數(shù)據(jù)擁有者信息、收費(fèi)政策等元數(shù)據(jù)的使用元數(shù)

50、據(jù)與數(shù)據(jù)一起，構(gòu)成了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)模型，元數(shù)據(jù)所描述的更多的是這個(gè)模型的結(jié)構(gòu)方面的信息。在數(shù)據(jù)倉(cāng)庫(kù)中，元數(shù)據(jù)的主要用途包括：用作目錄，幫助決策支持系統(tǒng)分析者對(duì)數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容定義作為數(shù)據(jù)倉(cāng)庫(kù)和操作性數(shù)據(jù)庫(kù)之間進(jìn)行數(shù)據(jù)轉(zhuǎn)換時(shí)的映射標(biāo)準(zhǔn)用于指導(dǎo)當(dāng)前細(xì)節(jié)數(shù)據(jù)和稍加綜合的數(shù)據(jù)之間的匯總算法，指導(dǎo)稍加綜合的數(shù)據(jù)和高度綜合的數(shù)據(jù)之間的匯總算法。數(shù)據(jù)倉(cāng)庫(kù)后端工具和程序數(shù)據(jù)倉(cāng)庫(kù)后端工具主要指的是用來(lái)裝入和刷新數(shù)據(jù)的工具，包括：數(shù)據(jù)提取：從多個(gè)外部的異構(gòu)

51、數(shù)據(jù)源收集數(shù)據(jù)數(shù)據(jù)清理檢測(cè)數(shù)據(jù)種的錯(cuò)誤并作可能的訂正數(shù)據(jù)變換將數(shù)據(jù)由歷史或主機(jī)的格式轉(zhuǎn)化為數(shù)據(jù)倉(cāng)庫(kù)的格式裝載排序、匯總、合并、計(jì)算視圖，檢查完整性，并建立索引和分區(qū)刷新將數(shù)據(jù)源的更新傳播到數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)的三種應(yīng)用信息處理支持查詢和基本的統(tǒng)計(jì)分析，并使用交叉表、表、圖標(biāo)和圖進(jìn)行報(bào)表處理分析處理對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行多維數(shù)據(jù)分析支持基本的OLAP操作，切塊、切片、上卷、下鉆、轉(zhuǎn)軸等數(shù)據(jù)挖掘從隱藏模式中發(fā)現(xiàn)知識(shí)支持關(guān)聯(lián)分析，

52、構(gòu)建分析性模型，分類(lèi)和預(yù)測(cè)，并用可視化工具呈現(xiàn)挖掘的結(jié)果三種應(yīng)用間的差別從聯(lián)機(jī)分析處理到聯(lián)機(jī)分析挖掘?yàn)槭裁匆?lián)機(jī)分析挖掘數(shù)據(jù)倉(cāng)庫(kù)中有高質(zhì)量的數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)中存放著整合的、一致的、清理過(guò)的數(shù)據(jù)圍繞數(shù)據(jù)倉(cāng)庫(kù)的信息處理結(jié)構(gòu)存取、集成、合并多個(gè)異種數(shù)據(jù)庫(kù)的轉(zhuǎn)換，ODBCOLEDB連接Web訪問(wèn)和訪問(wèn)工具等基于OLAP的探測(cè)式數(shù)據(jù)分析使用上卷、下鉆、切片、轉(zhuǎn)軸等技術(shù)進(jìn)行數(shù)據(jù)挖掘數(shù)據(jù)挖掘功能的聯(lián)機(jī)選擇多種數(shù)據(jù)挖掘功能、算法和任務(wù)的整合聯(lián)機(jī)分析挖掘的體