數(shù)據(jù)聚類及可視化技術(shù).pdf

1、隨著計(jì)算機(jī)硬件和軟件的迅速發(fā)展，尤其是internet技術(shù)的快速進(jìn)步，人們收集數(shù)據(jù)的速度日益加快。如何從海量數(shù)據(jù)中尋找到隱藏在數(shù)據(jù)背后的有用知識(shí)成為了一個(gè)熱門(mén)的研究課題。數(shù)據(jù)挖掘正是解決這個(gè)問(wèn)題的新興領(lǐng)域。聚類分析作為數(shù)據(jù)挖掘的重要課題，受到了越來(lái)越多研究人員的關(guān)注。目前許多聚類分析算法對(duì)小數(shù)據(jù)集的聚類分析效果較好，但是對(duì)較大規(guī)模的數(shù)據(jù)進(jìn)行聚類的效果就不是很好了，所以需要有高度可伸縮性的聚類算法或者聚類方法來(lái)解決這個(gè)問(wèn)題。為了使數(shù)據(jù)挖掘

2、結(jié)果更加直觀，可視化技術(shù)得到了廣泛應(yīng)用。數(shù)據(jù)挖掘可視化技術(shù)可以結(jié)合人的視覺(jué)優(yōu)點(diǎn)和主觀認(rèn)知，使數(shù)據(jù)挖掘過(guò)程具有直觀性和可交互性，從而挖掘出更有價(jià)值并易于理解的信息，正激起更多數(shù)據(jù)挖掘研究人員的興趣。 本文基于MinerOnWeb數(shù)據(jù)挖掘服務(wù)系統(tǒng)，分別研究了一種具有較好的人機(jī)交互功能的可視化技術(shù)和一種能夠處理大數(shù)據(jù)集的聚類方法。MinerOnWeb數(shù)據(jù)挖掘系統(tǒng)是為了給用戶提供在線的數(shù)據(jù)挖掘服務(wù)而設(shè)計(jì)的系統(tǒng)?；谶@個(gè)系統(tǒng)，本文實(shí)現(xiàn)了平

3、行坐標(biāo)可視化技術(shù)和大數(shù)據(jù)集聚類方法： (1)平行坐標(biāo)可視化技術(shù)：這種方法是把所有的數(shù)據(jù)維在同一個(gè)平面上顯示出來(lái)，用戶不用旋轉(zhuǎn)坐標(biāo)就能夠從同一幅圖上看到數(shù)據(jù)的所有屬性及其之間的關(guān)系；而一般的數(shù)據(jù)可視化方法只能看到兩個(gè)數(shù)據(jù)屬性或者三個(gè)數(shù)據(jù)屬性及其之間的關(guān)系，如果用戶想要看到三個(gè)以上數(shù)據(jù)屬性及其之間的關(guān)系是不能實(shí)現(xiàn)的。MinerOnWeb系統(tǒng)使用平行坐標(biāo)可視化技術(shù)展示聚類結(jié)果，不同的聚類用不同的顏色標(biāo)示。這樣，用戶就能很清楚的看到屬性

4、及其之間的關(guān)系，以及每條數(shù)據(jù)之間的關(guān)系。另外，為了讓用戶能夠更容易理解聚類結(jié)果，本文為平行坐標(biāo)的各坐標(biāo)軸添加了一些事件處理。 (2)大數(shù)據(jù)集聚類方法：數(shù)據(jù)集聚類的傳統(tǒng)方法基本上都是采用將整個(gè)數(shù)據(jù)集導(dǎo)入內(nèi)存中進(jìn)行分析。但是對(duì)于較大規(guī)模的數(shù)據(jù)集來(lái)說(shuō)，將整個(gè)數(shù)據(jù)集導(dǎo)入內(nèi)存中較難實(shí)現(xiàn)，對(duì)系統(tǒng)設(shè)備要求太高?；诘?jì)算的聚類算法在分析過(guò)程中需要反復(fù)計(jì)算，直到得到較優(yōu)的結(jié)果。即便不需迭代計(jì)算的算法也需要用戶反復(fù)調(diào)整相關(guān)參數(shù)，以便得到較優(yōu)的結(jié)