數(shù)據(jù)流分類中若干問題的研究.pdf

1、許多應用領域產(chǎn)生的數(shù)據(jù)屬于數(shù)據(jù)流類型，比如信用卡交易業(yè)務、傳感器網(wǎng)絡和網(wǎng)絡監(jiān)控等等。如何從數(shù)據(jù)流中發(fā)現(xiàn)隱含的知識，即數(shù)據(jù)流挖掘成了一個研究熱點。流數(shù)據(jù)高速、連續(xù)無限和動態(tài)的特性使得傳統(tǒng)的數(shù)據(jù)分析和挖掘技術無效或需要改進。 本文針對數(shù)據(jù)流分類中的幾個關鍵問題進行了研究，包括高效地建立分類模型、監(jiān)測和識別數(shù)據(jù)流的變化、如何使分類模型有效地適應數(shù)據(jù)流的變化等。主要的工作有以下幾個方面： (1)提出了一種處理數(shù)值型屬性的方法，可

2、以高效地建立數(shù)據(jù)流的決策樹分類模型。數(shù)據(jù)流連續(xù)無限和高速流動的特性對算法的時空性能提出了嚴峻的挑戰(zhàn)，不但要求使用固定大小的適量內(nèi)存，而且對整個數(shù)據(jù)流僅存取一次，實時地處理每一個對象。對于決策樹而言，數(shù)值型屬性的處理是滿足實時性要求的瓶頸。數(shù)據(jù)流往往包含大量的數(shù)值型屬性，且每一屬性又可能具有大量的不同值，如何高效地處理它們是問題的關鍵?，F(xiàn)有的方法有的不能處理數(shù)值型屬性，有的計算代價較高。本文利用數(shù)值型屬性在構建決策樹中的特殊性質(zhì)，可以高效

3、地處理數(shù)值型屬性，建立一個有效的決策樹分類模型。實驗結果表明了方法的有效性。 (2)提出了一種監(jiān)測數(shù)據(jù)流變化的方法，能可靠地識別噪聲變化和顯著變化，有助于正確地更新模型，降低類標數(shù)據(jù)的需求量。數(shù)據(jù)流的應用是一個不斷延續(xù)的過程，產(chǎn)生數(shù)據(jù)流的概率分布模型容易發(fā)生變化。為了有效地適應潛在的變化，分類算法不但要監(jiān)測變化，而且能區(qū)別不同性質(zhì)的變化。對導致分類模型無效的顯著變化具有敏感性，對噪聲變化具有健壯性?，F(xiàn)存的方法有的完全依賴類標數(shù)據(jù)

4、監(jiān)測變化，有的缺乏可靠性。本文將監(jiān)測和識別變化分成兩個步驟：利用決策樹的結構信息和無類標數(shù)據(jù)實時地監(jiān)測變化；當出現(xiàn)可疑變化時，利用少量的標記資源，可靠地驗證變化的真實性，以便正確地響應顯著變化，忽略噪聲變化。 (3)針對顯著變化，提出了一種主動學習算法組織質(zhì)量最優(yōu)的訓練數(shù)據(jù)，更新過時的分類模型，降低類標數(shù)據(jù)的需求量。一旦數(shù)據(jù)流發(fā)生顯著變化，必須組織類標數(shù)據(jù)更新無效的分類模型。標記數(shù)據(jù)是一個費時、費力的處理過程，許多方法假設類標數(shù)

5、據(jù)及時可用，但這一假設往往不成立。有的方法被動地等待類標數(shù)據(jù)可用，無法適應數(shù)據(jù)流變化的不可預測性。還有一些方法隨機地組織部分類標數(shù)據(jù)，效率較低。主動學習方法可以高效地選取最具代表性的對象作為訓練數(shù)據(jù)。實驗結果表明，利用適當?shù)臉擞涃Y源，基于主動學習的方法可以保持一個有效的分類模型，在標記資源較少時，取得比其它算法更好的效果。 (4)為了避免或緩解由于標記資源不足引起的過度擬合問題，提出了一種半監(jiān)督學習算法，該方法不依賴于額外的標記

6、資源，利用少量的類標數(shù)據(jù)和大量的無類標數(shù)據(jù)，極大地提高分類模型的性能。實驗結果表明，基于半監(jiān)督學習的方法可以大大降低類標數(shù)據(jù)的需求量，相比于其它方法，可以顯著提高模型的性能，特別是在類標數(shù)據(jù)很少的情況下。 (5)提出了一種主動學習和半監(jiān)督學習有機結合的方法，能充分發(fā)揮各自的優(yōu)勢，互相彌補各自的不足，進一步提高了分類模型的性能和降低類標數(shù)據(jù)的需求量。一方面，半監(jiān)督學習方法利用大量無類標數(shù)據(jù)可以克服或減輕主動學習中類標數(shù)據(jù)偏斜或不足