基于特征選擇的數(shù)據(jù)降維.pdf

1、特征選擇是數(shù)據(jù)降維中最常用的手段，與之相對應的是特征生成，二者共同構成數(shù)據(jù)降維的兩種主要方式。數(shù)據(jù)降維是應用統(tǒng)計、數(shù)據(jù)挖掘、機器學習、模式識別等領域中及其關鍵的問題。特征選擇有利于降低數(shù)據(jù)處理的時間復雜度和計算機存儲的空間復雜度，還可以提高學習模型的準確性、魯棒性以及泛化能力。本文從監(jiān)督學習和非監(jiān)督學習兩個方面對特征選擇算法進行分類和描述，主要利用信息論中關鍵概念互信息設計特征選擇算法。本文的主要內(nèi)容包括：
　　(1)在監(jiān)督學習的

2、特征選擇中，利用互信息作為工具，講述了Parzen Window特征選擇以及最大相關-最小冗余(MRMR)特征選擇算法。
　　(2)在非監(jiān)督學習的特征選擇中，我們利用鄰域互信息作為特征間的相似性度量，新設計了一種，基于特征聚類的特征選擇算法。且該算法可直接處理混合數(shù)據(jù)(同時含有連續(xù)型特征和種類特征),而不需要做種類數(shù)據(jù)的數(shù)值化，也不需要做連續(xù)數(shù)據(jù)的離散化處理。
　　(3)將鄰域互信息應用于Parzen Window和MRMR