基于MLE的本征維數(shù)估計(jì)方法研究.pdf

1、自上個(gè)世紀(jì)以來,隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展,人們可以更好的處理復(fù)雜數(shù)據(jù),與此同時(shí),高維數(shù)據(jù)分析技術(shù)也蓬勃發(fā)展。高維數(shù)據(jù)的本征維數(shù)估計(jì)問題研究,在高維數(shù)據(jù)處理領(lǐng)域中有著重要的地位。對(duì)于高維數(shù)據(jù)處理領(lǐng)域,本征維數(shù)的尋求具有重要的意義。在降維方法中,本征維數(shù)是一個(gè)需要我們?nèi)ス烙?jì)的未知量,準(zhǔn)確的估計(jì)出高維數(shù)據(jù)的本征維數(shù),對(duì)接下來的降維處理問題有著重要的指導(dǎo)意義。并且,在數(shù)據(jù)處理過程中,準(zhǔn)確的本征維數(shù)估計(jì)對(duì)選取合適的鄰域大小有很大的幫助,可以避免“

2、維數(shù)災(zāi)難”。
　　 本文提出一種新的方法——基于MLE算法的本征維數(shù)估計(jì)算法。大多數(shù)情況下,數(shù)據(jù)間的近鄰關(guān)系能充分的反映數(shù)據(jù)的局部幾何特征。MLE(Maximum LikelihoodEstimation)估計(jì)方法就是通過建立關(guān)于近鄰間距離的似然函數(shù),從而得到本征維數(shù)的估計(jì)值。傳統(tǒng)的MI正方法存在兩點(diǎn)不足:一是對(duì)同一個(gè)鄰域內(nèi)的不同樣本點(diǎn)所估計(jì)出的本征維數(shù)值,只是簡單的求均值作為該鄰域的本征維數(shù),受奇異值的干擾較大;二是在選取K近

3、鄰時(shí),采用傳統(tǒng)的歐氏距離,容易出現(xiàn)越層現(xiàn)象。針對(duì)以上不足,本文采用鄰域平滑(Neighborhood Smoothing)方法替代原來的均值方法,求出更加可靠的本征維數(shù)值;在選取K近鄰時(shí),采用測地線距離代替歐氏距離,以找到真實(shí)的K近鄰點(diǎn)。
　　 本文在模擬數(shù)據(jù)庫和真實(shí)數(shù)據(jù)庫上對(duì)該方法進(jìn)行了實(shí)現(xiàn),通過實(shí)驗(yàn)證明了改進(jìn)后算法的可行性和有效性,文章最后對(duì)算法的實(shí)驗(yàn)結(jié)果進(jìn)行了分析,實(shí)驗(yàn)結(jié)果表明,這種新的方法是有效的,可以估計(jì)出更為可靠的本