基于集成的SVM車(chē)標(biāo)識(shí)別算法研究.pdf

1、目前，車(chē)輛識(shí)別在科研和商業(yè)上引起了很大的關(guān)注，它在智能遷移系統(tǒng)中起到重要的作用，并已被廣泛地運(yùn)用于各種安全領(lǐng)域，例如:政府大樓，軍事陣地，國(guó)家邊防，交通堵塞，停車(chē)問(wèn)題以及交通事故等。人們通過(guò)抽取車(chē)的屬性來(lái)對(duì)其進(jìn)行分類(lèi)，車(chē)標(biāo)的形狀、牌照、顏色以及型號(hào)等都是車(chē)的屬性?，F(xiàn)有的大部分車(chē)輛分類(lèi)系統(tǒng)都是通過(guò)車(chē)牌照來(lái)實(shí)現(xiàn)，但是如果在霧天，車(chē)牌丟失或遮擋的情況下，將不能通過(guò)車(chē)牌照來(lái)對(duì)車(chē)輛分類(lèi)識(shí)別。車(chē)的另一個(gè)重要的屬性是車(chē)標(biāo)，它包括了車(chē)輛的重要信息，并且

2、不容易被改動(dòng)，因此車(chē)標(biāo)在車(chē)輛識(shí)別中取到重要的作用。
　　因此本文提出采用車(chē)標(biāo)來(lái)對(duì)車(chē)輛進(jìn)行分類(lèi)識(shí)別，這個(gè)方法基于支持向量基（SVM）分類(lèi)方法，支持向量機(jī)是一個(gè)基于統(tǒng)計(jì)學(xué)的數(shù)據(jù)挖掘算法。支持向量機(jī)將向量映射到一個(gè)更高維的空間里，在這個(gè)空間里建立有一個(gè)最大間隔超平面。在分開(kāi)數(shù)據(jù)的超平面的兩邊建有兩個(gè)互相平行的超平面，分隔超平面使兩個(gè)平行超平面的距離最大化。假定平行超平面間的距離或差距越大，分類(lèi)器的總誤差越小。并且利用集成學(xué)習(xí)來(lái)提高分類(lèi)性

3、能。本文還通過(guò)欠采樣和對(duì)支持向量機(jī)的集成學(xué)習(xí)來(lái)提高分類(lèi)算法的準(zhǔn)確率。
　　本文所使用的四種車(chē)標(biāo)類(lèi)標(biāo)，分別是“大眾”、“現(xiàn)代”、“尼?！焙汀柏S田”。首先建立支持向量機(jī)模型，從車(chē)標(biāo)圖像中抽取它的二維主成分(2DPCA)作為特征屬性，和主成分分析(PCA)不同的是，2DPCA基于二維矩陣，而PCA是一維的，這樣的話，原始圖像矩陣就不用轉(zhuǎn)換成向量了。然后從原始的車(chē)標(biāo)圖像矩陣中構(gòu)建圖像的協(xié)方差矩陣，支持向量機(jī)采用抽取的圖像的特征屬性作為輸入

4、，通過(guò)最大化車(chē)標(biāo)屬性之間的間隔，達(dá)到車(chē)輛分類(lèi)的目的。
　　SVM利用抽取出來(lái)的屬性作為類(lèi)標(biāo)分類(lèi)器的輸入?，F(xiàn)存多個(gè)使用SVM為基分類(lèi)器的多標(biāo)記分類(lèi)算法，其中一種是1-vs-all方法，本文在實(shí)驗(yàn)中采用這種方法，對(duì)每一個(gè)類(lèi)標(biāo)均建立一個(gè)二值分類(lèi)器來(lái)使得其與其他類(lèi)標(biāo)區(qū)分開(kāi)來(lái)。類(lèi)標(biāo)預(yù)測(cè)時(shí)，采用二值分類(lèi)器對(duì)樣本進(jìn)行預(yù)測(cè)，選擇預(yù)測(cè)置信度最大的分類(lèi)結(jié)果作為其最終的分類(lèi)結(jié)果，本文采用的LIBSVM算法是著名的SVM工具。
　　通過(guò)對(duì)數(shù)據(jù)的預(yù)處

5、理，將樣本數(shù)據(jù)首先進(jìn)行標(biāo)準(zhǔn)化和規(guī)范化，以及填充缺失值，數(shù)據(jù)的預(yù)處理對(duì)分類(lèi)效果的影響是很大的，原始樣本屬性的取值可能會(huì)相差很大，而SVM算法需要計(jì)算兩個(gè)樣本在空間中的距離，如果不經(jīng)過(guò)預(yù)處理，屬性取值范圍越大對(duì)距離計(jì)算結(jié)果的影響越大，因而會(huì)使得計(jì)算結(jié)果對(duì)其他取值范圍較小的屬性不公平。因此，標(biāo)準(zhǔn)化避免了數(shù)值計(jì)算中的困難，因?yàn)镾VM算法中的核函數(shù)通常依賴(lài)于屬性向量的內(nèi)積。本文采用的是線性的標(biāo)準(zhǔn)化方案，將屬性的取值均規(guī)范到[0，1]范圍內(nèi)。

6、>　　SVM分類(lèi)效率依賴(lài)于核函數(shù)的選擇，本文采用最常用的RBF核函數(shù)，RBF核函數(shù)將原始數(shù)據(jù)集轉(zhuǎn)換到高維空間，使得數(shù)據(jù)樣本線性可分?；赗BF核函數(shù)的LIBSVM方法，本文采用基于交叉驗(yàn)證的網(wǎng)格搜索方法來(lái)優(yōu)化參數(shù)C和γ，通過(guò)嘗試各種不同的參數(shù)值對(duì)(C，γ)，選取交叉驗(yàn)證結(jié)果最好的參數(shù)值對(duì)作為最有的核函數(shù)參數(shù)，在10折交叉驗(yàn)證中，對(duì)于“大眾”和“尼?！避?chē)標(biāo)數(shù)據(jù)集，參數(shù)C的最優(yōu)取值為C=2.0;對(duì)于“現(xiàn)代”和“豐田”車(chē)標(biāo)數(shù)據(jù)集，參數(shù)C的最優(yōu)

7、取值為C=4.0;針對(duì)這四種車(chē)標(biāo)數(shù)據(jù)集，參數(shù)γ的最有取值為γ=0.03125。本文采用五次5折交叉驗(yàn)證進(jìn)行實(shí)驗(yàn)，重復(fù)迭代五次得到五個(gè)分類(lèi)器。用這五個(gè)分類(lèi)器分別對(duì)測(cè)試集進(jìn)行預(yù)測(cè)學(xué)習(xí)，最后綜合這五個(gè)分類(lèi)器的預(yù)測(cè)結(jié)果即為測(cè)試集的最終標(biāo)記結(jié)果。同時(shí)，本文采用K均值聚類(lèi)方法來(lái)提高分類(lèi)正確率，因?yàn)楸疚牟捎?-vs-all的策略來(lái)處理多類(lèi)標(biāo)問(wèn)題，經(jīng)過(guò)K均值聚類(lèi)得到的簇中，正類(lèi)樣本和負(fù)類(lèi)樣本達(dá)到平衡，然后在每個(gè)簇中構(gòu)建SVM分類(lèi)器模型，最后綜合每個(gè)模型

8、的學(xué)習(xí)結(jié)果為最終的預(yù)測(cè)結(jié)果。
　　由于本文采用1-vs-all的策略來(lái)處理車(chē)標(biāo)數(shù)據(jù)集，對(duì)于屬于某一類(lèi)的樣本其標(biāo)記為1，否者為0，這將導(dǎo)致數(shù)據(jù)集的非平衡問(wèn)題，本文分別采用欠采樣技術(shù)和集成學(xué)習(xí)方法來(lái)處理車(chē)標(biāo)數(shù)據(jù)的非平衡問(wèn)題。欠采樣技術(shù)從負(fù)樣本中隨機(jī)抽取一定量的數(shù)據(jù)樣本，并結(jié)合所有的正樣本構(gòu)成訓(xùn)練集，重復(fù)迭代10次構(gòu)成10個(gè)訓(xùn)練樣本集，根據(jù)每個(gè)訓(xùn)練集訓(xùn)練得到10個(gè)分類(lèi)器，使用每個(gè)分類(lèi)器對(duì)要測(cè)試的車(chē)標(biāo)數(shù)據(jù)集進(jìn)行預(yù)測(cè)，綜合每個(gè)分類(lèi)器的預(yù)測(cè)結(jié)

9、果即為測(cè)試集的最終分類(lèi)預(yù)測(cè)結(jié)果。本文抽取不同比率(50％，75％,85％)的負(fù)樣本數(shù)量作為訓(xùn)練集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明從負(fù)樣本集中隨機(jī)選擇85％的負(fù)樣本子集協(xié)同正樣本集一起作為訓(xùn)練集得到取得很好的分類(lèi)結(jié)果，且欠采樣技術(shù)提高了基于SVM的車(chē)標(biāo)分類(lèi)識(shí)別性能。
　　Bagging集成學(xué)習(xí)通過(guò)多次重復(fù)有放回的采樣方法，從原始數(shù)據(jù)集中抽取一定量的數(shù)據(jù)樣本子集作為訓(xùn)練集，并基于每次獲得的訓(xùn)練集學(xué)習(xí)得到多個(gè)分類(lèi)器。本文提出基于集成學(xué)習(xí)的SVM車(chē)