結合標記相關性的多標記分類算法研究.pdf

1、在傳統(tǒng)的監(jiān)督學習中，每個對象只隸屬于一個標記。然而，在現(xiàn)實世界中，一個對象可能同時與多個標記相關。例如，一幅圖像可能同時具有“海洋”、“水”等標記，一篇文檔可能同時標記為“H7N9”、“禽流感”、“發(fā)熱”和“咳嗽”等。機器學習中的多標記學習是研究此類問題的一種學習框架，備受研究者的關注，而如何充分挖掘和利用標記之間的相關性是其核心研究內容。研究者們提出了一系列利用標記相關性的多標記學習方法并在許多領域得以成功應用，但大多考慮成對標記之間

2、的相關性且有些假設標記相關性是對稱的，而針對標記相關性的挖掘和利用的研究工作，尤其是高階非對稱的標記相關性，還相對較少。為此，本文圍繞“高階非對稱的標記相關性利用”和“通過學習自動挖掘標記之間的相關性并加以利用”這兩個方面展開研究，主要工作如下:
　　1.提出了一種標記相關性和多標記分類的兩階段學習算法(TMLC)。該算法先采用l1稀疏編碼方法，在標記空間中求出高階非對稱的標記相關性矩陣;再構建基于標記相關性的多標記分類和特征選擇

3、統(tǒng)一學習模型框架。在多標記數(shù)據(jù)集上的實驗結果驗證了TMLC算法的有效性。
　　2.提出了一種標記協(xié)方差和多標記分類的聯(lián)合學習算法(JLSML)。該算法引入一個虛擬標記作為樣本的相關標記集和不相關標記集的自然分割點，并構建標記協(xié)方差和多標記分類的聯(lián)合學習模型，將標記協(xié)方差的學習、分類模型的訓練以及標記集的分割統(tǒng)一在該模型框架中。在多標記數(shù)據(jù)集上的實驗結果驗證了JLSML算法的有效性。
　　3.提出了標記相關性和多標記分類的聯(lián)合

4、學習算法(JMLLC和SLMLC)。本文試圖通過學習自動發(fā)現(xiàn)和利用高階非對稱的標記相關性，并且構建標記相關性和多標記分類聯(lián)合學習模型框架，提出了JMLLC和SLMLC算法。JMLLC算法同時學習標記相關性矩陣和權重矩陣，并選擇了兩種不同的損失函數(shù)（羅杰斯特回歸與最小二乘損失函數(shù)）。SLMLC算法將權重矩陣分成稀疏矩陣與低秩矩陣的和，其中稀疏矩陣用來獲得各個標記所特有的特征子集而低秩矩陣用于獲得所有標記所共享的特征子空間;然后在統(tǒng)一學習模

5、型中同時學習高階非對稱的標記相關性矩陣、稀疏矩陣以及低秩矩陣。在多標記數(shù)據(jù)集上的實驗結果驗證了JMLLC和SLMLC算法的有效性。
　　4.提出了一種缺失標記下基于特征選擇的多標記分類算法(MLMF)。在某些實際應用中，獲得具有完全標記的樣本較困難，大量的樣本只有部分標記（即有些標記是缺失的)。此外，大多數(shù)多標記分類算法通常難以同時處理缺失標記和標記相關性。為此，本文提出了MLMF算法，同時考慮缺失標記和標記相關性并加入了權重矩陣