基于數(shù)據(jù)挖掘的中文垃圾郵件過濾技術研究.pdf

1、如今，電子郵件是人們廣泛應用的最經濟的一種通信手段之一。但隨之而來的副產品—垃圾郵件卻越來越對系統(tǒng)的安全和人們的生活造成了嚴重的威脅，反垃圾郵件問題已經成為全球性的具有重要現(xiàn)實意義的研究課題，其中中文垃圾郵件作為垃圾郵件的重要組成部分必須給以足夠的重視。郵件過濾技術是反垃圾郵件的重要手段，目前主要有基于IP層的反垃圾郵件技術、基于SMTP層的反垃圾郵件技術和基于郵件內容的過濾。本文的研究就屬于基于郵件內容的過濾方法。 本文分析了

2、當前流行的反垃圾郵件一般對策和技術的基本原理及其優(yōu)缺點，在此基礎上，借鑒了文本分類的思想，提出把數(shù)據(jù)挖掘中的K-最近鄰方法和RBF神經網(wǎng)路算法引入中文郵件的內容過濾。 在對郵件樣本過濾之前要先進行以下預處理步驟，首先本文選用正向最大匹配法對郵件樣本正文文本作分詞處理，取得郵件的特征項；接著利用互信息和優(yōu)勢率從大量特征項中選擇對郵件分類貢獻大的少量特征項，以減少向量維數(shù)；最后計算每個特征項的權重，并采用向量空間模型的邏輯結構表示郵

3、件文本，構建郵件樣本庫，以下的實驗都是在這樣經過了預處理后的郵件樣本庫上進行的。針對K-最近鄰方法的計算時間復雜度較大的問題，提出了兩種改進方案，實驗結果顯示，改進后的方案在保證較高準確率的同時，一定程度上減少了計算量，降低了計算時間復雜度，在對垃圾郵件進行分類與過濾時具有較好的性能。RBF神經網(wǎng)絡由于其輸出對權值的線性關系，更適于系統(tǒng)辨識，實驗證明該方法對于中文郵件過濾系統(tǒng)切實可行、效果良好，是對郵件過濾的一種新嘗試。本文探索了過濾郵