基于文本分類的反垃圾郵件技術研究.pdf

1、現如今，互聯(lián)網已經成為了我們生活的一部分，作為互聯(lián)網服務之一的電子郵件，以其方便性、低成本性等特點，已經被廣泛應用，成為人們生活中最普遍的網絡溝通工具。但是由于其潛在的巨大利益，垃圾郵件越來越猖獗，其不但消耗了大量的網絡帶寬，而且占用了收件人時間、存儲資源以及傳播不良信息，對社會造成極大的不良影響。
　　本文首先研究了電子郵件的發(fā)送協(xié)議和反垃圾郵件技術的背景、發(fā)展以及相關技術，并且對垃圾郵件進行了定義；其次對整個反垃圾郵件平臺進行

2、了設計；第三，通過研究了中文分詞技術——字典存儲技術和路徑選擇，實現了整合基于統(tǒng)計的分詞和基于字典的分詞模塊，實現郵件的基本特征屬性集的提取，這是文本分類算法實現的核心，在此基礎上對文本相似度以及多層貝葉斯網絡模型進行了研究、改進并且實現。研究過程如下所示：
　　首先對于文本相似度，本文在基于向量的文本特征的基礎上，實現文本相似度向多維空間中向量之間相互關系的轉化，對于搜索引擎上使用的夾角相似度在郵件過濾系統(tǒng)中文本相似度度量的劣勢

3、，考慮用距離度量其相互關系，通過理論分析和項目應用中發(fā)現該量度在郵件的計算上，特別是長郵件內容的計算上，具有更低的時間復雜度，實驗數據顯示，對比與夾角相似度也具有更好的分類效果和更低的誤判率。
　　其次對整個樸素貝葉斯模型在反垃圾郵件中的實現過程進行了描述和分析，在研究樸素貝葉斯模型時，發(fā)現由于其屬性集較少、郵件特征不明顯等原因，分類效果不是特別理想。因此提出將3層貝葉斯網絡應用于反垃圾郵件系統(tǒng)中，通過研究屬性節(jié)點之間的相關度，和