大數(shù)據分類存儲及檢索方法研究.pdf

1、物聯(lián)網，社交網絡、電子商務等導致數(shù)據規(guī)模呈指數(shù)級增長。大數(shù)據應具有存儲效率高、檢索速度快的基本要求。數(shù)量眾多的小文件以及文件類型的多樣性使得大數(shù)據存儲和檢索面臨著嚴峻的挑戰(zhàn)。
　　針對數(shù)據規(guī)模巨大，種類繁多，大小不一等特點，在分布式集群思想的基礎上，提出一種文件分類存儲及檢索的管理架構。該架構能夠動態(tài)擴展存儲容量以應對數(shù)據的增長需求、基于多標簽數(shù)據庫設計機制，標記數(shù)據種類特征加快數(shù)據檢索效率，實現(xiàn)數(shù)據靈活劃分。
　　該架構集

2、成了傳統(tǒng)磁盤存儲，分布式存儲，分布式數(shù)據庫存儲等存儲方式，能夠根據數(shù)據大小，類型屬性動態(tài)選擇存儲路徑，解決了海量小文件在分布式系統(tǒng)中占用過多數(shù)據塊和內存問題，對于不需要備份的大文件選擇傳統(tǒng)磁盤存儲，避免分布式系統(tǒng)中盲目備份帶來的存儲空間浪費問題。提出面向列式的“Z”型數(shù)據檢索方法，支持同種類型數(shù)據的批量管理，提高數(shù)據層級目錄檢索效率。
　　基于以上架構和方法，設計和實現(xiàn)了大數(shù)據分類存儲和檢索系統(tǒng)。系統(tǒng)由混合存儲子系統(tǒng)，數(shù)據分類判斷