面向海量天文數(shù)據(jù)的分布式存儲(chǔ)引擎的研究.pdf

1、面向海量天文數(shù)據(jù)的面向海量天文數(shù)據(jù)的分布式存儲(chǔ)引擎的研究分布式存儲(chǔ)引擎的研究ResearchonMassiveAstronomicalDataientedDistributedStageEngine學(xué)科專(zhuān)業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)研究生：余駿指導(dǎo)教師：孫濟(jì)洲教授天津大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院二零一三年十二月摘要隨著天文觀(guān)測(cè)設(shè)備和技術(shù)的進(jìn)步，天文觀(guān)測(cè)數(shù)據(jù)規(guī)模的迅速增長(zhǎng)使得如何存儲(chǔ)海量觀(guān)測(cè)數(shù)據(jù)以及如何能夠迅速?gòu)闹蝎@取想要的信息成為難題。傳統(tǒng)單節(jié)點(diǎn)的

2、文件系統(tǒng)和關(guān)系型數(shù)據(jù)庫(kù)在處理海量天文數(shù)據(jù)方面的性能無(wú)法讓人接受。因此，設(shè)計(jì)一套針對(duì)海量天文數(shù)據(jù)處理的分布式存儲(chǔ)引擎便顯得十分的必要和重要。天文數(shù)據(jù)可以分為星表數(shù)據(jù)和星圖數(shù)據(jù)，這兩種數(shù)據(jù)有不同的格式和應(yīng)用場(chǎng)景。本文針對(duì)天文星表和星圖的特點(diǎn)，分別設(shè)計(jì)了兩種分布式存儲(chǔ)方案，進(jìn)而加快對(duì)這兩種數(shù)據(jù)的存取。星圖數(shù)據(jù)采用分布式文件系統(tǒng)來(lái)存取，本文基于星圖數(shù)據(jù)的特點(diǎn)首先提出了混合數(shù)據(jù)訪(fǎng)問(wèn)模型以減輕分布式文件系統(tǒng)中的網(wǎng)絡(luò)開(kāi)銷(xiāo)，然后在開(kāi)源分布式文件系統(tǒng)an

3、geFS上實(shí)現(xiàn)了該模型。星表數(shù)據(jù)則采用基于位圖索引的列式存儲(chǔ)引擎FastBit，本文針對(duì)單節(jié)點(diǎn)版本的FastBit在處理海量天文數(shù)據(jù)時(shí)會(huì)遇到的內(nèi)存問(wèn)題，設(shè)計(jì)并實(shí)現(xiàn)了FastBit的分布式數(shù)據(jù)存儲(chǔ)引擎，提出了FastBit的分布式數(shù)據(jù)劃分算法以及基于SQL分析的并行查詢(xún)算法。本文主要分為兩部分，第一部分首先分析了分布式文件系統(tǒng)中客戶(hù)端節(jié)點(diǎn)在不同文件大小與不同數(shù)據(jù)規(guī)模下的吞吐率瓶頸，并根據(jù)天文星圖的特征提出了混合數(shù)據(jù)訪(fǎng)問(wèn)模型。從模型的意義和

4、目的角度，對(duì)其進(jìn)行了分析和介紹。接著描述了模型的原理和流程，以及如何將該模型應(yīng)用到實(shí)際的angeFS分布式文件系統(tǒng)中。通過(guò)benchmark以及真實(shí)天文應(yīng)用的測(cè)試，驗(yàn)證了采用該模型的分布式存儲(chǔ)對(duì)天文星圖讀寫(xiě)的加速效果。第二部分首先分析傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)在處理海量天文星表數(shù)據(jù)時(shí)所存在的問(wèn)題，并介紹了基于位圖索引的列式存儲(chǔ)引擎FastBit以及它在處理海量天文數(shù)據(jù)時(shí)所存在的內(nèi)存問(wèn)題。然后提出了FastBit的分布式數(shù)據(jù)劃分算法以及基于SQL分