Hadoop集群監(jiān)控系統(tǒng)的設計與實現(xiàn).pdf

1、近年來云計算飛速發(fā)展,分布式集群系統(tǒng)也被廣泛應用,發(fā)展云計算技術已經(jīng)成為國家搶占經(jīng)濟和科技發(fā)展制高點的核心戰(zhàn)略選擇,研究和發(fā)展云計算技術、將原有信息化建設基礎設施向云計算平臺遷移,是未來十年政府信息化建設的主流方向,Hadoop集群成為IT界眾多大公司的應用熱點之一。由于Hadoop集群是由眾多計算機組成的集群這一特點,對于該計算機集群的監(jiān)控、管理就成為了一大難點。為了能及時發(fā)現(xiàn)集群中的問題,較短的時間內采取相應的措施,Hadoop集群

2、管理員需要不停地采集性能數(shù)據(jù),分析各個節(jié)點的狀態(tài),并準確發(fā)現(xiàn)節(jié)點上出了什么問題,這就需要Hadoop集群監(jiān)控系統(tǒng)來進行輔助。而Hadoop集群如此大的數(shù)據(jù)量,監(jiān)控數(shù)據(jù)的存儲也會成為一大問題,這就需要對分布式系統(tǒng)和非關系型數(shù)據(jù)庫進行研究和結合,來處理這個問題。
　　本文主要設計并完成開發(fā)Hadoop集群監(jiān)控系統(tǒng),該監(jiān)控系統(tǒng)對Hadoop集群系統(tǒng)中物理節(jié)點與虛擬機進行性能監(jiān)控、分布式文件系統(tǒng)監(jiān)控以及作業(yè)任務監(jiān)控,為了方便Hadoop集