大數(shù)據(jù)與云計算(論文)

1、1大數(shù)據(jù)與云計算大數(shù)據(jù)與云計算摘要：摘要：近年來，大數(shù)據(jù)和云計算已經成為社會各界關注的熱點話題。秉承“按需服務”理念的“云計算（Cloudcomputing）”正高速發(fā)展，“數(shù)據(jù)即資源”的“大數(shù)據(jù)（bigdata）”時代已經來臨[1]。大數(shù)據(jù)利用對數(shù)據(jù)處理的實時性、有效性提出了更高要求，需要根據(jù)大數(shù)據(jù)特點對傳統(tǒng)的常規(guī)數(shù)據(jù)處理技術進行技術變革，形成適用于大數(shù)據(jù)收集、存儲、管理、處理、分析、共享和可視化的技術。如何更好地管理和利用大數(shù)據(jù)已經

2、成為普遍關注的話題。大數(shù)據(jù)的規(guī)模效應給數(shù)據(jù)存儲、管理以及數(shù)據(jù)分析帶來了極大的挑戰(zhàn)，數(shù)據(jù)管理方式上的變革正在醞釀和發(fā)生。本文所提到的大數(shù)據(jù)包含著云計算，因為云計算是支撐大數(shù)據(jù)的平臺。關鍵詞關鍵詞:大數(shù)據(jù)云計算數(shù)據(jù)分析數(shù)據(jù)挖掘引言引言在學術界，大數(shù)據(jù)這一概念的提出相對較早。2008年9月，《自然》雜志就推出了名為“大數(shù)據(jù)”(bigdata)的?？?。2011年5月，麥肯錫全球研究院發(fā)布了名為《大數(shù)據(jù):創(chuàng)新、競爭和生產力的下一個前沿》(Bigd

3、ata:Thenextfrontierfinnovation，competition，productivity)的研究報告，指出大數(shù)據(jù)將成為企業(yè)的核心資產，對海量數(shù)據(jù)的有效利用將成為企業(yè)在競爭中取勝的最有力武器。2012年，聯(lián)合國發(fā)布大數(shù)據(jù)政務白皮書，指出大數(shù)據(jù)可以使用極為豐富的數(shù)據(jù)資源來對社會經濟進行前所未有的實時分析，幫助政府更好地響應社會和經濟運行。2012年3月29日，奧巴馬政府發(fā)布了《大數(shù)據(jù)研究與發(fā)展計劃倡議》，宣布啟動對大數(shù)

4、據(jù)的研發(fā)計劃，標志著美國把大數(shù)據(jù)提高到國家戰(zhàn)略層面，將“大數(shù)據(jù)研究”上升為國家意志，對未來的科技與經濟發(fā)展必將帶來深遠影響。大數(shù)據(jù)應用正在風靡全球，大數(shù)據(jù)精準營銷成為企業(yè)掌舵者的口頭禪，那么大數(shù)據(jù)真的是無懈可擊嗎？答案顯然是否定的。隨著互聯(lián)網和移動設備的普及，大數(shù)據(jù)已經在我們的生活中無處不在，而有關大數(shù)據(jù)與隱私的問題也日益受到關注。毫無疑問，未來可以獲得的個人數(shù)據(jù)量越多，其中的信息量就越大。只要擁有了足夠多的數(shù)據(jù)，我們甚至可能發(fā)現(xiàn)有關于

5、一個人的未來信息。另外市場是變化無常并且不可預期的，決策者的創(chuàng)造性思維并不能通過數(shù)據(jù)得以體現(xiàn)，相反，大數(shù)據(jù)在壓制創(chuàng)新。大數(shù)據(jù)搜集到的數(shù)據(jù)的真實性也有待檢驗。一個人獲得的數(shù)據(jù)和事實越多，預測就越有意義，人的判斷也就顯得愈發(fā)重要。人類、數(shù)據(jù)集和算法的協(xié)同進化將最終決定“大數(shù)據(jù)”究竟是會創(chuàng)造新財富，還是會摧毀舊價值。本文首先介紹了云計算的相關概念，云計算為大數(shù)據(jù)的誕生創(chuàng)造了物質基礎，從而引出大數(shù)據(jù)的相關概念。通過大數(shù)據(jù)與云計算之間關系的比較，

6、使讀者對大數(shù)據(jù)與云計算有3數(shù)據(jù)中心進行運維和安全管理，對服務器上的數(shù)據(jù)和應用具有所有權和控制權。云計算出現(xiàn)后，這種傳統(tǒng)的用戶服務提供者模式逐漸發(fā)展成私有云模式。私有云是由一個用戶組織（例如政府、軍隊，企業(yè)）建立運維的云計算平臺，專供組織內部人員使用，不提供對外服務。私有云能夠體現(xiàn)云計算的部分優(yōu)勢，例如計算資源的統(tǒng)一管理和動態(tài)分配。但是，私有云仍要求組織購買基礎設施，建立大型數(shù)據(jù)中心，投入人力物力來維護數(shù)據(jù)中心的正常運轉，由此可見，私有云

7、系統(tǒng)提高了組織的IT成本，而且使云的規(guī)模受到了限制。由于私有云的開放性不高，在幾種部署模式中，私有云的安全威脅相對較少。社區(qū)云社區(qū)云(Communitycloud)：也稱為機構云，云基礎設施由多個組織共同提供，平臺由多個組織共同管理。社區(qū)云被一些組織共享，為一個有共同關注點（例如，任務、安全需求、策略或政策準則等）的社區(qū)或大機構提供服務。顯然，社區(qū)云的規(guī)模要大于私有云，多個私有云可通過VPN連接到一起組成社區(qū)云，以滿足多個私有云組織之間

8、整合和安全共享的需求。公有云公有云(Publiccloud)：公有云的基礎設施由一個提供云計算服務的大型運營組織建立和運維，該運營組織一般是擁有大量計算資源的IT巨頭，例如Google、微軟、Amazon、百度等大型企業(yè)。這些IT公司將云計算服務以“按需購買”的方式銷售給一般用戶或中小企業(yè)群體。用戶只需將請求提交給云計算系統(tǒng)，付費租用所需的資源和服務。對用戶來說，不需要再投入成本建立數(shù)據(jù)中心，不需要進行系統(tǒng)的維護，可以專心開發(fā)核心的應用

9、服務。目前，亞馬遜的EC2、GoogleAppEngine、WindowsAzure[9]、百度云等都屬于公有云計算系統(tǒng)。由于公有云的開放性較高，而用戶又失去了對數(shù)據(jù)和計算的控制權，因此，與私有云相比，公有云的數(shù)據(jù)安全威脅更為突出?；旌显苹旌显?Hybridcloud)：云基礎設施是由兩種或兩種以上的云（私有云、社區(qū)云或公有云）組成，每種云仍然保持獨立，但用標準的或專用的技術將它們組合起來，具有數(shù)據(jù)和應用程序的可移植性，例如混合云可以在