美國大數(shù)據研究與發(fā)展計劃

1、美國大數(shù)據研究與發(fā)展計劃,背景,美國大數(shù)據研究與發(fā)展計劃,20 世紀90年代初，美國數(shù)據倉庫之父比爾? 恩就多次在演講中提到“BIG DATA”，但受限于當時的信息技術水平，大數(shù)據的理念未能真正建立起來。,大數(shù)據計劃的發(fā)展歷史,2005 年，美國IBM 公司出版了《無所不包的數(shù)據》一書，闡述了大規(guī)模收集數(shù)據如何改變企業(yè)公司的業(yè)務和人們的生活，這其中的“無所不包的數(shù)據就是指“大數(shù)據”。,大數(shù)據計劃的發(fā)展歷史,2010 年1 月，美國政府提

2、出了一系列主題為“我的大數(shù)據”的倡議與措施，以便美國公民可以更安全地獲取他們的個人數(shù)據，用來更好地處理私人領域的業(yè)務申請活動和服務；2010 年3 月，美國政府要求各部門實施自己的“大數(shù)據”戰(zhàn)略，實現(xiàn)從數(shù)據到知識、知識到決策、決策到行動的快速轉化。,大數(shù)據計劃的發(fā)展歷史,2011 年1 月，美國總統(tǒng)科技顧問委員會指出，大數(shù)據技術蘊含著重要的戰(zhàn)略價值，聯(lián)邦政府應當加大投資研發(fā)力度，并建議在美國國家科學技術委員會成立“大數(shù)據高級指導小組

3、”；2011 年6 月，美國麥肯錫全球研究院發(fā)布了題為《大數(shù)據：下一個創(chuàng)新、競爭和生產力的前沿》的研究報告，“大數(shù)據(BIG DATA)”一詞才真正“熱”起來。,大數(shù)據計劃的發(fā)展歷史,2012年3月29日，奧巴馬政府公布了“大數(shù)據研發(fā)計劃” （ Big Data Research and Development Initiative ）該計劃旨在改進現(xiàn)有人們從海量和復雜的數(shù)據中獲取知識的能力，從而加速美國在科學與工程領域發(fā)明的

4、步伐，增強國家安全，轉變現(xiàn)有的教學和學習方式。,明確提出,1、首批共有6個聯(lián)邦部門宣布投資2億美元，共同提高收集、儲存、保留、管理、分析和共享海量數(shù)據所需核心技術的先進性，并形成合力；    2、現(xiàn)聯(lián)邦政府對大數(shù)據研發(fā)的投入旨在提高美國的科學發(fā)現(xiàn)、環(huán)境與生物醫(yī)藥研究、教育和國家安全的能力；3、此計劃是對總統(tǒng)科技顧問委員會（PCAST）2011年提出的增加美國在大數(shù)據研發(fā)方面投入的建議的回應；4、

5、OSTP專門成立了大數(shù)據高層指導小組。,投資與支持,1.增強科研能力，推進科研方式轉變2.提高政府管理水平和決策能力3.抓住技術機遇，推進經濟發(fā)展,目的,內容,美國大數(shù)據研究與發(fā)展計劃,大數(shù)據是一種大規(guī)模數(shù)據的管理和利用的商業(yè)模式和技術平臺的泛指。,大數(shù)據的定義,數(shù)據體量巨大，從 10 12 比特級別一直躍升到 10 15 比特級別數(shù)據具有多樣性，包括了網絡日志、視頻、圖片、地理位置等非結構化的數(shù)據數(shù)據價值密度小，挖掘

6、大數(shù)據的價值類似沙里淘金數(shù)據處理速度快，需要具備實時處理能力,大數(shù)據的特點,數(shù)據規(guī)模呈現(xiàn)幾何級數(shù)增長的特征包括了所有數(shù)據類型的采集、分類、處理、分析和展現(xiàn)等多方面最終實現(xiàn)從大數(shù)據挖掘潛在巨大價值的目的,大數(shù)據與傳統(tǒng)海量數(shù)據的區(qū)別,針對大數(shù)據給美國信息安全帶來的挑戰(zhàn)，美國政府采取了把大數(shù)據研發(fā)上升為國家戰(zhàn)略、成立大數(shù)據研發(fā)管理機構、研發(fā)大數(shù)據信息安全技術、大力推進大數(shù)據中心建設、培養(yǎng)大數(shù)據信息安全人才、開展大數(shù)據研發(fā)多方合作等

7、一系列舉措，來加強國家的網絡和信息安全建設。,利用大數(shù)據的主要做法,奧巴馬總統(tǒng)上任伊始，號召公眾與私營部門利用數(shù)據的力量，提高生產力，改善生活質量，服務大眾社會。,利用大數(shù)據的主要做法,2009 年，奧巴馬政府將大量數(shù)據庫向民眾開放，并且將許多數(shù)據公布在美國政府的中央信息交換庫——Data.gov 網站上。,利用大數(shù)據的主要做法,2010 年，美國國會通過更新法案，進一步提高了數(shù)據采集精度和上報頻度。截至目前，網站上有超過40 萬種各類

8、原始數(shù)據文件，涵蓋了農業(yè)、氣象、金融、就業(yè)、人口等近五十個門類，匯集了數(shù)千個應用程序和軟件工具。,利用大數(shù)據的主要做法,以美國各級政府為主導依托高校和科研機構，鼓勵廣泛參與，并以多種形式充分合作。包括聯(lián)邦政府機構和各州政府，也包括高校、非政府組織和企業(yè)等組織形式上主要以具體項目為紐帶，研究目標明確，任務具體。,計劃實施和各機構任務分配,應用,美國大數(shù)據研究與發(fā)展計劃,美國政府在基于大數(shù)據的信息網絡安全戰(zhàn)略方面，充分體現(xiàn)出了其一貫

9、特點：善于利用其綜合優(yōu)勢，在保持其領先的長期定位下，不斷推出變革性、引領性的信息網絡安全國家戰(zhàn)略，并通過有力的協(xié)調組織、迅速落實?？梢孕蜗蟮卣f是“常憂患、起得早、協(xié)調好、干的快、不動搖”。,美國大數(shù)據應用,一些相關的公司已經贊助大數(shù)據相關的比賽，并給大學提供這方面的研究資助。大學里也開始開設一門全新的研究型課程，培養(yǎng)下一代的“數(shù)據科學家”。一些無國界的組織幫助非營利性機構對公益性服務的數(shù)據進行采取、分析和可視化處理。白宮科技政

10、策辦公室將會非常有興趣支持建立一個跟大數(shù)據相關論壇，包括最新的公私組織之間的合作。,美國大數(shù)據應用,六個聯(lián)邦政府的部門和機構宣布新的2億美元的投資，用于大數(shù)據的應用。項目涉及計算機、國防、生物、醫(yī)學、物理、地球、應急、航天、社會等方方面面。六個聯(lián)邦部門為：國防部 (DOD)，國土安全部(DHS)，能源部 (DOE)，退伍軍人管理部(VA) ，衛(wèi)生和人類服務部(HHS)，美國國家安全局(NSA) 。,美國大數(shù)據應用

11、,國防部 (DOD)多尺度異常檢測（ADAMS）項目Insight計劃Machine Reading 項目Mind's Eye 項目Mission-oriented Resilient Clouds 項目對加密數(shù)據的編程計算(PROCEED)的研究工作在視頻和圖像的檢索和分析工具(VIRAT)計劃,美國大數(shù)據應用,國土安全部(DHS)卓越研究中

12、心和可視化數(shù)據分析（CVADA）退伍軍人管理部(VA)企業(yè)數(shù)據倉庫（CDW）基因組信息系統(tǒng)綜合科學(GenISIS)計劃美國國家安全局(NSA) 情報共同體（IC）項目,美國大數(shù)據應用,能源部 (DOE)高性能存儲系統(tǒng)(HPSS)對千萬億次的數(shù)據的分析處理GridFTP的服務器開放科學網格生物和環(huán)境研究計劃（BER）系統(tǒng)生物學知識庫（Kbase）美國核數(shù)據計劃(USNDP),美國大數(shù)據應用,衛(wèi)生和人類服務