1 大數(shù)據(jù)發(fā)展概述

　　當今是一個數(shù)據(jù)爆發(fā)增長的時代。移動互聯(lián)網(wǎng)、移動終端和數(shù)據(jù)傳感器的出現(xiàn)，使數(shù)據(jù)以超出人們想象的速度快速增長。據(jù)調(diào)查機構(gòu)估測，數(shù)據(jù)數(shù)量一直在快速增加，這個速度不僅是指數(shù)據(jù)流的增長，而且還包括全新的數(shù)據(jù)種類的增多。目前數(shù)據(jù)容量增長的速度，已經(jīng)大大超過了硬件技術的發(fā)展速度，并正在引發(fā)數(shù)據(jù)存儲和處理的危機。據(jù)統(tǒng)計，2013年全球產(chǎn)生的數(shù)據(jù)達到3.5澤字節(jié)，到2020年產(chǎn)生的數(shù)量將增至44澤字節(jié)。

　　“大數(shù)據(jù)”一詞來自于未來學家托夫勒于1980年所著的《第三次浪潮》。最早開始對大數(shù)據(jù)進行應用探索的是2005年雅虎公司的Hadoop項目。Hadoop其最初只是用來解決網(wǎng)頁搜索問題的一個項目，后被Apache Software Foundation公司引入并成為開源應用。Hadoop是由多個軟件產(chǎn)品組成的一個生態(tài)系統(tǒng)，這些軟件產(chǎn)品共同實現(xiàn)全面功能和靈活的大數(shù)據(jù)分析。

　　世界上許多國家都已經(jīng)認識到了大數(shù)據(jù)所蘊含的重要戰(zhàn)略意義，紛紛開始在國家層面進行戰(zhàn)略部署，以迎接大數(shù)據(jù)技術革命正在帶來的新的機遇和挑戰(zhàn)。以美國為代表的發(fā)達國家在推進大數(shù)據(jù)上已經(jīng)形成了從發(fā)展戰(zhàn)略、法律框架到行動計劃的完整布局。

　　2 全球各國大數(shù)據(jù)的發(fā)展現(xiàn)狀

　　美國在《大數(shù)據(jù)研究和發(fā)展倡議》中，提出將通過收集龐大而復雜的數(shù)字資料，從中獲得知識和洞見，以提升能力。并協(xié)助加速在科學、工程上發(fā)現(xiàn)的步伐，強化美國國土安全，轉(zhuǎn)變教育和學習模式。根據(jù)這一計劃，美國希望利用大數(shù)據(jù)技術實現(xiàn)在多個領域的突破，包括科研教學、環(huán)境保護、工程技術、國土安全、生物醫(yī)藥等。其中具體的研發(fā)計劃涉及了美國國家科學基金會、國家衛(wèi)生研究院、國防部、能源部、國防部高級研究局、地質(zhì)勘探局等6個聯(lián)邦部門和機構(gòu)。

　　擁有世界第二多人口的印度，近兩年也持續(xù)運用大數(shù)據(jù)，期許打造出一個更便利、更親民的智慧城市。印度全國軟件與服務企業(yè)協(xié)會(Nasscom)預計，印度大數(shù)據(jù)行業(yè)規(guī)模在三年內(nèi)將快速增長，是當前規(guī)模的六倍，同時還是全球大數(shù)據(jù)行業(yè)平均增長速度的兩倍。對于印度的整個IT行業(yè)來說，大數(shù)據(jù)時代的到來會創(chuàng)造更多更新的機遇。

　　英國政府2012年時計劃在未來兩年內(nèi)，在大數(shù)據(jù)和節(jié)能計算研究上投資1.89億英鎊，以帶動企業(yè)在該領域的投資。大數(shù)據(jù)被英國看作是自己的優(yōu)勢所在，且英國認為已在政府層面為大數(shù)據(jù)做好了準備。

　　法國政府在2013年投入近1150萬歐元，用于7個大數(shù)據(jù)市場研發(fā)項目。目的在于“通過發(fā)展創(chuàng)新性解決方案，并將其用于實踐，來促進法國在大數(shù)據(jù)領域的發(fā)展。”法國政府在《數(shù)字化路線圖》中列出了五項將大力支持的戰(zhàn)略性高新技術，大數(shù)據(jù)就是其中一項。

　　日本在2012新一輪IT振興計劃中，將發(fā)展大數(shù)據(jù)作為國家戰(zhàn)略層面提出，重點關注大數(shù)據(jù)應用技術，如社會化媒體等智能技術的開發(fā)、新醫(yī)療技術的開發(fā)、以及交通擁堵治理等公共領域的應用。

　　新加坡政府在大數(shù)據(jù)發(fā)展過程中充當了關鍵角色，抓住了大數(shù)據(jù)發(fā)展的五大關鍵要素：基礎設施、產(chǎn)業(yè)鏈、人才、技術和立法，彌補了企業(yè)的短板。新加坡政府很早就提出支持新加坡企業(yè)采用大數(shù)據(jù)技術，利用大數(shù)據(jù)提升政府服務水平。

　　此外，澳大利亞、加拿大、新西蘭、德國和印度等國也在大數(shù)據(jù)領域進行了研究部署，還紛紛推出本國的公共數(shù)據(jù)開放網(wǎng)站，以使更多的人可以使用大數(shù)據(jù)資源，并從中獲得利益。目前，全球至少擁有大大小小的數(shù)據(jù)開放網(wǎng)站50余個。

　　2.1 歐盟大數(shù)據(jù)的發(fā)展

　　目前，歐盟及其成員國已經(jīng)明確制定大數(shù)據(jù)發(fā)展戰(zhàn)略，數(shù)據(jù)價值鏈不同階段產(chǎn)生的價值將成為未來知識經(jīng)濟的核心，利用好數(shù)據(jù)可以為運輸、健康或制造業(yè)等傳統(tǒng)行業(yè)帶來新的機遇。

　　歐盟在大數(shù)據(jù)方面的活動主要涉及四方面內(nèi)容：研究數(shù)據(jù)價值鏈戰(zhàn)略因素;資助“大數(shù)據(jù)”和“開放數(shù)據(jù)”領域的研究和創(chuàng)新活動;實施開放數(shù)據(jù)政策;促進公共資助科研實驗成果和數(shù)據(jù)的使用及再利用。

　　(1)數(shù)據(jù)價值鏈戰(zhàn)略計劃

　　歐盟委員會正在研究制定數(shù)據(jù)價值鏈戰(zhàn)略計劃，以實現(xiàn)數(shù)據(jù)的最大價值，重點是通過一個以數(shù)據(jù)為核心的連貫性歐盟生態(tài)體系，讓數(shù)據(jù)價值鏈的不同階段產(chǎn)生價值。數(shù)據(jù)價值鏈的概念為數(shù)據(jù)的生命周期，從數(shù)據(jù)產(chǎn)生、驗證以及進一步加工后，以新的創(chuàng)新產(chǎn)品和服務形式出現(xiàn)的利用和再利用。

　　數(shù)據(jù)價值鏈戰(zhàn)略計劃遵循的主要原則是：高質(zhì)量數(shù)據(jù)的廣泛獲得性，包括公共資助數(shù)據(jù)

　　的免費獲得;作為數(shù)字化單一市場一部分，歐盟內(nèi)數(shù)據(jù)的自由流動;尋求個人潛在隱私問題與其數(shù)據(jù)再利用潛力之間的適當平衡，同時賦予公民以其希望形式使用自己數(shù)據(jù)的權利。

　　這一計劃的重點是培育一個連貫的歐洲數(shù)據(jù)生態(tài)系統(tǒng)，促進圍繞數(shù)據(jù)的研究和創(chuàng)新工作，采納數(shù)據(jù)服務及產(chǎn)品，采取具體行動，改善數(shù)據(jù)價值提取的框架條件，包括基礎能力、基礎設備、標準以及有利的政策和法規(guī)環(huán)境。目前正在單一戰(zhàn)略框架下制定一系列重點行動，解決數(shù)據(jù)價值鏈中與價值創(chuàng)造相關的大量交叉問題。

　　數(shù)據(jù)價值鏈戰(zhàn)略計劃包括開放數(shù)據(jù)、云計算、高性能計算和科學知識開放獲取四大戰(zhàn)略。

　　•數(shù)據(jù)開放戰(zhàn)略

　　歐盟認為，為加強創(chuàng)新潛力，應盡可能的以最好的方式使用資源，這些創(chuàng)新資源就是數(shù)據(jù)，開放數(shù)據(jù)將成為新的就業(yè)和經(jīng)濟增長的重要工具。為了應對這一變革，2010年11月歐盟通信委員會向歐洲議會提交了“開放數(shù)據(jù)：創(chuàng)新、增長和透明治理的引擎”的報告，報告以開放數(shù)據(jù)為核心，制定了應對大數(shù)據(jù)挑戰(zhàn)的戰(zhàn)略。

　　•云計算戰(zhàn)略

　　2012年9月，歐委會通過公布了“釋放歐洲云計算服務潛力”戰(zhàn)略，戰(zhàn)略計劃通過兩年時間，把歐盟打造成云計算服務的強勢集團，為2014-2020年期間的歐盟云起飛(夯實基礎。歐盟云計算戰(zhàn)略及三大關鍵行動分別為：規(guī)范和簡化的云計算標準;云計算安全和公平的合同條款及條件;建設歐盟云計算伙伴關系，驅(qū)動創(chuàng)新和增長。其它的具體行動舉措還包括：數(shù)據(jù)保護、網(wǎng)絡安全、信任舉措、云計算互操作性、寬帶部署、在線服務、公共行業(yè)首先參與云計算和國際對話與合作等。目前歐盟已成立6個戰(zhàn)略實施工作小組，具體涉及云標準協(xié)調(diào)、服務標準協(xié)議、認證計劃、行為守則、專家研究小組和云伙伴關系。

　　•高性能計算戰(zhàn)略

　　在歐盟第七框架計劃和“地平線2020”計劃下的研究和創(chuàng)新支持可擴展的高性能計算系統(tǒng)。小型“數(shù)據(jù)中心式開箱”可以單獨部署或集中在嵌入式系統(tǒng)在汽車或電話交換機，或者可以在大規(guī)模地聚集成為一個云服務器——如處理單元(GPU)或者高性能計算(HPC)系統(tǒng)。

　　•科學知識開放獲取

　　科學知識開放獲取的目標是提高歐盟層面和成員國層面政府資助的科學研究的影響力，2012-2013年，歐盟委員會投入4500萬歐元建設支持開放共享和科學信息長期保存的基礎設施，并與各個相關利益團體就開放共享和數(shù)字信息保存工作進行對話，同時建議各成員國：制定本國的公共資助科研論文開放共享政策，探索科學數(shù)據(jù)開放共享和科學信息長期保存，支持相應的基礎設施建設。2012年7月17日，歐盟委員會發(fā)布開放共享政策，宣布歐盟Horizon2020計劃所資助科研論文全部實行開放共享。2013年12月25日，歐盟委員會宣布啟動試點，開放公共資助研究數(shù)據(jù)，2014-2015年，參與開放研究數(shù)據(jù)試點的關鍵領域的項目將獲得約30億歐元的經(jīng)費。

　　(2)資助“大數(shù)據(jù)”和“開放數(shù)據(jù)”領域的研究和創(chuàng)新活動

　　歐盟委員會在資助“大數(shù)據(jù)”和“開放數(shù)據(jù)”領域的研究和創(chuàng)新活動外，還啟動“連接歐洲設施”(CEF)計劃，采取權益和債務證券及補助相結(jié)合的形式促進數(shù)字基礎設施的建設。在2014年1月的信息和網(wǎng)絡日上，歐盟委員會確定了“地平線2020”連接歐洲設施計劃的2014-2015年工作內(nèi)容。

　　(3)實施開放數(shù)據(jù)政策

　　開放數(shù)據(jù)政策一方面制定公共信息再利用的法規(guī)和國家執(zhí)行規(guī)則以及歐盟委員會自身數(shù)據(jù)再利用規(guī)則;另一方面支持公共部門信息開放活動，此外還搭建開放數(shù)據(jù)平臺。

　　(4)促進公共資助科研實驗成果和數(shù)據(jù)的使用及再利用

　　促進公共資助科研試驗成果和數(shù)據(jù)的使用和再使用也稱科學知識開放獲取。