塊數據2.0：大數據時代的範式革命

第一章
重新定義大數據

從人類思維範式的進程看，每個階段的認知體系和由此產生的思想工具是不同的。第一個階段，知識就是力量，知識是人腦思維的產物。第二個階段，信息就是能量，信息是電腦技術的產物。第三個階段，數據就是變量，無邊界的數據聚合是人腦和電腦的思維範式無法完成的，必須是人、智能機器和雲計算的融合，是一種雲腦思維。換句話說，人類的思維範式分為三個階段，即人腦時代、電腦時代和雲腦時代。
大數據正在引發人類社會變革。它已經不是一個新概念，而是正在到來的新時代，是一種新的信息技術、新的服務業態、新的研究範疇和新的思維模式。數據成為一種多維的無限變量。數據質點由於價值關聯產生數據引力，進而形成數據引力波，成為大數據超級能量的源泉。如同愛因斯坦提出引力波一樣，數據引力波的提出推動了多維世界的價值轉換，從因果性到相關性的範式轉移，標誌人類開始從條時代邁向塊時代。
第一節 知識、信息和數據
（一）知識、信息和數據的雙向演進
從人類思維邏輯的進程看，數據、信息、知識是螺旋上升的循環週期。「數據—信息—知識」是處於一個平面上的三元關係，分別從語法、語意以及效用三個層面反映了人腦思維邏輯的過程。首先是初級過程思維階段，這一階段主要是對傳統的數據（未經組織的數字、詞語、聲音、圖像等）的記錄，它可以直接來自測量儀器的實時記錄，也可以來自人的認識。其次是次級過程思維階段，這一階段是信息的創造階段，通過人腦次級過程思維活動，實現對原始數據的篩選、加工、創造，進而產生有意義的數據，也就是信息。最後是人腦的高級過程思維階段，在這一階段，人腦運用信息系統，對信息和相關的知識進行規律性、本質性和系統性的思維，對獲取或積累的信息進行系統化的提煉、研究和分析，進而形成知識。作為人腦思維過程的三個階段，數據、信息、知識是螺旋上升的循環週期。人們運用信息系統，對信息和相關的知識進行規律性、本質性和系統性的思維活動，創造新的知識。之後，新的知識又開闢了需要進一步認識的對象領域，然後使人們補充獲取新的數據和信息，進入新一輪的循環上升週期。
從人類思維範式的演進看，知識、信息、數據呈現出一種螺旋上升的循環週期。思維範式是指立足於一種世界觀、認知體系、信念等而形成的固有的、穩定的、反覆使用的具有範例特點的思維規範、模型或模式。思維範式是在人類社會發展過程中形成的，與其所處的歷史階段密切相關。思維範式與時代的發展是辨證互動的關係，人類思維範式的每一次發展演進對於時代的影響和作用都是巨大的，思維範式的創新是人類社會進步的重要動力。縱觀人類思維範式的發展歷程，可以分為人腦時代、電腦時代和雲腦時代三個階段，與之相對應的就是知識、信息和數據不斷演進的過程。在人腦階段，人類思維的界限就是人腦認知的邊界，知識在推動社會進步的同時也在不斷擴大人類活動的範圍，推動知識的邊界不斷外延。電腦時代的到來是以信息技術革命為標誌的，計算機特別是互聯網的出現，產生了大量不能被人類所感知的信息，使得人類思維的範式已經不再局限於人腦思維，人類進入電腦時代。第三階段是雲腦時代。數據超出了人腦思維和電腦思維所能承載的範疇，需要借助人、智能機器和雲計算的融合形成雲腦思維並將人類帶入雲腦時代。人類思維範式的演進過程，是人類思維由繁到簡的逆向思維過程，既是推動人類社會不斷進步的力量，也是人類社會不斷發展的結果。
無論是在人腦時代、電腦時代還是雲腦時代，人類思維邏輯和人類思維範式都是同時存在的，數據、信息和知識都是其中最基礎性的資源，三者相互交叉、相互促進，共同推動人類發展。
（二）知識就是力量
知識是人類在認識和改造客觀世界中對實踐或經驗的記錄和整理，是人的思維的產物，是人類智慧的最基本因素，其主要表現形式為數字、符號、文字等。數字產生於原始社會，是人類初始性的知識。符號是人類早期原始的表述手段，具有表意的功能，標誌著人類從表象認識向兼具形式和意義的深層次認知過渡。文字是現階段人類文明中最穩固、最先進、最複雜的知識表現形態，是人類社會進入文明時代的重要標誌。文字的出現引發了人類知識在時間和空間兩個維度的巨大飛躍。
英國著名的科學家、哲學家法蘭西斯．培根提出「知識就是力量」的論斷，開闢了人類把知識作為一種重要資源的先河。知識是人的思維產生和更新的內生力。思維是一種高級認識活動，知識是思維活動的基本構件，為人的思維活動提供原始素材，並規定、影響著思維活動的方式和方法。 思維具有自我更新能力，利用人腦中已掌握的知識和產生的經驗，通過聯想、想像、直覺、靈感、發散等方式，發現尚未知曉的或者尚未出現的事物，推動新知識的產生，進而實現思維的更新。知識激發人的思維能力，是人類智慧最集中的體現，使得人類突破自然極限，在一切領域開創新局面成為可能。
知識是推動人類社會發展的驅動力。社會文明的發展進步皆是建基於知識，沒有知識便沒有社會進步。知識向生產力的轉化，關鍵在於運用知識的能力，而非任何知識的簡單集合。知識的不斷更新能夠提供人類征服和改造自然的新方法、新工具和新途徑，知識的介入可以加快科學技術轉化為生產力的進程。在時代的更替過程中，知識始終是推動人類社會突飛猛進的重要力量。
德國哲學家康德認為，「自在之物」與「現象」（即「此岸」與「彼岸」）之間存在著原則上的界限，是人類認識無法逾越的鴻溝。
人們往往只能認識「自在之物」的表象，而不能透過現象去認識「自在之物」的本質。也就是說，知識本身是無界的，但人類對知識的認識是有邊界的。
一方面，人腦認識和承載知識的能力是有限的。人腦作為生命有機體的一部分，是有生命週期的。一旦生命有機體死亡，人腦及其所存儲的知識也一並消亡，正如《莊子．養生主》中所說，「吾生也有涯，而知也無涯，以有涯隨無涯，殆已」。人類生命的短暫性決定了人對知識的認識是有限的。同時，人類對知識的承載和處理能力也是有限的。認知負荷理論認為，人類的工作記憶系統同時加工新信息的容量是有限的，為了使加工得以順利進行，當前進入工作記憶的信息量不能超過工作記憶的容量 ，而且人類的大腦也沒有足夠的空間能夠裝下所有知識。知識超載讓人類大腦容易產生困惑，難以提取有效知識並做出理性判斷。
另一方面，人類的認知能力是有限的。人類所獲得的知識只限於能夠被感知的顯性知識，很多隱性知識則超出了人類認知的範疇，特別是對於空間上遙遠的地方和時間上久遠的過去，人的所知更少。由此，顯性和隱性之間就存在著人類認知的邊界，這種邊界處在不斷運動和發展中，在時間上沒有開始和終了，在空間上沒有邊界和盡頭。
信息化打破了知識的邊界。在信息化時代，以計算機技術為基礎，電腦代替人腦進行信息的記錄、篩選、傳播，打破了人腦對知識記憶、存儲、處理的局限性。同時，信息的積累與交換、分析與運用，改變了人類獲取知識的方式，突破了獲取知識的時空限制，人類採集信息進而獲取知識的能力顯著增強，並產生了前所未有的知識量，加快了知識轉化為生產力的速度。
（三）信息就是能量
信息論奠基者香農認為，信息是用來消除不確定性的東西，是不定性減少的量，是兩次不定性之差。 隨著人類社會的發展，信息量不斷增多、傳遞速度不斷加快、共享範圍不斷擴大，離開信息的傳播、交流和融合，任何發明創造都難以實現，而信息的增加、積累、再生，必然要依靠信息載體的進步和革命。
20世紀中葉，以計算機和互聯網為標誌的第五次信息革命，實現了計算機技術和通信技術的融合，克服了時間和空間的阻礙。信息採集、傳播的速度和規模達到空前水平，實現了全球信息的交互與共享，信息量的增長速度超越人類的理解速度，開啟了一個信息大爆炸的時代。據英國學者詹姆斯．馬丁統計，人類知識的倍增週期，在19世紀為50年，20世紀前半葉為10年左右，到了70年代，縮短為5年，80年代末幾乎已到了每3年翻一番的程度，全球信息量呈指數級增長，並且增長速度不斷提高。
隨著信息載體的不斷更新，信息傳遞的效率也在不斷提高。從書信到電話，信息是一對一的傳播模式，傳遞效率值是1。電視廣播的發明使得同一信息能夠讓N個人接收，傳遞效率從1提高到N。互聯網的出現，使每一個人既是信息的接收者，也是信息的傳播者，信息傳播的節點可以無限增多，信息通路可以無限增多。
鮑勃．麥特卡爾夫提出的麥特卡爾夫定律認為，網絡價值同網絡用戶數量的平方成正比，即N個連接能創造N2的效益，N個人能看到N個人的信息，信息傳遞的效率是N×N=N2。
與以往不同，在互聯網時代，信息的傳播、存儲、處理主要依託計算機完成，信息超出了人腦所能認知的範疇。某種意義上可以說，人類認知邊界內的即為知識，認知邊界外的即為信息，這個邊界即為人腦與電腦的界限。但信息是一種尚未被人類所完全認知的客觀存在，依賴能量為人類所感知，不同信息系統通過交換、演變、融合、轉化，實現能量的聚合，並在一定條件下，這種能量能夠被釋放出來，對人類社會產生重大影響。馬克．布爾金在《信息論》中提出，信息支配著社會，滲透到每個生活領域。 信息能量的釋放總是伴隨著新一輪的積聚，在積聚中轉化，在轉化中釋放更大能量。
信息數據化是信息釋放能量的手段。「數據化」不是「數字化」。數字化僅僅是把模擬數據轉換成0和1表示的二進制編碼，實現計算機的可識別、可讀取和可處理。數據化則是指一種把現象轉變為新型可分析數據的量化過程，包括數據的採集和數據的處理，也就是對某些事物的描述，數據可以記錄、分析和重組。借助計算機技術、通信技術和高密度存儲技術，信息可以更快、更準地轉變為信息資源。而且，信息被數據化之後，就具有通用性、開放性、標準化和高度整合性的特點，信息無限量的積累和跨時空、跨行業的傳遞，有利於釋放信息潛在的巨大價值和能量。信息數據化標誌著人類認識的一個根本性轉變。通過信息數據化，能夠全面採集和計算客觀存在的信息，並對其進行加工處理。在數據化時代，我們將改變把世界看成自然社會和人類社會的觀念，從數據的內核上來認識世界，將世界看成各類信息的集合。這為人類認識世界、改造世界提供了一種全新的視角，是一種可以滲透到所有生活領域的世界觀。
（四）數據就是變量
從知識到信息再到數據，是人類文明進步的歷程。數據既是自變量也是因變量，在自身變化的同時，也會引發外部世界的變化，並且數據的自變與因變的過程是同時發生作用的。在大數據時代，數據是一種重要的基礎性戰略資源，成為引發世界變革的重要因素。
數據是一種客觀存在，是對現實世界的數據映射。數據自身處於運動變化之中，是信息通信技術按照自身發展邏輯，從提高生產效率向更高級智能階段的自然生長。從數量上來看，大數據不僅是龐大的，而且是不斷變化的。國際數據公司發佈的《數字宇宙》報告，對全球的數據存量和增長趨勢進行了定量評估。報告顯示，全球IP（網絡之間互連的協議）流量達到1EB（艾字節），在2001年需要一年，在2013年僅需一天，到2016年則僅需半天，至2020年，數字宇宙規模將增長10倍，每年產生的數據量由當前的4.4萬億GB（吉字節），增長至44萬億GB。從性質上來看，跨界、跨領域的關聯和重組是數據自身發展的天性，它能夠打破時空的界限進行快速的流轉和聚合，並把同一類型、同一領域的數據聚集成類，相互作用，並形成更高層級的、跨領域的持續集聚，進而在新的條件下形成新的價值。數據的多種形式、多種來源以及數據之間的多種複雜的聯繫，都使數據世界變得更加神秘也更加激動人心。
數據成為改變世界的戰略資源。麥肯錫公司的報告指出，「數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來」。通過技術的創新與發展，以及全面感知、採集、分析、共享，數據為人們提供了一種全新的看待世界的方法。當我們運用數據來決策，並對事物的發展趨勢進行預判時，世界變得可知和可預測，數據就成為一種不確定性對抗確定性的變量。當前，國家間的競爭正從對資本、土地、人口、資源或能源的爭奪轉向對數據的佔有。在大數據時代，作為一種新的戰略資源，數據改變了資本和土地等傳統生產要素在經濟發展中的權重，成為與高端人才、稀有能源一樣重要的提升國家競爭力的戰略制高點。大數據顛覆性地改變經濟形態、國際安全態勢、國家治理和資源配置模式，引發了經濟社會的巨大變革。 以數據流引領技術流、物質流、資金流、人才流，持續激發新模式，形成新技術，催生新經濟，將成為推動人類社會生產和生活方式發生根本性變革的核心力量。
（五）數據引力波
引力是人類最早定量認識的相互作用，它無處不在，主導了宇宙和星系。在經典物理學中，引力與強力、電磁力、弱力一同被認為是宇宙中四大基本力之一，是最弱的力，但也是起決定作用的力。引力的大小與質量成正比，與距離的平方成反比。在量子力學中，引力被認為是由於兩個粒子交換引力子導致的。愛因斯坦廣義相對論認為，引力起源於質量對空間的扭曲，是空間—時間彎曲導致的幾何效應，在任何有質量的物體附近，空間的結構都會受到扭曲，但這樣的扭曲並不總是圍繞在物體的附近。
按照廣義相對論的界定，質量導致時空結構彎曲，進而產生引力，而產生引力的空間是不平坦的、運動的、多維的和複合疊加的，它沒有長度、時間、密度等有形物質屬性。
在對引力進行了一個全新維度的界定之後，愛因斯坦也意識到空間的彎曲形變能在宇宙中進行傳播，類似於地震波在地殼裡傳播，這種傳播是通過引力波實現的。愛因斯坦認為，引力波是時空曲率的擾動以行進波的形式向外傳遞，並通過引力輻射的形式傳輸能量。引力波在物體加速運動過程中產生，即物質的分佈發生改變時，比如恆星爆炸、黑洞碰撞，都會產生引力波，會引起時空的伸縮、影響時空的結構。引力波發揮作用的形式與流體力學中的重力波類似，重力波是液體介質內或兩種介質面間的一種波，當液體表面或內部液團由於密度差異離開原來位置，在重力和浮力的綜合作用下，液團會處於上下振動以達到平衡的狀態，即產生波動。引力波的本質就是時空曲率的波動，也可以稱之為時空的「漣漪」，就如同石頭被丟進水裡產生的波紋一樣，這種波紋既會層層擴散，又能相互影響，循環往復。通過引力波釋放出的能量超過了整個宇宙中所有星光的能量，引力波所攜帶的不僅有能量，還有關於它們產生過程中的信息。
在大數據時代，數據以其龐大的數量和特有的運行模式構成了與傳統社會不同的新的時空──數據宇宙。數據質點是數據宇宙中具有「數據質量」的數據單元 ，由數據空間中一組有特定關係的數據元素（點）組成。一般來說，這種關係是指數據元素在數據空間中的幾何相鄰關係。在數據質點的作用下，數據空間會發生不規則、無邊界、多維度和複合疊加的運動，進而產生數據引力，這與廣義相對論中引力產生的時空扭曲類似。不同於物理世界中的引力，數據引力是一種標量，沒有方向性，表示的是數據之間的價值關聯性。
廣義相對論認為加速運動的質量會產生引力波。同理，數據質點的快速流動也會產生數據引力波。任何數據之間都存在數據引力波，引力波的大小取決於數據質點價值關聯性的強弱，即數據質點間的價值關聯性越強，則數據引力波越大；價值關聯性越弱，則數據引力波越小。數據引力波的特點是具有激活性、穿透性和不可預知性。數據引力波是一種隱性波，只有在激活的狀態下，數據的價值才能顯現出來。數據的激活分為自激活和他激活，都是在數據引力場中完成的。
數據本身具有不同的類型、性質和維度，同一類型、性質和維度的數據質點在數據引力的相互作用下，形成一個充滿數據的場域，即數據引力場，數據引力場的形成是數據量的積累過程。數據的多維性決定了任何一個數據都可以同時存在於多個引力場中，並產生不同的數據引力波。同時，數據與數據引力場、引力場與引力場之間都存在數據引力波。通過數據引力波，大量的數據或者數據引力場快速碰撞、相互融合，實現聚合、裂變，產生新的價值關聯，並釋放巨大的能量。這種能量遠超數據本身的價值總和，甚至超出人類想像的範圍，數據引力波將這種巨大的能量傳送到無限遠處。在這一過程中，原有數據引力場的平衡力被打破，借助數據引力，大量的數據重新聚合，重組再造新的數據引力場，實現新一輪的數聚和裂變。這是一種解構到重構的過程，也是量變到質變的過程。依託數據的解構和重構，數據宇宙實現膨脹和壓縮。例如，黑客數據進入特定的數據空間，擾亂原本數據引力場中數據與數據之間或者數據引力場之間統一的規則秩序，這一過程就是數據與數據引力場相互碰撞並產生作用的過程，進入引力場的黑客數據破壞了原有數據空間的平衡力，成為「不速之客」。
如今，引力波的證實成為科學史上最重要的一刻。數據引力波也將成為人類認識數據宇宙的鑰匙。它不僅會改變人類既有的經驗積累，推動一系列基礎理論學科實現質的飛躍，也會改變人類既有的思維範式，形成全新的數據世界觀，引領人類社會真正進入雲腦時代。正是通過數據引力波所引發的數據在多維空間的集聚和裂變，為大數據打破「條」的限制，實現「塊」的聚合提供了可能，為數據在多維空間內實現自激活、自流程、自適應、自組織創造了原始動力。
第二節 大數據是什麼
（一）大數據溯源
20世紀60年代，伴隨著數據庫的出現，人類採集、存儲數據的能力迅猛提高，數據的總量不斷增加，而且增加的速度不斷加快，形成海量數據。在數據量快速積累的同時，數據的內涵也在不斷擴大，除了測量和計算之外，它又具有了記錄的功能。數據的記錄功能與信息類似，但範疇要大於信息。比如，一封郵件雖然包含很多條信息，但是從技術的角度看可能還是「一個數據」。海量數據的出現，使傳統的計算科學範式逐漸被拋棄，摩爾定律逐步成為數據處理的重要技術。從數據類型上看，這一階段的數據還是以結構化數據為主。但是，伴隨著社會媒體、移動終端和傳感設備等新渠道和新技術的大量出現與應用，包括文檔、圖片、XML（可擴展標記語言）、HTML（超文本標記語言）、圖像和音頻/視頻信息等在內的非結構化數據和複雜數據產生，人類迎來了大數據時代。
20世紀90年代興起的複雜性科學 ，為人類提供了有機自然觀，整體全域、關聯、演化的複雜性思維方式和新的科學理論方法，也為大數據提供了理論基礎。以互聯網、雲計算和人工智能為代表的新興技術為大數據的出現提供了技術條件。同時，谷歌（Google）、臉譜網（Facebook）、亞馬遜（Amazon）、百度、阿里裡巴巴、騰訊等大數據相關企業的崛起推動數據產業快速發展，為大數據發展提供了社會基礎。基於此，著名未來學家托夫勒在《第三次浪潮》中正式提出大數據的概念，並將之稱頌為「第三次浪潮的華彩樂章」。《自然》雜誌也於2008年推出了「大數據」的封面專欄，講述了數據在數學、物理、生物、工程及社會經濟等多學科領域扮演的重要角色。
（二）大數據概念辨析
關於大數據的定義最早是來自企業而非學術性機構，這與大數據最早源於企業有關。即使到目前，對於大數據概念的討論也一直沒有停止，學術界、產業界、政府機構都從自身的研究領域和立場出發，在性質特點、要素構成、技術系統、應用範圍、價值來源等方面對大數據的內涵和外延進行了不同的界定。
技術分析角度。這一類定義重點關注的是對海量、複雜數據進行分析處理，從而獲得信息和知識的技術手段。例如，麥肯錫就認為，大數據是大小超出常規數據庫工具的獲取、存儲、管理和分析能力的數據集 ，也指無法採用傳統流程、工具處理或分析的信息，迫使用戶採用非傳統處理方法的數據集，數量級不一定要超過特定的數據存儲容量值。而維基百科認為，大數據是指無法在合理時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合。 數據集成軟件商納斯達克則認為，大數據包括海量數據和複雜數據類型，其規模超過傳統數據庫系統進行管理和處理的能力。
大數據應用價值角度。這一類定義強調的是大數據的應用，關注的是從數據中獲取有價值的信息和知識，最終目的是建立商業方面的競爭優勢甚至是創新商業模式。比如，高德納諮詢公司認為，大數據是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。維克托．邁爾–舍恩伯格認為，大數據時代的來臨使得人類第一次有機會和條件在非常多的領域和非常深入的層次獲得和使用全面數據、完整數據和系統數據，深入探索現實世界的規律，獲取過去不可能獲取的知識，得到過去無法企及的商機。 哈佛大學訪問學者徐晉在《大數據經濟學》中指出，大數據是指存在價值關聯的海量數據。大數據的本質是社會經濟的離散化解構與全息化重構，表現為行業間海量數據的關係從量變到質變的轉變（深度挖掘）。趙國棟、易歡歡等在《大數據時代的歷史機遇》一書中也指出，大數據是在多樣的或者大量的數據中迅速獲取信息的能力。
大數據自身特徵角度。這一類定義是從大數據本身性質和特點對大數據進行界定。其中又可以分為以下兩個角度。一是從量的角度，比如百度百科認為，大數據或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理並整理成為有助於企業經營決策的資訊。大數據科學家約翰．勞瑟認為，大數據就是任何超過了一台計算機處理能力的龐大數據量。二是從性質的角度，高德納諮詢公司分析師道格．蘭尼首次提出大數據的3V特徵，即高速增長的數據體量（Volume），高速進出的數據運動（Velocity），高度異質的數據種類（Variety）。在此基礎上，麥肯錫公司在《大數據：創新、競爭和生產力的下一個前沿》中提出了大數據具有4V的特徵，即：數據容量大（Volume）、數據類型繁多（Variety）、商業價值高（Value）、處理速度快（Velocity）。
大數據對社會發展影響角度。這一類定義強調大數據對人類社會生產生活方式、思維範式等產生的重大影響，認為大數據開啟了人類發展的新階段，並且認為這種範式的影響是持久而深遠的。比如，維克托．邁爾–舍恩伯格教授指出，「大數據」所代表的是當今社會所獨有的一種新型的能力——以一種前所未有的方式，通過對海量數據進行分析，獲得有巨大價值的產品和服務，或深刻的洞見。維克托．邁爾–舍恩伯格在《大數據時代》中前瞻性地指出，大數據帶來的信息風暴正在變革我們的生活、工作和思維，大數據開啟了一次重大的時代轉型。中國工程院院士李國杰認為，理解大數據需要上升到文化和認識論的高度。數據文化的本質是尊重客觀世界的實事求是精神，重視數據就是強調用事實說話、按理性思維的科學精神。
（三）大數據定義
大數據時代，「數據驅動」成為全球大勢。大數據的發展對經濟社會發展和人類的思維觀念帶來革命性的影響，成為美國、英國、歐盟等許多發達國家和地區的重要發展戰略。
中國數據資源豐富，應用市場前景廣闊。互聯網、移動互聯網用戶規模居全球第一，湧現出百度、阿里巴巴、騰訊這樣頂尖的互聯網創新型標桿企業。大數據正日益對中國的生產、流通、分配、消費活動以及經濟運行機制、社會生活方式和國家治理能力產生重要影響。2015年8月，《促進大數據發展行動綱要》的頒佈，成為推動中國大數據發展的重要頂層設計和戰略部署。黨的十八屆五中全會提出實施「國家大數據戰略」，標誌著大數據戰略正式上升為國家戰略。2016年3月，《中華人民共和國國民經濟和社會發展第十三個五年規劃綱要》，明確提出要把大數據作為國家的基礎性戰略資源。《促進大數據發展行動綱要》對大數據進行了全新界定，即「大數據是以容量大、類型多、存取速度快、應用價值高為主要特徵的數據集合，正快速發展為對數量巨大、來源分散、格式多樣的數據進行採集、存儲和關聯分析，從中發現新知識、創造新價值、提升新能力的新一代信息技術和服務業態」。這是國家層面對大數據最具權威的官方解讀。這一新的定義，蘊含著大數據時代的三個基本特徵，即新模式、新技術、新業態。科學認識這些特徵可以幫助我們去探尋大數據帶來的變化，以及這些變化是如何發生的，這正是發現大數據的本質的過程。
新模式：核心是新的思維範式。大數據不僅是一場技術革命，更是一場思維革命。大數據思維範式的關鍵轉變在於從人腦思維到電腦思維再到雲腦思維的轉變，這種思維具有以下特點。一是總體性，伴隨著數據在採集、存儲、分析等相關技術上的突破，對於數據的獲取實現了從樣本數據到全體數據的轉變。二是容錯性，精確性是小數據時代的產物，當數據量無限大時，絕對的精準不再是數據追求的主要目標。三是相關性，也就是人們只需知道「是什麼」，而不用知道「為什麼」。四是智能性，智能是大數據時代的顯著特徵，思維方式從自然思維向智能思維轉變，不斷提升機器設備或系統設置的社會計算能力和智能化水平，從而獲得具有洞察力和新價值的數據，甚至類似於人類的智能。
新技術：核心是新的信息技術。大數據本身是什麼並不重要，重要的是大數據背後蘊含的價值所帶來的影響。大數據具有「容量大、類型多、存取速度快、應用價值高」和「數量巨大、來源分散、格式多樣」的特徵，大數據的價值在於應用，必須依靠全新的處理方式，即新的數據採集技術、數據存儲技術和數據關聯分析技術，從根本上解決「數據從哪裡來、數據放在哪裡、數據如何使用」這三大問題，實現通過數據發現新知識、創造新價值、提升新能力的目標。
新業態：核心是新的服務業態。大數據帶來社會生產要素的開放共享、集約整合、協同開發和高效使用，改變了傳統的生產方式和經濟運行機制，持續激發商業模式創新，不斷催生新業態。
這種新業態以新的服務業態為核心，通過大數據驅動傳統服務模式或商業模式的再創新。大數據在重構未來經濟格局的同時，也將對傳統的社會關係帶來重構。
第三節 從大數據到塊數據
（一）海量數據的悖論
海量數據在推進人類社會發展的同時，也帶來了新的問題和困擾，我們把這種問題和困擾稱為「海量數據的悖論」。
海量數據帶來數據量激增的同時，數據分析的不確定性也在增長。維克托．邁爾–舍恩伯格認為，「就是預測，不是要教機器像人一樣思考，而是要把數學計算運用到海量數據上，來預測事情發生的可能性」。在數據「匱乏」的時代，數據的採集、搜索等技術手段的落後導致人類由於可獲得數據的有限性，難以對事物做出準確的判斷和預測，如同處在黑暗中，辨不清方向。 進入大數據時代，數據短缺轉變為數據過剩。信息爆炸與數據爆炸，帶來海量信息和垃圾數據泛濫的困境。客觀上講，在數據稀缺的時代人們希望數據多多益善，而在信息爆炸和數據爆炸的時代人們則是希望數據越精準越好、越有序越好。人類獲得優質數據的難度較以往不是降低而是提高了。海量數據的複雜性不僅體現在數據的體量上，更體現在多源異構、多實體和多空間之間的交互動態性 ，以至於我們不能用傳統的方法去描述與度量這些數據。數據分析者、研究者與決策者再一次陷入結構性短缺、集團化佔有、分散化使用和有限性分享等新的數據困惑之中 ，這直接影響了大數據預測的準確性和客觀性。
（二）數據處理技術及其趨勢
海量數據對數據的處理技術提出了更高的要求。當今世界正面臨著由技術瓶頸突破帶來的全行業升級，雲計算、人工智能技術在推動人類社會全面進入大數據時代的同時，在數據處理方面也具有一定的局限性，以人的行為為原點，以社會學為基礎，進行多維度數據分析，將成為人類社會大數據處理技術的發展趨勢。
雲計算數據處理能力提升是未來大數據處理的技術路徑。在雲計算出現之前，摩爾定律一直主導著數據處理技術的發展。摩爾定律受限於芯片性能的提高，而雲計算恰恰能夠很好地解決這一問題。雲計算為大數據提供了按需擴展的計算和存儲資源，雲計算技術的一個核心理念就是通過不斷提高自身的處理水平來減輕用戶負擔，從而使用戶終端簡化成單純的輸入輸出設備，並能夠按需享受「雲」的強大計算處理能力。在未來的幾年裡，雲計算處理技術將滲透到人們生活的方方面面。
模仿人腦思維是未來大數據處理的重要方式。人工智能是實現計算機模擬人腦思維過程的技術基礎。現階段的人工智能主要通過計算機的算法模型實現模糊處理，這種處理方式體現出一定的智能化，但與人類智能的靈活性、目的性、創造性相距甚遠。比如，AlphaGo（阿爾法圍棋）就是利用深度學習來學習人類棋譜，通過蒙特卡羅樹搜索模擬人腦來進行優勢選擇。模仿人腦思維的人工智能關鍵是匯集足夠多的有效數據，再利用算法對這些數據進行處理。要實現模擬人腦思維的人工智能數據處理方式，必須借鑒人腦的先進結構和機制，這將是未來大數據處理技術的重要方式。
以社會學為原點進行多維度數據分析是未來大數據處理的思維模式。社會學是運用科學的方法研究社會與人類行為的綜合性學科，它包括社會經濟學、社會心理學、社會歷史學、社會行為學，甚至包括法律、倫理、宗教等內容。社會學研究本身的綜合性和研究對象的複雜性決定了其更多地強調相關性，這與大數據的方式相同。在大數據時代，人類的行為和活動可以通過數據化的方式進行研究和分析。其實不僅僅包括社會活動，任何人的私密活動也囊括在數據之中，人類的活動在被逐漸地數據化。造痕 指人類社會生活留下的痕跡，人類通常拿這些痕跡作為證據，廣泛應用於考古學、歷史學和社會學的研究中。數據化的證據就是一種數據。研究這種數據對於我們研究過去的社會結構、人類行為、文化等諸多問題都具有重要的意義，並能通過對以往人類社會和人類活動的分析，對未來社會發展趨勢做出預測。某種意義上說，這種對社會的研究穿越了時空的界限，而這正是大數據應用的重要領域。因此，以人的行為為原點，以數據社會學為基礎，探索和研究大數據處理的規律，是未來大數據發展的重要思維方式。
智能碰撞是未來大數據處理的重要方向。大數據發展的高級階段就是數據能夠進行自激活，不再需要人類發出指令，數據在流動過程中通過數據質點之間相互碰撞、相互影響、相互融合，實現智能碰撞和人機交互。這種計算機處理技術標誌著數據進入最高級的階段。在數據的智能碰撞過程中，每一個數據質點自動進行潛計算或者休眠計算，若達到激活條件，則會產生數據熱點，同時也將自激活並進行熱點數據處理和熱點邏輯計算，並且持續重複此過程，將信息傳遞給其他數據點。各熱點根據數據分析計算，顯現出熱點數據背後的規律，最終形成預測數據，這個過程就是數據自激活的過程。
（三）塊數據解決方案
「條時代」的數據觀。大數據強調「把數學算法運用到海量數據上來預測事情發生的可能性」，是「數據、技術、思維三足鼎立的產物」。 大數據觀的核心是量化一切，認為世界的本質就是數據，萬物皆可被數據化。數據從作為事物及其關係的表徵走向了主體地位 ，成為獨立於人類社會的客觀數據世界。借助智能終端、物聯網、雲存儲、雲計算等技術手段，人類獲得海量數據，並從中選取對自身有價值的信息進行處理。目前人類對大數據的使用，更多的是對特定領域或行業內縱深數據的集合，這對於反映本領域或行業的規律具有很大的價值。但是，這種條數據的處理方式將數據困在一個個孤立的鏈條上，相互之間不能鏈接起來。在思維模式上，條數據是傳統人類研究範式的數據化體現，是對單獨領域的深化，不同領域間彼此割裂、互不融通。類似於目前人類的科學研究被劃分為眾多學科，對科學的研究只是在特定研究領域內不斷地深化和推進，而學科之間彼此沒有聯繫。反映在價值觀上，條數據是一種利我的、閉合的觀念，這裡的我，既是特定的主體，也是特定的領域，是虛擬化的「我」。這種條數據的數據觀具有很多天然的缺陷。比如，根據分類，數據存儲在不同部門，各個部門的數據倉庫架構、數據技術也可能不同，政府、企業的數據互相無法打通，產生數據孤島；大量的數據被政府部門、企業尤其是大型企業掌握造成數據壟斷；對事物的預測僅限於利用特定領域的有限數據，造成數據預測失真，這也是產生海量信息悖論的一個重要原因。
「塊時代」的數據觀。打破數據孤島和數據壟斷需要新的數據觀，這種新的數據觀就是塊數據。塊數據是基於複雜科學提出來的新的研究思維範式，是一種數據化的整體思維，強調相關性而非因果性，用數據規律補充了單一的因果規律，實現了唯理論和經驗論的數據化統一。塊數據強調「更多」（全體優於部分）、「更雜」（雜多優於單一）、「更好」（相關優於因果） ，注重整體性、多樣性、關聯性、動態性、開放性和平等性，通過對複雜性科學思維的技術化處理，使得複雜性科學方法論變成了可以具體操作的工具，實現了定性定量的綜合集成，使人文社會科學等曾經難以數據化的領域實現了定量研究，是一種全新的大數據方法論。在價值觀上，塊數據強調開放共享、跨界融合，是一種利他的、共享的觀念。
從大數據走向塊數據是必然趨勢。大數據強調開放共享，但在「條時代」，大數據的發展面臨共享難度大、壟斷程度高、融合能力差、應用價值低以及安全風險大等一系列制約因素。塊數據是具有高度關聯性的數據在特定平台上的持續集聚，既是數據集聚的結果，也是數據聚合的過程；既包括點數據、條數據，也包括面數據；既有數據空間的填充、空間數據的重構，也有聚合過程中的組構和組構過程中的聚合，同時還伴隨新數據的匯集和原有數據組合後衍生數據的產生。這種聚合是持續進行的，並伴隨著數據的不斷更新。這個過程既是塊數據自我重構和自我修復的過程，也是對條數據組合、糾偏、選擇的過程。同時，塊數據的聚合是具有高度關聯性數據的聚集，數據的價值關聯性決定了塊數據的組構過程中並非簡單堆砌，而是呈空間網狀分佈，並具有明顯的網線、節點、脈絡及其自身內在的邏輯運行規律。塊數據自身所具有的平台化、關聯度高、集聚力強、價值密度高、開放性等特點，決定了塊數據可以挖掘出數據更高、更多的價值，它將推動大數據發展進入條數據和塊數據融合發展的新階段。打破「條」的界限，讓大數據實現在「塊」上的「條」融合，是未來大數據發展的必然趨勢。

第一章
重新定義大數據

從人類思維範式的進程看，每個階段的認知體系和由此產生的思想工具是不同的。第一個階段，知識就是力量，知識是人腦思維的產物。第二個階段，信息就是能量，信息是電腦技術的產物。第三個階段，數據就是變量，無邊界的數據聚合是人腦和電腦的思維範式無法完成的，必須是人、智能機器和雲計算的融合，是一種雲腦思維。換句話說，人類的思維範式分為三個階段，即人腦時代、電腦時代和雲腦時代。
大數據正在引發人類社會變革。它已經不是一個新概念，而是正在到來的新時代，是一種新的信息技術、新的服務業態、新的研...

總序

　　大數據是什麼並不重要，重要的是大數據改變了人們對世界的認識。大數據不僅改變了貴州和貴陽對世界的認識，更重要的是也改變了世界對貴州和貴陽的認識。貴州和貴陽已經成為中國大數據發展的戰略策源地，並正在成為引領全球大數據發展的重要風向標。這個戰略策源地和重要風向標的主要標誌就是以塊數據為核心的理論創新，搶佔了大數據發展的理論制高點和國際話語權。
　　應該肯定，塊數據是貴州和貴陽發展大數據理論創新和實踐探索的產物。如果說，大數據第一次讓貴州和貴陽站在了世界面前，那麼，在這面前的正是標誌著大數據時代真正到來的塊數據。塊數據對未來文明的改變和推動已經超出所有偉大預言家的預測，這一史詩般劇碼的序幕正在拉開或者剛剛拉開。事實上，對塊數據的認識和研究從來沒有停歇過，我們建構了一個從1.0到5.0的塊數據理論體系，試圖探索和揭示塊數據的本質、規律和價值。正如我在《塊數據2.0：大數據時代的範式革命》一書主編序中描述的那樣：「這是一場由科技引發的社會變革，它將改變我們的思維方式和生活方式，改變世界上物質與意識的構成，改變我們的世界觀、價值觀和方法論。我們不得不更多地關注它、研究它和把握它，因為我們每個人都置身其中。這也是我們必須對塊數據肅然起敬，並持續探尋的根本動因。」
　　 不僅如此，我們的研究發現，塊數據具有更加深遠的意義：
　　 第一，塊數據是大數據時代真正到來的標誌。新一輪科技革命和產業變革正處於重要交匯期。隨著信息技術和人類生產生活交匯融合，我們已進入以大數據為標誌的信息化發展新階段。人類將以塊數據為標誌，真正步入大數據時代。塊數據就是把各個分散的點數據和分割的條數據匯聚在一個特定平台上並使之發生持續的聚合效應。這種聚合效應通過數據多維融合與關聯分析對事物作出更加快速、更加全面、更加精準和更加有效的研判和預測，從而揭示事物的本質和規律，推動秩序的進化和文明的增長。簡言之，塊數據就是研究數據運動規律的數據哲學。數據是運動的，數據運動是有規律的，數據運動所揭示的是數字文明時代秩序的增長。我們認為，塊數據是大數據發展的高級形態，是大數據融合的核心價值，是大數據時代的解決方案。
　　第二，塊數據是數據、算法、場景融合應用的價值體系。數據、算法、場景是治理科技的三大核心要素。其中，數據是基礎，算法是手段，場景是目的。塊數據價值鏈是實現超越資源稟賦的價值整合，是以全產業鏈、全服務鏈和全治理鏈為核心的價值體系。通過數據、算法、場景的疊加效應，在塊數據系統架構下減量化的數據採集、數據傳輸、數據存儲、數據分析和數據應用的數據觀和方法論，為我們建構一個融合技術流、物質流、資金流、人才流、服務流的價值系統。以發現塊數據內海量複雜數據的潛在關聯和預測未來為目標，以複雜理論的系統思想為主要範式，實現對不確定性和不可預知性更加精準的預測。從條數據到塊數據的融合，人類社會的思維模式和行為範式將產生顛覆性變革。這種變革的文化力量就是以人為原點的數據哲學，它不僅革新了我們的世界觀、價值觀和方法論，而且開啟了我們的新時代、新生活和新未來。
　　第三，塊數據引領和催生新的組織模式，成為改變未來的新力量。塊數據既是一種經濟模式，也是一種技術革新，更是一種新的世界觀、價值觀和方法論，引領和催生新的組織模式。物物互聯、業業互聯、人人互聯，構成一個自組織、自激活的數據實時流動、共用、聚合的數據化網路生態圈。這個生態圈通過外部資源強化自身戰略地位，實現組織的再平衡。塊數據組織是一個資源分享、平台無限擴展的超穩定組織結構源，預示著組織發展的新方向。無邊界組織、自組織、雲組織等，都可以看作一種正在萌芽和生長著的塊數據組織。利他主義的數據文化是構成塊數據組織的理論基石，其出發點是數據人假設。塊數據組織中，數據力上升為組織的核心競爭力。數據力與數據關係影響著社會關係，這將引發整個社會發展模式前所未有的變革和重構。所有這一切，都預示著塊數據組織「平台化、關聯度和聚合力」三位一體所帶來的的強大組織勢能，實現組織的自激活和自適應環境變化，是組織存續與發展的根本動力所在，並最終形成共用型組織新範式。
　　 第四，啟動數據學成為人工智能時代大數據發展新的解決方案。數據無序增長預示著超數據時代的來臨。小數據時代，數據越大，價值越大；大數據時代，數據越大，價值越小。人類對未來的把握和勝算，在於數據被有效存儲的同時又被迅速激活。我們沒有把大數據僅僅看作所謂的「大」的數據，而是把大數據看作一種「活」的數據，因為只有激活，大數據才有生命，才能成為未來世界人們賴以生存與發展的土壤和空氣。我們探索用生命科學的方法解決數據擁堵問題，以數據社會學的思維打開沉澱的數據寶藏。塊數據就是數據通過算法作用於場景，這種作用的動力就是激活數據學，它為我們尋找這小部分的有效數據提供了解決方案。作為一種理論假說，激活數據學就像一座朝向深邃的大數據宇宙的「天眼」。它是未來人類進入雲腦時代的預報，是關於混沌的數據世界的跳出決定論和概率論的非此即彼、亦此亦彼的複雜理論的大數據思維範式革命。
　　第五，塊數據提出的數據進化論、數據資本論、數據博弈論或將成為數字文明的「新三論」。美國學者塞薩爾‧伊達爾戈的《增長的本質》一書被譽為「21 世紀經濟增長理論的重要里程碑」。因為本書提出了一個重要觀點，經濟增長的本質是信息的增長，或者說秩序的增長。他認為，善於促進信息增長的國家會更昌盛。我們提出的數據進化論、數據資本論和數據博弈論，正是重構數位文明時代人與技術、人與經濟、人與社會的新秩序。我們的研究認為，數字文明時代增長的本質不是GDP 的增長，而是文明的增長和秩序的增長。新「三論」的提出，對社會結構、經濟機能、組織形態、價值世界進行了再塑造，對以自然人、機器人、基因人為主體的未來人類社會構成進行了再定義，對以數據為關鍵要素的新型權利範式和權力敘事進行了再分配。這既是研究未來生活的宏大構想，也是研究未來文明增長和秩序進化的重大發現。
　　我們對塊數據的研究才剛剛開始。數據驅動、算法驅動、場景驅動下的雲腦時代正在到來，激蕩著我們對於未來所有的憧憬和渴望。
　　我們永遠在路上。

連玉明
大數據戰略重點實驗室主任
2019年12月

總序

　　大數據是什麼並不重要，重要的是大數據改變了人們對世界的認識。大數據不僅改變了貴州和貴陽對世界的認識，更重要的是也改變了世界對貴州和貴陽的認識。貴州和貴陽已經成為中國大數據發展的戰略策源地，並正在成為引領全球大數據發展的重要風向標。這個戰略策源地和重要風向標的主要標誌就是以塊數據為核心的理論創新，搶佔了大數據發展的理論制高點和國際話語權。
　　應該肯定，塊數據是貴州和貴陽發展大數據理論創新和實踐探索的產物。如果說，大數據第一次讓貴州和貴陽站在了世界面前，那麼，在這面前的正是標誌著大數據時代...

總序
主編序　

緒論　大數據時代的範式革命
　
第一章　重新定義大數據
第一節　知識、信息和數據　
第二節　大數據是什麼　
第三節　從大數據到塊數據
　
第二章　結構化數據、抽象化數據與暗數據
第一節　結構化數據　
第二節　抽象化數據　
第三節　暗數據　

第三章　塊數據的本質
第一節　塊數據的定義　
第二節　塊數據的基本屬性　
第三節　塊數據與大數據的區別　
第四節　塊數據的範式轉移　

第四章　塊數據模型
第一節　模型理論與塊數據模型　
第二節　平台化：從數據到數聚　
第三節　關聯度：從跨界到融合　
第四節　聚合力：從解構到重構　

第五章　激活數據學
第一節　複雜理論與激活數據學　
第二節　激活數據學的運行規律　
第三節　基於複雜理論的激活數據學模型探索
　
第六章　塊數據價值鏈
第一節　塊數據價值鏈　
第二節　塊數據全產業鏈　
第三節　塊數據全服務鏈　
第四節　塊數據全治理鏈　
第五節　塊數據價值鏈的關鍵因素
　
第七章　塊數據組織
第一節　數據人假設　
第二節　塊數據組織的超穩定結構　
第三節　數據力：塊數據組織的核心競爭力
　
第八章　塊數據經濟
第一節　塊數據與新經濟　
第二節　區塊鏈與塊數據金融　
第三節　痛客：無痛點不創新　
第四節　容錯性創新試驗　

第九章　塊數據治理
第一節　數據政府　
第二節　公權治理力　
第三節　「數據鐵籠」
　
第十章　塊數據安全
第一節　開放數據與數據安全　
第二節　塊數據風險源　
第三節　塊數據安全防禦　

結語　塊數據場景應用八大預測　
參考文獻　
術語索引　
後記

總序
主編序　

緒論　大數據時代的範式革命
　
第一章　重新定義大數據
第一節　知識、信息和數據　
第二節　大數據是什麼　
第三節　從大數據到塊數據
　
第二章　結構化數據、抽象化數據與暗數據
第一節　結構化數據　
第二節　抽象化數據　
第三節　暗數據　

第三章　塊數據的本質
第一節　塊數據的定義　
第二節　塊數據的基本屬性　
第三節　塊數據與大數據的區別　
第四節　塊數據的範式轉移　

第四章　塊數據模型
第一節　模型理論與塊數據模型　
第二節　平台化：從數據到數聚　
第三節　關聯度：從跨界到融合　
第四節　聚合力...