BIG DATA淘金術：掌握大數據，就是掌握財富

序

作者簡介

上 篇 Big Data浪潮興起──畢達哥拉斯的回歸

Chapter 1 Big Data的衝擊
1.1 Big Data前夜的資料探索
1.1.1 Big Data概念
1.1.2 賭博中的科學
1.1.3 阿基米德與國王的對弈
1.1.4 神秘的「亞洲社會」與中國成長之謎
1.1.5 以Big Data 名義的答卷
1.2 技術革命開創了Big Data時代
1.2.1 資訊技術是推動進步的新動力
1.2.2 Google 與Hadoop
 1.2.3 史丹佛再次捷足先登
1.2.4 大數據呼嘯而來
1.3 Big Data改變世界
1.3.1 炙手可熱的資料分析師
1.3.2 「阿里巴巴」與電子商務時代
1.3.3 歐巴馬──資料助選的「世界先生」
1.3.4 財富觀念的變化：資料即財富
1.3.5 大數據：美國軍隊在行動
1.3.6 資本張開了血腥的大口
1.3.7 巨量資料市場趨勢預測
1.4 巨量資料引爆思維革命

Chapter 2 大衝擊下的冷靜思考，Big Data的魅力來自何方
2.1 巨量資料與資料探索
2.2 巨量資料的特點
2.3 巨量資料技術
2.4 巨量資料的界線

中 篇 理性反思：黑格爾：頂天立地的時代

Chapter 3 巨量資料的數理哲學原理
3.1 巨量資料導致思維與決策方式的改變
3.2 探尋資料是人類本質的認識活動
3.2.1 與生俱來的資料愛好
3.2.2 預測一切的活地球模擬器
3.3 同構關係──巨量資料的數理哲學基礎
3.3.1 資訊傳遞與同構關係
3.3.2 世界本源之爭的終結

Chapter 4 巨量資料的認識論原理
4.1 可行性與可靠性，絕對性與相對性
4.1.1 我思故我在
4.1.2 黑天鵝事件
4.1.3 絕對真理與相對真理
4.2 理性的局限與對數學的信仰
4.2.1 理性的局限
4.2.2 畢達哥拉斯的複歸
4.3 人類的認識發展史就是對資料的認識史
4.3.1 數與人類同在
4.3.2 人類歷史上的資訊革命

Chapter 5 人工智慧與巨量資料在科學認識中的作用
5.1 個體思維與社會性思維中的同構性、雲端運算的思維模型
5.1.1 個體思維與社會思維
5.1.2 人工智慧PK 人類智慧
5.2 以網際網路為基礎的巨量資料是人類社會的整體思維模型
5.3 案例：維基百科──人類共同認識的動態模型
5.3.1 為什麼是維基
5.3.2 維基的故事
5.3.3 維基模式的秘密
5.3.4 維基百科的啟示
5.4 聰明機器人誕生──人工智慧的挑戰
5.4.1 人機決戰──世紀之戰
5.4.2 人工智慧能否超越人類智慧
5.4.3 聰明機器人的挑戰
5.4.4 最後的答案

Chapter 6 巨量資料分析的社會意義
6.1 巨量資料帶來的發展模式變化──摩爾定律的衍生
6.2 資訊不對稱與Big Data時代的社會民主
6.2.1 案例：部落格與微網誌──實現話語權平等的平台
6.2.2 案例：超級社交王國── Facebook

下 篇 實踐與案例：巨浪乘風化作春雨瑞雪

Chapter 7 搜索與主動智能搜索
7.1 Google 搜尋引擎與主動智慧搜索的研究
7.1.1 「創世紀」前的那些日子
7.1.2 Google 搜尋引擎的誕生
7.1.3 史丹佛精神
7.1.4 從被動到主動的搜索
7.2 主動智慧搜索設計方案
7.2.1 主動的智能搜索
7.2.2 實證案例：面向製造業的電子商務主動搜索平台

Chapter 8 資料採擷與創新
8.1 Goonie 網路輿情監控分析系統
8.2 銀行業網路信譽風險監控體系
8.2.1 銀行業信譽風險管理的背景
8.2.2 銀行通過監控系統降低信譽風險
8.2.3 商業銀行信譽風險監控的方法與流程
8.2.4 商業銀行信譽風險管理面臨的新形勢

Chapter 9 企業信譽與市場滿意度調查
9.1 企業信譽與市場調查的目的與意義
9.2 博弈模型
9.3 理論依據
9.3.1 經濟理論
9.3.2 技術方法理論
9.4 企業社會誠信的界定及調查研究截面的選取
9.5 「企業社會誠信調查研究系統」構架及指標選擇
9.6 企業社會誠信調查研究系統選擇
9.6.1 企業內部誠信評價
9.6.2 消費者誠信評價
9.6.3 關聯者誠信評價

Chapter 10 中國市場經濟資訊評估系統

Chapter 11 從C3D虛擬社群到智慧城市
11.1 C3D 虛擬社群
11.2 巨量資料技術催生智慧城市
11.2.1 智慧城市系統結構及功能定位
11.2.2 智慧城市具體功能
11.3 智慧城市系統建設的重點專案
11.3.1 智慧金融服務中心
11.3.2 電子商務總部中心
11.3.3 資料產品交易中心
11.3.4 新興資料產業
11.4 智慧城市系統建設的空間佈局
11.4.1 佈局思路
11.4.2 概念性規劃
11.5 智慧城市系統建設的實施效果評估
11.5.1 風險控制
11.5.2 智慧城市指標體系

結語 巨量資料開發將推動世界社會經濟大發展
A 巨量資料發展
B 世界10 個最大的資料中心

 

前言

要資訊紅利，還是資訊鴻溝

　　巨量資料給世界發展帶來新的挑戰與機遇，正當我們在翹首期望、焦慮和憧憬的時候，李德偉、顧煜、王海平、徐立合著的好書問世，令人豁然開朗！

　　凡世人皆有畏懼，俗話說：男怕選錯行，女怕嫁錯郎。企業也有一怕，怕算錯賬。世界未來發展的紅利，就是一筆巨大的賬。人口紅利、資源紅利，不過是來自第一次浪潮的賬上紅利；改革紅利，則是屬於第二次浪潮；逝者如斯夫，俱往矣！更重要的是第三筆賬，這就是資訊化帶來的數位紅利。

　　本書為世界算的，正是第三筆賬。算對了賬，巨量資料改變世界對企業的影響將是「正能量」：資訊紅利。但算錯賬的危險並非沒有，如近代中國在世界歷史進程中落後的能量就是負的；從巨量資料改變世界而言，就是由於存在著巨大的資料鴻溝，中國將在更高水準的現代化競爭中，被打回1840年的原點。

　　巨量資料是當代現代化的最新裝備

　　歐巴馬政府2012年3月29日發佈了「巨量資料研究和發展計畫」（Big data research and development initiative）。這不僅是一個推動美國繼續在高技術領域領先世界的戰略計畫，而且是一個推動美國社會經濟進一步發展的宏遠藍圖。在自由主義經濟的美國，政府頂層毫不猶豫地挺身而出，直接推動美國駕馭巨量資料浪潮，向更高水準的現代化進軍！

　　1980年，托夫勒在《第三次浪潮》中高瞻遠矚地預告：「如果說IBM的主機拉開了資訊化革命的大幕，那麼『巨量資料』則是第三次浪潮的華麗樂章」。現在，巨量資料的「英雄交響曲」已經奏響，新一代的先進生產力和先進生產方式正如東方的太陽冉冉升起！

　　在世界歷史的賽場上，新的競賽已經不依人們的意志而開始，「落後就要挨打」的悲劇再次在中東、北非上演，曾幾何時，那些不可一世的梟雄酋首──海珊、穆巴拉克、格達費，一個一個，相繼倒臺，美國的無人機就像電子遊戲機一樣，定點摧毀了那些用傳統的油彩裝飾起來的偶像。

　　對於處在第二次浪潮與第三次浪潮之間的國家而言，巨量資料發展既有催人向上的力量，也包含鞭笞懈怠的警示：在歷史的關鍵時刻咬緊牙關，迎著第三次浪潮而上，將是東方日出，大國崛起；一旦鬆懈怠惰，就不進則退，落到第二次浪潮之下，與美國的差距，將會迅速達到比GDP占世界第一時的清王朝與英國的差距還大。毋庸置疑，美國鼎力發展巨量資料，其最大的歷史意義，就是讓第三次浪潮把第一次浪潮、第二次浪潮的號角聲淹沒在歷史的沙灘上。

　　實物的積累、貨幣的積累，曾經成為過去時代國力的標誌。而在資訊時代，資料的積累、加工和利用能力將成為綜合國力的新徽章。對於一個國家來說，發展方式轉變只有跟上生產方式轉變的時代步伐，才能保證在更高水準的現代化競爭中不落伍、不挨打。

　　抓住巨量資料的大機會，將在現代化的制高點上，而不僅是GDP 的積累上，提高資訊時代的國際競爭力。本書給我們的第一個啟發是：當代的決策水準，一定要超越過去的決策水準。

　　巨量資料是新型現代化的直接動力

　　中國新四化建設正處在從「工業化不斷加快」到「工業化基本實現」的歷史轉捩點上，全面提高資訊化水準，需要巨量資料這樣的先進生產力來引領。

　　與發達國家不同，中國未來不可避免地要同時完成發展工業時代的生產力與資訊時代生產力的雙重任務。認識巨量資料為代表的先進生產力和先進生產方式具有特別重大的意義。

　　20世紀50年代，台灣曾面對同樣的形勢，要同時發展農業和工業兩種生產力，那時提出「工業為主導、農業為基礎」的方針，促進了社會生產力的雙重發展。歷史經驗具有啟示借鑒意義。

　　企業發展不可能建立在低水準社會生產力體系之上，我們必須清醒地認識到，發展以巨量資料為代表的資訊生產力的緊迫形勢，抓緊從頂層建立巨量資料的國家戰略，使經濟生產力狀況適應世界各國叢林競爭所要求的新的現代化水準，並在此基礎上對經濟生產關係及其相聯繫的經濟運行機制進行改革。堅持資訊化帶動工業化，工業化促進資訊化，實現高水準現代化，才能充分保證國家下一代的國際競爭力。

　　過去台灣經濟基礎還很薄弱時，就毅然提出了以工業為主導的方針，如今工業化已完成，決不能讓以資訊化為主導的舉措步履維艱！本書給我們的第二個啟發是：當代的決策水準，一定不能低於過去的決策水準。

巨量資料是推動現代化轉型的必然選擇

　　本書指出，「巨量資料將改變人類生活生產方式」。這個判斷非常重要。關於發展方式轉變談了多年，但轉變起來如此艱難，其深層次原因在於，生產方式沒有成為敲動轉變的軸心。而當傳統生產方式與舊時代還在依依不捨的時候，新的發展方式就不可能昂首闊步地登堂入室。

　　未來發展需要實現新型工業化、資訊化、都市化和農業現代化，只有抓住生產方式轉變這一關鍵，才能解決發展方式轉變的深層矛盾。資訊化不等於資訊化生產方式。資訊化生產方式是分散式的，如果我們用集中模式做資訊化，就等於在用工業化生產方式從事資訊化，做出的就會是表面文章，就像一個穿著華麗時裝的小腳老太太，一個怪胎。

　　巨量資料將改變人類生活生產方式，可以為現代化提供轉變發展方式的新動力，對現代化帶來意想不到的增量：

　　第一，巨量資料可以強力啟動內需：用舊的方式啟動內需，效果平平。但生產方式一轉，就會出現轉機。2012年阿里巴巴電子商務交易額全年預計達到1.25萬億元，其中三分之一是新啟動的內需。預計到2018年，這一數字會達到7萬億元，相當於每天一個「雙十一」網購的191億元。巨量資料可以深入發掘消費者需求，電子商務在啟動內需方面的潛力，不亞於一個到幾個大區域的內需總量。

　　第二，巨量資料可以推動以智慧城市的新方式發展：舊的方式是向大城市集中，巨量資料將使都市建設走上以資料流通的方式配置資源的新型發展道路，新的生產方式有利於城鄉一體化發展。

　　第三，巨量資料有利於改進政府管理方式：官方網站與民眾建立起24小時的密切聯繫，比週期性的民主選舉更有利於回應民意，為民辦事，走出新路。

　　第四，巨量資料產業將形成新的發展點，包括巨量資料基礎設施建設、資料技術產業、資料擷取業、資料加工業的發展。根據維基（Wikibon）最近發佈的報告，巨量資料市場正處在快速增長的前夕，未來5年全球巨量資料市場價值將達500億美元。

　　巨量資料還將對精緻經濟產生重大影響。IBM的CEO羅睿蘭說：「資料將是下一個大的自然資源，將會區分每個行業的勝者與輸家。」IBM的全球調查顯示：表現優秀的企業使用分析技術的數量比表現較差的企業高5倍。

　　首先，未來以政府、電信、教育、醫療、金融、石油石化和電力等行業為重點的巨量資料應用，將直接拉動整個社會的應用規模。

　　其次，資料業務將成為各行各業的主要業務，圍繞巨量資料，企業將向分析即服務（AaaS）升級轉型，從而改變各行各業的型態。

　　再次，服務得到巨大發展，包含一切以巨量資料為基礎的高附加價值之創新型服務，例如以製造為目的的創客服務（DIY+3D 列印）、以諮詢資料平台為基礎的生活方式設計師服務、以統計資料採擷為基礎的商業分析服務、以設計平台為基礎的創意服務，還有以巨量資料為基礎的設計服務、管理服務、教育服務、市場服務、諮詢服務，以及以行業或價值模組細分為基礎的服務，等等。

　　從民間的巨量資料熱潮可以看出，巨量資料正得到有識之士的廣泛認同，激發民眾自下而上的創造熱情。本書給我們的第三個啟發是：當代企業的決策水準，一定不能低於一般的決策水準，一定要領先市場的知識水準。

　　巨量資料改變世界，要先改變我們的世界觀。不光要改造我們的文化歷史觀，而且要改造我們的技術歷史觀。巨量資料，已經是一張唯物主義的考卷，呈現在我們面前：是奮勇前進，還是停滯不前？是迎難而上，還是畏葸不前？是生存，還是消亡？