推薦序一
衝擊社會文化的大趨勢∕張善政
「海量資料」(Big Data)就是過去沒辦法儲存、分析,但今天已可以駕馭管理的資料,是資訊產業裡最夯的新名詞;而更令各方垂涎的,是其背後隱藏的龐大商機。誰先開發出海量資料的創新應用,就可以領先對手。但是海量資料的衝擊層面絕對不僅於此,商業價值只是其冰山的一角。
讓我們退一步,從歷史與文化層面來想。人類的歷史,乃是把過去先人的活動加以有系統的串接。「史前」,就是沒有文字可以記載歷史的年代;「不可考」,就是文字紀錄已經喪失的歷史。歷史記錄的對象,以達官文人等成就顯赫人士為主,一般的庶民並沒有機會成為歷史記載的對象,充其量就是在家譜中的一個名字。
今天,一個人的行蹤透過手機定位可以全程追蹤、電子行事曆記錄了這個人的重要活動、信用卡與儲值卡記錄了這個人的消費行為、健保系統記錄了這個人大半的健康就醫資料,再加上這個人主動在社群網路上記載的形形色色活動,試想還有什麼資訊是不能記錄、掌握的?這會造就何等情境?舉其一,升斗小民的資料一樣會被記錄,也可以成為歷史的一部分。難怪國外有人提議全民用推特(twitter)寫歷史!
我們已經到了一個個人資訊爆炸的時代,而拜資訊技術之賜,這些資料都可以長期地記錄、保存,對個人、企業、政府都蘊藏了高度的應用價值。當然,利之所趨,就如網際網路的發展,先有電子商務、才有顛覆極權政治的社群網站;海量資料的衝擊首先會出現在商業行為上,其次就是政治、社會與文化。賣場業者要推測一個固定購物客戶的家庭組成與飲食習慣絕非難事;電信業者透過基地台的手機註冊紀錄推算客戶日常行蹤,也是輕而易舉;政府可以透過特定醫療用品的銷售資訊,鎖定年長者社會福利的重點區域。這裡面夾雜了商業動機,也可以擴展到政治與社會目的。所以,海量資料不是單單資訊業者的事,更是社會有識之士必須深入了解的大趨勢。
這真是一個充滿了想像空間的時代!政府施政如能藉海量資料掌握潛在需求,必能促進施政的滿意度,故本人實非常樂見《雲端時代的殺手級應用:Big Data海量資料分析》這本書的問世。伴隨者政府推動雲端運算,政府與民間必須合力推動海量資料的運用,國家社會才能均衡的進步。本書提出許多海量資料的應用案例,藉此應該能擴展我們的想像空間,刺激我們舉一反三的能力。期待以我們國人的智慧,能藉本書拋磚引玉發展出具本土特色、揚名國際的應用。
(作者為行政院政務委員、前Google亞太營運總監)
推薦序二
錢大群
隨著每一次的技術革命都意味著外部環境的大幅改變,而企業也必須跟著轉型,否則很快就會在時代的巨輪下消逝。而轉型,以IBM自身來說,有超過100年的經驗可以分享。
經過前50年的迅速發展,到1970年代的時候,IBM已經是在計算機行業裡非常成功的公司,但是1980年代之後,IBM犯了一系列的錯誤,在1993年陷入最低谷,甚至瀕臨破產。
市場的翻轉,讓我們走上一條不斷地改變自己,去適應環境變化的轉型和創新之路。1993年之後,IBM歷經了三次重大的轉型,第一次轉型是從硬體轉向軟體和服務,第二次轉型則是出售了PC業務,向高價值業務轉型。2004年之後,整合全球企業和智慧的地球,讓IBM每年節約開支10億美元,每股盈利連續8年、36個季度以兩位數字成長。而今,我們其中90%的利潤來自軟體和服務,而不是來自硬體。
過去10年,大環境改變是很大的,尤其在金融危機以後。然而,成功的時代裡也有失敗的企業,即便是在最困難的環境裡也有非常成功的企業,唯有轉型和創新,才有能力駕馭這些外來的影響。
2012年,IBM在全球調查了1709位企業CEO,了解他們對互聯經濟大格局之下企業如何持續轉型的看法,發現CEO們並不滿足於IT運用僅止於整合供應鏈和後端辦公系統,而是希望充分發揮海量資料和互聯科技的潛力,重新思考人與人互聯後對企業帶來的價值。
有超過一半的CEO認為,在新時代裡要轉型創新,必須建立廣泛的夥伴關係,進行充分的協作。超過70%的CEO認為,企業必須建立強大的業務分析洞察能力,從而能夠深入理解每一個客戶,對於他們的需求做出快速反應,以個性化服務贏得客戶。也有75%的CEO認為,在新的互聯時代背景下,社交媒體的影響愈來愈大,必須有新的人才戰略。
這些來自績優企業的三項最重要的發現,代表著企業必須建立更加開放的文化,抓住世界進入計算新紀元的趨勢和契機,挖掘出海量資料中有價值的洞察,而這些洞察也將成為企業創新的源泉,以及和客戶一起智慧成長的能力。
尤其在現今的環境裡,數據量的爆發和以前完全不一樣,我們的資料有90%是過去兩年創造出來的,到了2020年的時候,全世界要消化的數據量是現在的44倍以上。為什麼有那麼大的數據源?除了傳統企業掌握的數字,每天都有各式各樣數據在傳輸的社交網站之外,也包括物聯網連接起來以後,即便養一頭牛、養一頭豬都有晶片,都會產生的無數數據。
今天的數據已經不是我們用傳統的方式,把數字打進計算機處理一下就得到報表,而是在感知化(instrumented)、物聯化(interconnected)和智能化(intelligent)的交會下,就好像把調節水量的三道閘門同時開啟一樣,遍及各處的數據量,從原本的潺潺細流匯流成磅礡大川,再傾洩灌入一片無邊無際的數據海。
而企業可以在這片數據汪洋中安全地航向目的地,還是被巨浪吞沒,就是這本書要談的主要議題,在這個命題之下,這本書裡所談的海量資料,並不只是一門新技術,更是以大量的資料為基礎,進行業務分析、預估與洞察的創新能力。
在這個變動的環境中、資料爆炸的時代下,全世界經濟正在重組。未來,有70%的增長來自新興市場,會有30億人口成為新的中產階級,帶動全球供應鏈發生新的變化,這個重組過程對企業來說,既是機會也是挑戰。
如果能把大量的資料,用科學化的方式做到更優化的預估,那麼在面對複雜環境所帶來的諸多挑戰下,不管是企業或政府能運用這些經過提煉的智慧,創造新的成長機遇以及全新的價值。
誠如書中所說,這已經不是一個簡單的資料增加問題,而是一場量變形成質變的變革,衷心期盼在巨變之後的新世界裡,我們都會是搭上發現者號的一員,持續往創新的方向航行。
(作者為IBM大中華區總裁)
推薦序三
連女神卡卡都愛用的新技術∕黃慧珠
每一天在Facebook上的IBM Taiwan專頁裡,都會提供一則最新訊息分享給大家,趁著工作空檔,我也會滑滑手機,看看同仁的「小編報報」或「藍血生活」,今天又提供了什麼有趣的資訊或新知。
長達九天的春節連假裡,IBM Taiwan專頁裡的一則文章攫取了我的注意力,標題是「Big Data's Surprising Uses: From Lady Gaga To CIA」(海量資料令人意想不到的應用:從女神卡卡到CIA)。
我想,十之八九的讀者都和我一樣好奇,女神卡卡和Big Data之間究竟有什麼關係?在流行樂界,女神卡卡不僅是全球粉絲最多的歌手,也是本世紀以來最具話題性的演藝「產品」,包括哈佛商學院、歐洲管理和技術學院(European School of Management and Technology)、安特衛普大學管理學院(UAMS)都曾經將她當作創意產業的MBA課程研究案例。
在被問及這位另類藝人的哪些地方值得企業學習時,這些名校老師的回答是:女神卡卡善用社群媒體營造自己的粉絲圈,以及利用各種平台不斷炒作自己。而這個成功策略的推動者就是她的業務經理卡特(Troy Carter),和他打造的新商業模式。
卡特認為,當你在推特上有超過3100萬追隨者、在臉書上被按了5100萬個讚時,這代表的是你擁有比地球上任何一個人都還要多的龐大粉絲團,但5100萬個讚並不意味著5100萬張CD或演唱會門票,你得知道這些人是誰,怎麼賺錢和持續促進明星的高人氣。
於是,卡特運用了海量資料分析,處理這些大規模、結構各異和高度複雜的資料,從這些龐大的資料中找到最具有吸引力的方法,成立了「Littlemonsters.com」這個微型社群平台,讓這一百萬個忠實的「小怪獸」成為女神卡卡各項活動的鐵票,維持100%的未來收入。
媒體這麼形容,每個成功男人的背後,都應該有一個女人;而在每一個成功的藝人背後,肯定有一個天才的經理。或許這麼說會更加適當,卡特是一個懂得「資料價值」的天才經理。
IBM估計,每一天從各種各樣感測器、社群媒體和數十億的移動設備中流出的資料量高達25億GB(Gigabyte,吉位元組),其中的90%為非結構性資料,而這些非結構化資料將會佔據IT最大比例的工作負載量。
今天,全球網路人口已超過20億人,光是中國就有5.5億,而台灣則有1100萬人經常上網,等於佔了人口數的一半。全球手機用戶有60億,光是中國移動用戶就達到6.5億人,而台灣的行動電話更是超過3000萬支,等於平均每個人擁有1.3支,2012年手機上網用戶高達535萬人,比2011年成長一倍。
因應而生的海量資料帶動了2012年280億美元的全球IT支出,2013年帶動之IT支出規模可望進一步增至340億美元,國際研究暨顧問機構Gartner研究更顯示,其中針對社群網路分析和內容分析新增的支出比重高達45%。
這樣的衝擊不僅是在ICT產業,而是在各行各業。電子商務、移動電子商務和社群媒體帶來的變革,讓跨界競爭日益嚴重,以往的製造商搖身一變成為消費市場上的新對手,投入一億元的廣告費效果卻比不上100則的消費者網路留言,在在顯示著直接與用戶端接觸的智慧終端時代已然來臨。
另一方面,自2007年起,全世界有超過一半的人口生活在城市之中,到2050年全球城市人口將達到總人口的70%以上,大規模的城市化也使得環境、氣候、能源等各方面的規劃和發展愈來愈困難。
企業該如何維持有機式的創新(organic innovation),以找到未來的成長動能?政府和公部門如何才能讓城市的生活環境和公共服務有更高的品質?這是我們規劃這本書最主要的目的,也是IBM為什麼以「智慧的地球」作為人類社會發展願景的主要原因。
2013年3月,新北市會與IBM高階領導人團隊一起為城市的公共安全,建構一個更智慧的藍圖,而屏東縣也將與IBM團隊針對能源議題進行討論及規劃,這是台灣邁向智慧城市的開端。同時,我們也幫助台灣幾家商業銀行,透過IBM顧問諮詢服務以及商業分析解決方案,藉由先進的分析和精確地區分客戶群,有效提升行銷活動的回應率達60至80%,不僅大幅提升行銷活動的效率,也是台灣企業邁向智慧商務的開始。其他包括醫療、交通、能源、製造、金融、電信、零售、娛樂業等,利用海量資料分析擷取商業洞察力(insights),創造出新商業模式的成功案例,也在台灣和全球持續開展中。
海量資料是一個正在發生的事實,而運用海量資料分析將會是一個開啟你我新視界的新世界,如果連女神卡卡都已經開始用它,而你又如何能不開始了解它呢?
(作者為台灣IBM公司總經理)
推薦序四
一個由資料組成的人與世界∕戴季全
「過去兩年,人們製造的資料就佔了當今全球資料總量的90%。」
這筆資料,有三個觀點值得被「特別提示」:
一、 資料增生的速度。
Big Data以這樣的速度逼近到我們面前。如果我們把兩年以前的文明累積基數以兩百年為限,意味著我們只用了近百分之一的時間,就創造了九成以上的資料。速度快到我們甚至來不及找出一個確定的中文翻譯,叫做:巨量資料、大數據、大資料、還是海量資料。我們就急於需要這些新的理解、新的應用,面對新的可能,還要面對新的危險。
二、個人資料的隱私。
從個人的角度來看,我們從未被如此清楚地紀錄過。我們的基本行為其實沒有劇烈的改變,還是要吃穿,還是要交通,還是需要有住的地方,也還是需要娛樂和教育。即便我們有時候用冷漠來面對,政治依然是我們關心的事,即便我們有愈來愈長的壽命,用醫療來抵抗死亡依然是我們每天的企圖。
但我們從來沒有被如此詳實地被紀錄著。我們在什麼特定時間去了哪間餐廳、在某一個信義計劃區的商場待了三個小時,看了一場動作類型的3D電影,平均消費額超過新台幣六千元,因為某支新的智慧型手機上市帶動本月消費多了三萬元。哪個地點上車,哪一站下車。台北市五月的GDP因為天氣比往年多雨少了14%。購物推薦的演算法除了推薦商品,相同的演算法也可以應用在類似基因的族群,把你可能會罹患的疾病推薦給你。這些資料,正以新的速度,揭露各種新的理解。
公領域和私領域的界限模糊更不只發生在臉書等社交網絡,這些資料的歸屬、誰能用什麼樣的方式紀錄什麼、如何應用或交易這些資料,更正在加劇衝擊我們以往所熟悉的隱私。提升,或者破壞我們的生活。
三、資料所帶來的權力。
我們還缺乏一個允許或不允許、哪些政府或企業、在什麼情況下、可以或不可以紀錄和使用、哪些資料到什麼程度,的成熟理解與機制。
從另外一個面向來看,擁有資料的組織,會比沒有資料的組織擁有更大的權力。擁有資料規模較大的組織,會比擁有資料規模較小的組織擁有更大的權力。擁有較完整的資料的組織,會比擁有較不完整資料的組織擁有更大的權力。擁有更即時資料的組織,會比擁有更不即時資料的組織擁有更大的權力。擁有消費者信任、主動提供資料的組織,會比缺乏消費者信任、背後蒐集資料的組織,擁有更大的權力。
數據被大量地釋放出來,權力便被大量地釋放出來。知識被大量地創造出來,權力便被大量地創造出來。
缺乏這些數據的組織、缺乏能力將數據加值為知識的組織,就缺乏和這個世界互動的基礎,就無能成為這個新世界的一部分。
資訊焦慮只是個人遭受資訊時代衝擊產生的課題,那只是前菜。
歡迎來到瀰漫「資料焦慮」的大數據時代。
(作者為《TechOrange科技報橘》創辦人暨發行人、
《WIRED國際中文版》創刊總編輯)
導讀
人類生活的下一塊拼圖
早在幾年前,海量資料(Big Data)的相關話題就已在科技界發酵,當時大家著重的是技術層面,希望開發更先進的軟硬體,更有效的儲存、利用這些因應網路時代而不斷產生的資料。但是,海量資料(Big Data)之所以重要,絕不是更先進的數據資料採集而已,因此每當討論這個議題時,我總是一再地強調,我們要探討的主題叫做「海量資料分析」(Big Data Analytics)。
誠如本書所提到的,海量資料真正的價值在於趨勢背後所包含的「分析學」(Analytics),也就是以系統化的方式,把從不同管道獲得的大量資料,轉變為經過組織的資訊、甚至知識;這就像是一個人同時擁有聽覺、視覺、味覺和觸覺一樣,將這些「感覺」綜合起來,才能感知到我們身處的每一個瞬間,然後因應各種狀況,做出適當的反應。
尤其是在這一個愈來愈「平」、愈變愈「小」的世界裡,人與人、人與環境之間的連結愈來愈緊密,交互影響力也愈來愈大,人們開始意識到在這個世界上生活,沒有人可以置身事外,無論好事或是壞事,就比如說這幾年的金融危機、能源短缺、環境污染、食品安全等風險,都已經不再是區域性問題,而是實實在在地影響著各個國家、各個階層的每一個人。
同時,透過手機、網路、感測器(sensor)等資料化系統,讓人類歷史上第一次,幾乎任何東西都可以數位化地被測量,各種創新的感應科技大量被嵌入汽車、家電、公路、水利、電力等設施當中,加上網路的高速發展,使得愈來愈多的人、物品、環境可以被建構成一個互聯互通的系統。
從資料裡挖出新需求
發展海量資料分析的意義是將這些大量增生的新資料,透過分析工具形成新的洞察,進而提早在變化莫測的世界裡預知風險,以追求更美好安全的生活,所以它不只是新科技,而是一種新生活型態的前導,而這種新的生活形態,對於人類文明的發展來說意義深遠。
如果我們不論時間軸次序去回顧人類文明的發展進程,目前為止已發生了三種類型的革命,背後的原因大都是為了提高生產力。第一類型的分子是「需要花的時間」,分母是「地理上相隔的距離」,人類希望花在交通時間上的數值愈來愈小,也就是不管距離有多遠,花的時間要愈來愈短,所以我們發明了新的道路系統和運輸工具,從馬車、火車一直到飛機。
第二種類型的分子是「生產量」,分母則是「一定的人口數」。人類希望這個數值可以愈來愈大,因此本來我們一天只有八小時的日光時間用來工作、生產,發明了電燈以後,現在我們一天的生產時間可能增加到十四小時以上。又或者是電冰箱和洗衣機的發明,是因為過去的社會結構,家庭需要女性來照顧,沒有電冰箱以前,女性得每天去買菜;沒有洗衣機以前,女性得到井邊或河邊洗衣服,因此過去的女性就被綁在家裡,直到有了家電的輔助,女性才有餘力投入生產,因此「電氣化」在近代史上也是一個很大的改變。
當整個生產的時間縮短、數量變大,我們還希望它品質穩定,因此人類又發明了電腦,來幫助人類做一些重複的事情,例如抄寫、填表,也因此電腦最早的應用都是我們現在每天要用的文書處理(word document)和試算表(spreadsheet),之後逐漸發展成可以幫人類處理很多繁瑣又精細的重複性工作,像是設備、機床等儀器,藉由「設備化」把人為的不穩定性控制到最低。
從利用交通工作縮短時空距離、利用電氣產品增加生產量,一直到利用儀器設備優化生產品質,下一階段人類文明的發展又會朝哪裡前進?其實,不管是兩千年前、八百年前、一百年前,人類的基本需求都沒有改變,我們追求更美好的生活,所以想辦法提升了物質上的需求,但不要忘記,還有另一部分也是亙古不變的,那就是人們心靈上的需求。
從歷史上看,今天很多的改變都是為了標準化,以提高生產力,但上帝創造每一個人的天性都不一樣,所以不管iPhone賣得有多好,就是會有人不想和大家一樣使用它,這種獨特性代表著在每一個人的心裡面,都有一個需要去填補的空虛,因此除了標準化之外,愈來愈多企業注意到每一個人內在個性化的不同需要。
舉個最簡單的例子來說,一間會議室裡原本只有兩個人,當另外兩個人加入討論,溫度開始升高,這時候空調是不是應該開始調整?調整到幾度對人體才會最舒適?如果中途有人離開,或是有人的情緒愈來愈激動,那麼空調系統又該如何因應?滿足這些個性化的不同需要,在科技、商業以及社會中都是正在進行中的實驗過程(ongoing experimentation),也是人類文明發展中另一個進程的開始。
經歷了銅器時代、鐵器時代、原子時代和計算機時代,現在我們正在進入爆發的「資料時代」,如果縮小了時間軸(time frame)來看,每一次的大變化都是文明發展中的一次革命,但如果拉長來看,這些革命一樣還是在解決人類提升物質和心靈的需求,海量資料分析的出現也是如此。
如何利用大量的資料分析、洞察,讓人們的基本生活需要以及心靈需要,和這個世界的管理結合起來,是我們希望海量資料能夠做到的應用和服務,而技術的演進則是幫助這件事情發生的推動力。
拼出未來的樣貌
所以,在這本書裡我們並沒有提供很深入的技術,而是希望以「科普」的方式讓更多人了解,如何利用海量資料分析幫助你的企業、組織,甚至生活。尤其是當你可以用即時(real time)或近乎即時的速度,整合來自不同管道的龐雜資料,並運用強大的計算能力分析和挖掘,那麼趨勢(Trend)就不再只是像素,而是一塊有意義的拼圖。
海量資料分析可以幫助我們拼湊,甚至預測趨勢的發生軌跡,表面上看來是幫助產業找到新的方向,但是這本書所要傳遞更深層的意義是,希望這項新技術可以形成一股由資料分析帶動的正向迴圈,讓更多人具備相關的知識跟技能,成為這個世界更良善的幫助,引領著你我的生活走向一個更美好的新境地。