本書內容主要圍繞即時大數據系統的各個主題,從即時平台總體介紹到集群程式碼、運算監控、即時系統擴展、以使用者畫像為主的資料平臺,最後到推薦、廣告、搜索等具體的大數據應用。書中提到實際生產環境中因為資料量增長而遇到的一些真實問題,對即將或正在運用即時系統處理大數據資料的團隊會有所幫助。
本書特色:
匯集作者在大眾點評和1號店即時平台的大數據實作方式。
講解以Storm為基礎的流資料處理整體解決方案。
作者簡介:
陳敏敏
1號店個性精準化部門資深架構師,在此之前曾服務於微軟和三星電子等公司,長期從事大數據、搜索和推薦平臺相關工作。目前主要關注於NoSQL、即時計算框架、推薦、廣告投放等相關技術。\
王新春
大眾點評網資料平臺資深工程師,負責點評即時計算平臺相關工作,推動流式計算和即時計算在點評的應用和推廣,一直致力於大數據和分散式系統的研究和應用。目前主要從事NoSQL、即時分散式系統的研究與開發。
黃奉線
1號店基礎架構部分散式存儲團隊負責人,推動流式計算在1號店的應用,獲得CTO特別獎,長期從事基礎架構相關工作。目前主要關注於NoSQL、開源、流式計算、分散式存儲等相關技術。
各界推薦
名人推薦:
大數據會推動訊息服務從全體走向群體,從群體走向個體,本書深入介紹了推薦技術的內涵和挑戰,值得學習和企業技術人員仔細閱讀。
~~周濤,《大數據時代》譯者,電子科技大學大數據研究中心主任
這本書讓我受益,書中的內容匯集了幾位作者在兩家互聯網公司的大數據實踐,相信此書會讓準備從事大數據工作的人少走很多彎路。
~~李鋼江,原Google技術總監,百度大數據部總監,現跟誰學聯合創始人兼CTO
什麼是流式計算?什麼是Storm?Storm有哪些特性以及怎麼使用好Storm,本書會提供相應的答案。以原理介紹加實際項目的形式,有深度有內涵,值得一讀。
~~閏劍鋒,大眾點評數據中心負責人
名人推薦:大數據會推動訊息服務從全體走向群體,從群體走向個體,本書深入介紹了推薦技術的內涵和挑戰,值得學習和企業技術人員仔細閱讀。
~~周濤,《大數據時代》譯者,電子科技大學大數據研究中心主任
這本書讓我受益,書中的內容匯集了幾位作者在兩家互聯網公司的大數據實踐,相信此書會讓準備從事大數據工作的人少走很多彎路。
~~李鋼江,原Google技術總監,百度大數據部總監,現跟誰學聯合創始人兼CTO
什麼是流式計算?什麼是Storm?Storm有哪些特性以及怎麼使用好Storm,本書會提供相應的答案。以原理介紹加實際項目的形式,有...
作者序
本書意在介紹即時大數據的各方面,分享我們在設計即時應用過程中遇到的一些問題,讓一些從零開始建置即時計算平台的公司少走冤枉路。
我們力圖使不同背景的讀者都能從其中獲益。
如果你從事基礎架構方面的工作,可以注重閱讀以下幾章:在第1 章
中,我們整理了許多主要網際網路公司在Storm 應用方面的一些情況;在第2 章中,我們介紹了即時平台的整體架構,隨後引用了大眾點評和1 號店目前即時平台的一些基本情況;在第4 章中,我們列出了原始程式剖析,為了讓不懂Clojure 語言的讀者也能容易地了解Storm 的內部原理,我們配了很多順序圖來描述呼叫邏輯;在第5 章中,我們分享了一些在實作中歸納出來的監控Storm 應用的常用方法;在第6 章中,我們介紹了在Storm 上如何做一些擴充,方便更進一步地維護和管理叢集;在第10 章中,我們主要分享了Storm 的一些小技巧和效能最佳化的經驗。如果你是大數據產品的開發和架構人員,可以注重閱讀後面的幾章,其中分享了我們一年來遇到的一些瓶頸。
如果你是演算法工程師,可以注重了解第8 章和第9 章,裡面的使
用者生命週期模型、即時推薦系統的演算法和架構、千人千面架構等不少內容來自我們的生產實作。設計嚴謹的模型在即時系統上常常會遇到比較大的效能問題,資料量、即時和演算法的精準性是相互限制的,加強某一方面,常常不得不犧牲另外兩個指標。在實際推薦系統的生產環境中,連結規則和協作過濾的推薦效果常常比較好,被廣泛採用,而利用人物誌(Persona),結合地域、天氣等上下文資訊,可以進行一些更加精準的推薦。
目前以使用者畫像為基礎和上下文內容做個性化推薦和搜索、精準化營運和廣告行銷等加強交易額等轉換率,也是很多公司嘗試的方向。
對於網上有的或其他書中介紹過的內容,為適應不同讀者的需求,我們會簡單提及以做一點點過渡。
儘管我們投入了大量的精力來寫這本書,但因為水準所限,書中的內容存在不足和疏漏也在所難免,懇請讀者批評指正。
本書意在介紹即時大數據的各方面,分享我們在設計即時應用過程中遇到的一些問題,讓一些從零開始建置即時計算平台的公司少走冤枉路。
我們力圖使不同背景的讀者都能從其中獲益。
如果你從事基礎架構方面的工作,可以注重閱讀以下幾章:在第1 章
中,我們整理了許多主要網際網路公司在Storm 應用方面的一些情況;在第2 章中,我們介紹了即時平台的整體架構,隨後引用了大眾點評和1 號店目前即時平台的一些基本情況;在第4 章中,我們列出了原始程式剖析,為了讓不懂Clojure 語言的讀者也能容易地了解Storm 的內部原理,我們配了很多順序...
目錄
ch01 緒論
ch02 即時平台介紹
ch03 Storm 叢集部署和設定
ch04 Storm 內部剖析
ch05 Storm 運行維護和監控
ch06 Storm 的擴充
ch07 Storm 開發
ch08 以Storm 為基礎的即時資料平台
ch09 大數據應用案例
ch10 Storm 使用經驗和效能最佳化
附錄A Kafka 原理
附錄B 將Storm 原始程式匯入Eclipse
ch01 緒論
ch02 即時平台介紹
ch03 Storm 叢集部署和設定
ch04 Storm 內部剖析
ch05 Storm 運行維護和監控
ch06 Storm 的擴充
ch07 Storm 開發
ch08 以Storm 為基礎的即時資料平台
ch09 大數據應用案例
ch10 Storm 使用經驗和效能最佳化
附錄A Kafka 原理
附錄B 將Storm 原始程式匯入Eclipse