大數據管理系統 (電子書)-FindBook 找書網 ISBN:9786263321021

內容簡介

　　大數據管理技術涉及了大數據管理的各個方面，包括資料儲存、資料查詢、資料治理、資料整合、資料處理、資料分析、資料視覺化。傳統關聯資料庫的一站式服務已經無法滿足大數據領域的資料處理需求。一方面，以網際網路應用爲代表的大數據應用產生的龐大數據量超出了傳統工具的處理能力；另一方面，異構資料源和種類繁多的大數據應用對資料處理和資料查詢提出了諸多靈活性需求，這些需求大多不易透過傳統的SQL查詢來實現。爲解決資料量大和資料處理需求多樣性所帶來的挑戰，大數據管理技術發展出了一系列革新的資料管理技術。

　　本書詳細討論大數據管理技術的各個分支及其實現技術，包括大數據建模技術、大數據儲存和索引技術、大數據查詢處理技術、大數據交易技術和大數據匯流排技術，並在此基礎上，對大數據應用系統進行了全面分析。

　　本書面向大數據應用的開發人員、大數據管理系統的開發人員以及大數據管理技術的研究人員，也適用於高等院校相關專業師生學習。

作者介紹

編者簡介

陳剛

　　大學計算機科學與技術學院教授，博士生導師。主要研究方向為資料庫、大數據處理、雲端運算、CPS系統等。擔任了包括資料庫領域TOP會議VLDB在內的近十個國際會議程式委員，以及TKDE、VLDBJ、TPDS、JCST等國際期刊的評審專家。

第1 篇大數據管理系統基礎

第1 章大數據技術簡介
1.1 大數據技術的起源
1.2 大數據與雲端運算
參考文獻

第2 章大數據管理系統架構
2.1 大數據管理系統不能採用單一架構
2.1.1 大數據的5V 特徵
2.1.2 關聯資料庫系統架構的缺陷
2.2 基於Hadoop 生態系統的大數據管理系統架構
2.2.1 Hadoop 簡介
2.2.2 HDFS 分散式文件系統
2.2.3 MapReduce 資料處理系統
2.3 面向領域的大數據管理系統
2.3.1 什麼是面向領域的大數據管理系統
2.3.2 面向領域的大數據管理系統架構
參考文獻

第3 章大數據模型
3.1 關聯資料模型
3.1.1 關聯資料模式
3.1.2 關聯大數據儲存模型
3.1.3 查詢語言
3.1.4 典型系統
3.2 鍵值資料模型
3.2.1 鍵值資料模式
3.2.2 鍵值資料儲存模型
3.2.3 查詢語言
3.2.4 典型系統
3.3 列族資料模型
3.3.1 列族資料模式
3.3.2 列族資料儲存模型
3.3.3 查詢語言
3.3.4 典型系統
3.4 文件資料模型
3.4.1 文件資料模式
3.4.2 文件資料儲存模型
3.4.3 查詢語言
3.4.4 典型系統
3.5 圖資料模型
3.5.1 圖資料模式
3.5.2 圖資料儲存模型
3.5.3 查詢語言
3.5.4 典型系統
參考文獻

第4 章大數據應用開發
4.1 大數據應用開發流程
4.2 大資料庫設計
4.2.1 頂層設計
4.2.2 資料儲存格式
4.2.3 資料模式設計
4.2.4 元資料管理
4.2.5 元資料儲存
參考文獻

第2 篇大數據管理系統實現技術

第5 章大數據儲存和索引技術
5.1 大數據儲存技術
5.1.1 分散式文件系統
5.1.2 關聯資料儲存
5.1.3 列族大數據儲存技術
5.2 大數據索引技術
5.2.1 系統概述
5.2.2 CG 索引
參考文獻

第6 章大數據查詢處理技術
6.1 大數據批處理技術
6.1.1 MapReduce 技術簡介
6.1.2 基於MapReduce 的多表連接技術
6.2 大數據串流處理技術
6.2.1 系統設計動機與需求
6.2.2 MillWheel 程式模型
6.2.3 MillWheel 程式設計介面
6.2.4 運算
6.2.5 鍵
6.2.6 流
6.2.7 持久態
6.2.8 低水位
6.2.9 定時器
6.3 大圖資料處理技術
6.3.1 Pregel 大圖處理系統
6.3.2 系統實現
6.3.3 GRAPE 大圖處理系統
6.4 混合大數據處理技術
6.4.1 背景介紹
6.4.2 EPIC 框架概述
6.4.3 模型抽象
6.4.4 實現方案與技術細節
6.4.5 實驗
6.5 群組查詢處理技術
6.5.1 簡介
6.5.2 群組查詢的非侵入式方法
6.5.3 群組查詢基礎
6.5.4 群組查詢引擎COHANA
6.5.5 性能分析
6.5.6 總結
參考文獻

第7 章大數據交易技術
7.1 基於鍵組的交易技術
7.1.1 鍵組
7.1.2 鍵值分組協議
7.1.3 系統實現
7.2 基於時間戳的交易技術
7.2.1 Spanner 交易簡介
7.2.2 TrueTime 應用介面
7.2.3 基於時間戳的交易
7.3 確定性分散式交易技術
7.4 基於資料遷移的交易技術
7.4.1 LEAP
7.4.2 L-Store
參考文獻

第8 章大數據匯流排技術
8.1 爲什麼需要大數據匯流排
8.1.1 兩個複雜性問題
8.1.2 從N-to-N 到N-to-One
8.2 基於日誌的資料匯流排
8.2.1 資料庫中的日誌
8.2.2 分散式系統中的日誌
8.3 Kafka 系統簡介
8.3.1 單個分區的效率
8.3.2 分散式協調
8.3.3 交付保證
參考文獻

第3 篇面向領域應用的大數據管理系統

第9 章面向決策支持的雲展大數據倉儲系統
9.1 決策支持簡介
9.2 雲展大數據倉儲系統架構
9.2.1 雲展大數據倉儲系統總覽
9.2.2 SINGA 分散式深度學習平臺
9.2.3 CDAS 衆包資料分析系統
9.3 應用實例
9.3.1 簡介
9.3.2 綜合醫療分析系統架構
9.3.3 聯合患者檔案
9.3.4 案例分析：患者返院預測
參考文獻

第10 章面向大規模軌跡資料的分析系統TrajBase
10.1 軌跡資料處理系統簡介
10.1.1 軌跡資料處理技術簡介
10.1.2 集中式軌跡資料處理系統
10.1.3 分散式多維資料處理系統
10.1.4 分散式時空資料處理系統
10.2 軌跡概念介紹
10.3 TrajBase 系統架構
10.4 軌跡資料處理技術
10.4.1 軌跡資料表達技術
10.4.2 軌跡資料儲存技術
10.4.3 軌跡資料索引和查詢技術
10.4.4 軌跡資料探勘技術
參考文獻

第11 章基於超圖的互動式圖像檢索與標記系統HIRT
11.1 圖像檢索與標記方法簡介
11.1.1 基於文字的圖片檢索方法
11.1.2 基於內容的圖片檢索方法
11.1.3 基於超圖的圖片檢索方法
11.2 HIRT 系統架構
11.2.1 超圖構建
11.2.2 矩陣運算
11.2.3 Top-k 查詢
11.3 互動式圖像檢索技術
11.3.1 平行查詢方法
11.3.2 近似查詢方法
11.3.3 互動式查詢方法
參考文獻

看更多

序

　　作為過去十年裡最重要的資訊技術，大數據技術深刻影響了人們生活的各種層面。如今，從在家購物到出門叫車，從投資理財到金融風控，從健康管理到公共安全，人們無時無刻不在使用各種大數據。在大數據引領的資訊時代下，如何有效管理大數據，從大數據中擷取有價值的資訊，提升組織者的決策水準，發現新的利潤成長點，成爲各界持續關注和廣泛研究的重要課題。大數據管理技術已經成爲網際網路等行業的核心競爭力之一。

　　本書從大數據管理技術產生的歷史背景出發，對大數據管理技術的起源和發展進行了全面介紹，詳細討論大數據管理技術，包括大數據建模技術、大數據儲存和索引技術、大數據查詢處理技術、大數據交易技術和大數據匯流排技術等，並在此基礎上，對大數據應用系統進行了全面分析。

　　本書採取理論與實踐並重的方式介紹大數據管理技術。在理論層面，力求覆蓋面廣，涵蓋大數據管理技術的所有重要分支。在具體技術層面，力求深入淺出，重點介紹技術產生的應用背景，以及該技術解決應用中痛點問題的基本原理。對技術實現細節感興趣的讀者，可以透過書中列出的引文，從原始文獻中擷取相關資訊。在實踐層面，本書透過三章內容，具體介紹大數據管理技術如何應用於實際的大數據應用系統。希望這樣的安排，能夠滿足不同層面的讀者對大數據管理技術的研習需求。

　　本書面向大數據應用的開發人員、大數據管理系統的開發人員以及大數據管理技術的研究人員，也適用於大專院校相關專業師生學習。本書要求讀者具有一定的電腦基礎和資料庫相關知識。希望本書在幫助讀者了解大數據技術發展的同時，能夠爲相關領域的工作者在進行大數據系統開發時提供借鑒。

看更多