博客來
這是一本能指導企業在數字化轉型和數據要素時代通過數據架構用好數據、管好數據、充分發揮數據價值的著作。
從0到1講解了數據架構的技術棧、方法論與落地實踐，揭示了數據架構的底層邏輯，總結了數據架構的核心要素和架構模型，闡述了數據治理、數據資產管理以及數據平臺的搭建等全方位的內容，是作者10餘年數據工作經驗的總結。
本書主要分為五部分：
第一部分：架構基礎，對企業架構的組成要素以及流行的企業架構框架進行了總覽性質的介紹，數據架構是重點；
第二部分：數據架構基礎，詳細講解了數據架構的組成、數據存儲、數據調度與消息傳輸、Lambda架構和Kappa架構以及數據架構的輔助資源組件；
第三部分：數據架構模型，首先介紹了企業內部數據區的劃分與內部數據的流向，然後講解了數據模型的建模策略、步驟和方法，以及維度建模的詳細內容；
第四部分：數據管理，講解了數據架構的核心內容，包括元數據管理、數據質量管理、數據標準管理、數據治理和數據資產管理等的方法和實踐；
第五部分：數據架構實踐，通過離線計算和實時計算兩大場景中的綜合案例，對前面的內容進行了融合，手把手教讀者進行數據架構實踐。
本書內容通俗易懂，注重實踐，不僅濃縮了作者在日常工作中的思考、解決問題的思路，還融入了該領域優秀同行的經驗和實踐，相信對讀者會有一些幫助。
| FindBook |
有 1 項符合
企業級數據架構：核心要素、架構模型、數據管理與平台搭建的圖書 |
 |
企業級數據架構：核心要素、架構模型、數據管理與平台搭建 作者：李楊 出版社：機械工業出版社 出版日期：2024-02-01 語言：簡體中文 規格：平裝 / 325頁 / 19 x 26 x 1.63 cm / 普通級/ 1-1 |
| 圖書館借閱 |
| 國家圖書館 | 全國圖書書目資訊網 | 國立公共資訊圖書館 | 電子書服務平台 | MetaCat 跨館整合查詢 |
| 臺北市立圖書館 | 新北市立圖書館 | 基隆市公共圖書館 | 桃園市立圖書館 | 新竹縣公共圖書館 |
| 苗栗縣立圖書館 | 臺中市立圖書館 | 彰化縣公共圖書館 | 南投縣文化局 | 雲林縣公共圖書館 |
| 嘉義縣圖書館 | 臺南市立圖書館 | 高雄市立圖書館 | 屏東縣公共圖書館 | 宜蘭縣公共圖書館 |
| 花蓮縣文化局 | 臺東縣文化處 |
|
|
圖書介紹 - 資料來源：博客來 評分：
圖書名稱：企業級數據架構：核心要素、架構模型、數據管理與平台搭建
內容簡介
作者介紹
李楊
資深數據架構師，在數據相關領域有10年以上工作經驗。頭部保險資管公司科技平臺交易系統團隊開發組負責人，負責多個應用以及數據平臺的建設、優化以及遷移工作。曾擔任某數據公司技術合夥人，負責多個金融機構的數據倉庫或數據平臺相關的工作。
在數據質量管理、數據治理等領域有著非常深厚的積累，熟悉不同行業的數字化轉型。此外，他還是一名經驗豐富的應用工程師，對大數據、數據庫以及主流的技術棧有著非常深入的瞭解。
2022年被集團評為“優秀架構師”，積極參與行業內部的相關課題研究，是《保險問道
之保險資管數字化探索》一書的執筆人之一，是中資協《金融科技賦能保險資管風險管控的研究》課題核心組成員之一。
資深數據架構師，在數據相關領域有10年以上工作經驗。頭部保險資管公司科技平臺交易系統團隊開發組負責人，負責多個應用以及數據平臺的建設、優化以及遷移工作。曾擔任某數據公司技術合夥人，負責多個金融機構的數據倉庫或數據平臺相關的工作。
在數據質量管理、數據治理等領域有著非常深厚的積累，熟悉不同行業的數字化轉型。此外，他還是一名經驗豐富的應用工程師，對大數據、數據庫以及主流的技術棧有著非常深入的瞭解。
2022年被集團評為“優秀架構師”，積極參與行業內部的相關課題研究，是《保險問道
之保險資管數字化探索》一書的執筆人之一，是中資協《金融科技賦能保險資管風險管控的研究》課題核心組成員之一。
目錄
序
自序
前言
第一部分 架構基礎
第1章 企業架構概述 3
1.1 企業架構 4
1.2 Zachman框架 4
1.2.1 Zachman框架的維度 4
1.2.2 Zachman框架的特點 5
1.2.3 Zachman框架的使用 6
1.3 TOGAF 6
1.3.1 TOGAF完善架構過程 7
1.3.2 框架核心：ADM 8
1.4 業務架構 9
1.4.1 業務架構的價值 9
1.4.2 業務架構的關鍵點 10
1.5 數據架構 11
1.5.1 數據架構設計 12
1.5.2 數據架構核心組成 12
1.6 總結 13
第二部分 數據架構基礎
第2章 數據架構構成 18
2.1 數據模型 18
2.2 元數據 19
2.3 數據質量 20
2.4 數據標準 21
2.5 數據治理 21
2.6 數據資產 22
2.6.1 數據管理 22
2.6.2 數據倉庫 22
2.6.3 數據湖 23
2.6.4 數據資產內涵 23
2.7 數據生命週期 24
2.7.1 數據創建 25
2.7.2 數據使用 25
2.7.3 數據歸檔 26
2.7.4 數據銷毀 26
2.8 數據分佈 27
2.8.1 數據存儲 27
2.8.2 數據訪問 27
2.9 常見數據架構技術選型 28
2.9.1 Lambda 28
2.9.2 Kappa 29
2.10 數據調度 30
2.11 總結 30
第3章 數據存儲 31
3.1 數據存儲基礎 32
3.1.1 計算機組成基礎結構 32
3.1.2 數據存儲核心概念 35
3.1.3 OLTP與OLAP場景 37
3.2 集中式數據庫 38
3.2.1 常見關係型數據庫 38
3.2.2 分庫分表 39
3.3 分布式數據庫 40
3.3.1 大規模並行處理技術 40
3.3.2 分布式事務 41
3.4 大數據存儲 43
3.4.1 HDFS 43
3.4.2 Yarn 44
3.4.3 Hive 44
3.4.4 HBase 45
3.4.5 Spark及Spark Streaming 46
3.5 特定領域存儲 46
3.5.1 ClickHouse 46
3.5.2 Elasticsearch 48
3.6 實時計算階段 49
3.7 總結 49
第4章 數據調度與消息傳輸 50
4.1 通用技術選型 50
4.2 Airflow調度平臺 52
4.2.1 Airflow基礎概念 52
4.2.2 Airflow架構 54
4.2.3 Airflow與其他調度平臺對比 55
4.3 DataX數據同步工具 56
4.3.1 DataX基礎概念 56
4.3.2 DataX數據同步 57
4.3.3 DataX優化 59
4.3.4 DataX與其他數據同步工具對比 60
4.4 Kafka消息中間件 62
4.4.1 Kafka基礎概念 62
4.4.2 Kafka架構概述 63
4.4.3 Kafka高性能原理 63
4.4.4 Kafka與其他中間件對比 67
4.5 總結 68
第5章 Lambda架構與Kappa架構 69
5.1 架構演進 69
5.1.1 傳統數據倉庫架構 70
5.1.2 傳統大數據架構 71
5.1.3 流式計算架構 72
5.1.4 Lambda架構 73
5.1.5 Kappa架構 74
5.2 Lambda架構詳解 75
5.2.1 架構解析 76
5.2.2 核心組件 78
5.2.3 數據流向 81
5.3 Kappa架構詳解 82
5.3.1 架構解析 82
5.3.2 核心組件 85
5.3.3 數據流向 87
5.4 Lambda與Kappa對比 87
5.5 流批一體化 89
5.6 總結 90
第6章 輔助類應用體系介紹 91
6.1 資源管理 91
6.1.1 開源堡壘機JumpServer 92
6.1.2 部署與負載均衡 92
6.1.3 核心概念 94
6.1.4 最佳實踐 95
6.2 資源及組件監控 95
6.2.1 開源監控系統Prometheus 96
6.2.2 可視化系統Grafana 98
6.2.3 告警模塊AlertManager 100
6.2.4 小結 101
6.3 應用監控 102
6.3.1 應用鏈路監控Pinpoint 102
6.3.2 原理與組件介紹 103
6.3.3 最佳實踐 104
6.3.4 小結 106
6.4 日誌監控 107
6.4.1 ELK 107
6.4.2 直連式日誌收集架構 107
6.4.3 高併發日誌收集架構 108
6.5 總結 109
第三部分 數據架構模型實踐
第7章 企業數據區與數據流向 113
7.1 數據區概述 113
7.2 數據區詳解 115
7.2.1 操作型數據區 115
7.2.2 集成型數據區 116
7.2.3 分析型數據區 117
7.2.4 歷史數據區 118
7.3 企業數據流向 119
7.3.1 操作型數據區數據流向 119
7.3.2 集成型數據區數據流向 120
7.3.3 分析型數據區數據流向 121
7.3.4 歷史數據區數據流向 122
7.4 企業數據分層 123
7.5 企業集成型數據區層級 124
7.5.1 數據緩衝層 125
7.5.2 數據貼源層 126
7.5.3 標準模型層 127
7.5.4 整合模型層 127
7.5.5 數據集市層 128
7.6 互聯網公司的集成型數據區分層特點 129
7.7 總結 130
第8章 數據模型架構詳解 131
8.1 為什麼要建模 132
8.2 建模策略 134
8.2.1 數據緩衝層建模策略 135
8.2.2 數據貼源層建模策略 135
8.2.3 標準模型層建模策略 136
自序
前言
第一部分 架構基礎
第1章 企業架構概述 3
1.1 企業架構 4
1.2 Zachman框架 4
1.2.1 Zachman框架的維度 4
1.2.2 Zachman框架的特點 5
1.2.3 Zachman框架的使用 6
1.3 TOGAF 6
1.3.1 TOGAF完善架構過程 7
1.3.2 框架核心：ADM 8
1.4 業務架構 9
1.4.1 業務架構的價值 9
1.4.2 業務架構的關鍵點 10
1.5 數據架構 11
1.5.1 數據架構設計 12
1.5.2 數據架構核心組成 12
1.6 總結 13
第二部分 數據架構基礎
第2章 數據架構構成 18
2.1 數據模型 18
2.2 元數據 19
2.3 數據質量 20
2.4 數據標準 21
2.5 數據治理 21
2.6 數據資產 22
2.6.1 數據管理 22
2.6.2 數據倉庫 22
2.6.3 數據湖 23
2.6.4 數據資產內涵 23
2.7 數據生命週期 24
2.7.1 數據創建 25
2.7.2 數據使用 25
2.7.3 數據歸檔 26
2.7.4 數據銷毀 26
2.8 數據分佈 27
2.8.1 數據存儲 27
2.8.2 數據訪問 27
2.9 常見數據架構技術選型 28
2.9.1 Lambda 28
2.9.2 Kappa 29
2.10 數據調度 30
2.11 總結 30
第3章 數據存儲 31
3.1 數據存儲基礎 32
3.1.1 計算機組成基礎結構 32
3.1.2 數據存儲核心概念 35
3.1.3 OLTP與OLAP場景 37
3.2 集中式數據庫 38
3.2.1 常見關係型數據庫 38
3.2.2 分庫分表 39
3.3 分布式數據庫 40
3.3.1 大規模並行處理技術 40
3.3.2 分布式事務 41
3.4 大數據存儲 43
3.4.1 HDFS 43
3.4.2 Yarn 44
3.4.3 Hive 44
3.4.4 HBase 45
3.4.5 Spark及Spark Streaming 46
3.5 特定領域存儲 46
3.5.1 ClickHouse 46
3.5.2 Elasticsearch 48
3.6 實時計算階段 49
3.7 總結 49
第4章 數據調度與消息傳輸 50
4.1 通用技術選型 50
4.2 Airflow調度平臺 52
4.2.1 Airflow基礎概念 52
4.2.2 Airflow架構 54
4.2.3 Airflow與其他調度平臺對比 55
4.3 DataX數據同步工具 56
4.3.1 DataX基礎概念 56
4.3.2 DataX數據同步 57
4.3.3 DataX優化 59
4.3.4 DataX與其他數據同步工具對比 60
4.4 Kafka消息中間件 62
4.4.1 Kafka基礎概念 62
4.4.2 Kafka架構概述 63
4.4.3 Kafka高性能原理 63
4.4.4 Kafka與其他中間件對比 67
4.5 總結 68
第5章 Lambda架構與Kappa架構 69
5.1 架構演進 69
5.1.1 傳統數據倉庫架構 70
5.1.2 傳統大數據架構 71
5.1.3 流式計算架構 72
5.1.4 Lambda架構 73
5.1.5 Kappa架構 74
5.2 Lambda架構詳解 75
5.2.1 架構解析 76
5.2.2 核心組件 78
5.2.3 數據流向 81
5.3 Kappa架構詳解 82
5.3.1 架構解析 82
5.3.2 核心組件 85
5.3.3 數據流向 87
5.4 Lambda與Kappa對比 87
5.5 流批一體化 89
5.6 總結 90
第6章 輔助類應用體系介紹 91
6.1 資源管理 91
6.1.1 開源堡壘機JumpServer 92
6.1.2 部署與負載均衡 92
6.1.3 核心概念 94
6.1.4 最佳實踐 95
6.2 資源及組件監控 95
6.2.1 開源監控系統Prometheus 96
6.2.2 可視化系統Grafana 98
6.2.3 告警模塊AlertManager 100
6.2.4 小結 101
6.3 應用監控 102
6.3.1 應用鏈路監控Pinpoint 102
6.3.2 原理與組件介紹 103
6.3.3 最佳實踐 104
6.3.4 小結 106
6.4 日誌監控 107
6.4.1 ELK 107
6.4.2 直連式日誌收集架構 107
6.4.3 高併發日誌收集架構 108
6.5 總結 109
第三部分 數據架構模型實踐
第7章 企業數據區與數據流向 113
7.1 數據區概述 113
7.2 數據區詳解 115
7.2.1 操作型數據區 115
7.2.2 集成型數據區 116
7.2.3 分析型數據區 117
7.2.4 歷史數據區 118
7.3 企業數據流向 119
7.3.1 操作型數據區數據流向 119
7.3.2 集成型數據區數據流向 120
7.3.3 分析型數據區數據流向 121
7.3.4 歷史數據區數據流向 122
7.4 企業數據分層 123
7.5 企業集成型數據區層級 124
7.5.1 數據緩衝層 125
7.5.2 數據貼源層 126
7.5.3 標準模型層 127
7.5.4 整合模型層 127
7.5.5 數據集市層 128
7.6 互聯網公司的集成型數據區分層特點 129
7.7 總結 130
第8章 數據模型架構詳解 131
8.1 為什麼要建模 132
8.2 建模策略 134
8.2.1 數據緩衝層建模策略 135
8.2.2 數據貼源層建模策略 135
8.2.3 標準模型層建模策略 136
|
