大數據大時代：新一代儲存技術及實作

前言

01 企業儲存概述
第1 章 儲存工業演進歷史
1.1 高階儲存系統的演進
1.2 中階儲存興起
1.3 SAN 外接儲存陣列
1.4 NAS 外接儲存陣列 .
1.5 區塊、檔案統一儲存系統
1.6 全Flash 外接儲存陣列
1.7 Server SAN 融合儲存

第2 章 儲存產品架構演進趨勢
2.1 高階儲存架構演進
2.2 中階儲存架構演進

第3 章 企業儲存產品架構及關鍵技術要素簡介
3.1 儲存軟體技術的發展與演進
3.2 高階儲存產品架構及關鍵技術要素簡介
3.3 中階儲存產品硬體及軟體架構分析
3.4 全Flash 架構分析
3.5 企業儲存關鍵技術及特性
3.6 案例：OceanStor V3 融合儲存

02 雲端儲存
第4 章 雲端平台及OpenStack 開放原始碼架構提供的儲存服務縱覽
4.1 雲端平台的儲存介紹
4.2 雲端平台的儲存分類 .
4.3 雲端平台的儲存標準
4.4 OpenStack 開放原始碼領域的雲端平台全景
4.5 本章小結

第5 章 分散式區塊儲存服務
5.1 分散式區塊儲存介紹
5.2 分散式區塊儲存功能和特點
5.3 業界分散式區塊儲存技術
5.4 本章小結

第6 章 分散式物件儲存服務
6.1 分散式物件儲存介紹
6.2 分散式物件儲存功能和特點
6.3 業界分散式物件儲存技術
6.4 本章小結

第7 章 分散式佇列服務
7.1 分散式佇列介紹
7.2 分散式佇列功能和特點
7.3 業界分散式佇列功能和特點
7.4 本章小結

第8 章 分散式儲存系統的可用性
8.1 分散式儲存系統可用性介紹
8.2 分散式儲存系統可用性關鍵技術
8.3 開放原始碼實現分析
8.4 本章小結

第9 章 分散式儲存系統的管理及運行維護
9.1 分散式儲存系統管理運行維護介紹
9.2 分散式儲存對管理的挑戰
9.3 分散式儲存的管理
9.4 分散式儲存的維護
9.5 本章小結

第10 章 針對雲端平台的儲存安全架構系統
10.1 針對雲端平台的儲存安全風險分析
10.2 儲存系統安全解決方案設計原則
10.3 儲存系統安全解決方案架構
10.4 儲存安全解決方案描述
10.5 本章小結

第11 章 雲端平台架構下的企業儲存實作
11.1 華為看SDS
11.2 SDS 與華為OceanStor DJ
11.3 OceanStor DJ
11.4 本章小結

第12 章 案例
12.1 銀行資料中心：支撐業務快速上線
12.2 公安廳警務雲：提供自動化儲存服務
12.3 智慧城市時空雲端平台：提供便捷資料服務

03 資料庫
第13 章 資料庫儲存技術的演進
13.1 資料庫系統概述
13.2 資料庫儲存技術的發展
13.3 資料庫儲存的主要形態
13.4 資料庫儲存的關鍵技術
13.5 資料庫儲存的備份災難恢復
13.6 儲存媒體對未來資料庫儲存的影響
13.7 本章小結

第14 章 傳統資料庫系統架構
14.1 傳統資料庫技術和架構的發展演進
14.2 OLTP 資料庫技術及架構
14.3 OLAP 資料庫技術及架構
14.4 MPP DB 資料庫技術及架構
14.5 傳統資料庫業務發展趨勢
14.6 本章小結

第15 章 資料庫和儲存的融合技術與實作
15.1 資料庫和儲存融合技術概述
15.2 資料庫和儲存融合技術的發展
15.3 資料庫和儲存融合的主要途徑
15.4 資料庫和儲存融合技術的實作
15.5 資料庫和儲存融合技術的發展趨勢
15.6 本章小結

第16 章 新興資料庫技術與實作
16.1 新興資料庫技術和架構發展演進
16.2 NoSQL 資料庫技術及架構
16.3 NewSQL 資料庫技術及架構
16.4 記憶體中資料庫技術及架構
16.5 分散式資料庫技術發展趨勢
16.6 本章小結

第17 章 案例
17.1 案例一：雙活場景下與資料庫的案例
17.2 案例二：中型規模OLAP 類型Oracle 資料庫案例
04 大數據

第18 章 大數據的前世今生
18.1 大數據概念的由來
18.2 什麼是大數據
18.3 我們能用大數據來做什麼
18.4 大數據生態系統及其發展趨勢
18.5 本章小結

第19 章 大數據對儲存系統的挑戰
19.1 大容量(Volume) 的挑戰
19.2 資料多樣化(Variety) 的挑戰
19.3 效能(Velocity) 問題的挑戰
19.4 本章小結

第20 章 大數據儲存技術實作
20.1 資料庫領域
20.2 Apache Hadoop 的儲存元件
20.3 以記憶體為基礎的大數據元件
20.4 商用Hadoop 版本的獨特貢獻
20.5 資料湖泊
20.6 本章小結

第21 章 最佳應用實作案例
21.1 招商銀行利用大數據進行業務創新
21.2 交通管理領域大數據研判系統
21.3 電信業者運用大數據最佳化業務

前言

　　站在2016 年年初的時間節點，我們明顯感覺到了儲存企業正在發生著一場深刻而又影響廣泛的革命。這場革命的起因來自多個方面，其中企業IT 部門越來越多地開始計畫甚至已經部署的雲端運算以及隨著成本的快速下降而快速普及的Flash 儲存是推動儲存變革的兩個最重要推手。

　　儲存企業各方面的重大事件及各大諮詢機構發佈的預測資訊也向這個企業的業內人士及使用者展示了這場革命已經到來，我們有必要為這場革命做出充分而又周全的準備及部署：① 從巨頭們的公司動態看，2015 年10 月DELL 與EMC 670 億美金的收購事件無疑是存儲企業歷史上最大的事件之一，企業巨頭已經明顯感覺到了雲端運算的極大衝擊而採取了抱團取暖、以雲端供應商及服務商的姿態面對市場與客戶；② 從業內權威諮詢機構的預測看，Wikibon、Gartner、IDC 都在其後五年預測中定義了諸如Converge Storage、HyperConvergeStorage 類別的新形態，並預測這種新形態的增長將遠高於傳統的外接儲存產品，這是前幾年在技術上熱炒的SDS 概念在企業IT 的正式落地的預兆；③ 從近兩年各儲存巨頭推出的產品形態看，全Flash 儲存、超融合儲存、SDS，乃至直接針對第三平台環境下的儲存是主要特徵，這類別儲存形態會更強化向上透過軟體定義提升在雲端運算環境下的靈活性、彈性與迅速部署、迅速上線，以及向下構築更為高效的Flash 媒體人性化與最佳化的儲存層。

　　因此，我們一直有個想法，透過一本書的形式，向我們的讀者詳細地解析整個儲存企業的演進脈絡。站在今天的節點上看，它是從哪裡來的，原來是為解決什麼問題而生的，現在又發生了哪些變化，儲存系統需要做出什麼樣的變化來應對這些變化，在偏重技術的同時，理清這些技術、產品要解決的儲存問題，理清技術隨著業務訴求變化而變化的脈絡。

　　本書共分為四篇，實際如下所示。

　　第一篇 企業儲存概述。在本篇，透過回顧儲存工業60 年的演進歷史，尤其是自20 世紀90 年代起開始的近代外接儲存陣列的歷史，我們試圖站在今天的歷史節點上給讀者呈現一幅較生動的儲存工業的演進畫面，讓讀者較為清晰地理清儲存演進的原始訴求，透過怎樣的技術架構及產品解決這些訴求，進而推動工業的發展；透過歷史的分析，為讀者了解及思考後面在新媒體及雲端環境下儲存工業的進一步研究打下基礎。

　　第二篇 雲端儲存。隨著IT 技術的發展， 特別是以Amazon、Microsoft、Google 為代表的互網公有雲端應用，讓使用者可以像使用水、電、瓦斯等基礎設施那樣的方式使用IT 技術，相當大地簡化客戶安裝、部署、運行維護等工作，讓客戶的IT 應用可以快速、敏捷地提供服務，本篇較為系統地介紹了雲端運算環境的典型分散式儲存系統要解決的問題以及其技術架構。

　　第三篇 資料庫。本章以企業到雲端化演進為出發點，探索資料庫從垂直擴充架構向分佈擴充架構的需求變化以及其後對儲存產生的影響。

　　第四篇 大數據。應用集中上雲端，帶來資料進一步集中，這為產品產生智慧的資料以及人決策打下了基礎，網際網路的大數據分析就此產生；大數據的核心是資料的高效、批次處理，這需要高效的儲存系統的支撐，而傳統儲存基本是為結構化資料而生的，即使是像NAS 這樣針對非結構化儲存，也是為人與人之間的交換和共用而生的，本篇將主要介紹大數據儲存的挑戰及應對技術、產品。

　　感謝成書過程中各主要成員全力以赴，感謝華為儲存與我們共事多年的兄弟姐妹，我們患難與共，一起實現共同的夢想。感謝清華大學出版社在本書撰寫過程中提出的寶貴意見。

　　由於部分技術有關商業機密，加上筆者水準有限、時間緊迫，所以書中難免存在謬誤，技術點有關的細節可能描述得還不夠詳盡，懇請讀者批評指正，可將任何意見和建議發送到oceanstor@huawei.com。