文件系統技術內幕：大數據時代海量數據存儲之道

第1章從檔案系統是什麼說起.1
1.1什麼是檔案系統.1
1.1.1普通用戶角度的檔案系統.3
1.1.2作業系統層面的檔案系統.9
1.1.3檔案系統的基本原理.12
1.2常見檔案系統及分類.13
1.2.1本地檔案系統.14
1.2.2偽檔案系統.14
1.2.3網路檔案系統.15
1.2.4集群檔案系統.16
1.2.5分散式檔案系統.16
 
第2章知其然——如何使用檔案系統.17
2.1巧婦之炊——準備開發環境.17
2.2檔內容的訪問——讀/寫檔.18
2.2.1檔案系統的API.18
2.2.2檔訪問的一般流程.19
2.2.3檔內容的讀/寫實例.20
2.2.4關於API函數的進一步解釋.22
2.3如何遍歷目錄中的檔.24
2.4格式化檔案系統與掛載.27
2.5檔案系統與許可權管理.29
2.5.1Linux許可權管理簡介.30
2.5.2設置文件的RWX許可權.31
2.5.3設置文件的ACL許可權.34
2.6檔案系統的鎖機制.37
2.6.1檔鎖的分類與模式.37
2.6.2Linux檔鎖的使用.38
2.7檔案系統的擴展屬性.41
2.8檔的零拷貝.42
2.8.1零拷貝的基本原理.42
2.8.2零拷貝的系統API.44
 
第3章知其所以然——本地檔案系統原理及核心技術.46
3.1Linux檔案系統整體架構簡介.46
3.1.1從VFS到具體檔案系統.48
3.1.2關鍵處理流程舉例.50
3.2本地檔案系統的關鍵技術與特性.61
3.2.1磁碟空間佈局（Layout）.61
3.2.2檔的資料管理.69
3.2.3緩存技術.77
3.2.4快照與克隆技術.82
3.2.5日誌技術.84
3.2.6許可權管理.85
3.2.7配額管理.89
3.2.8文件鎖的原理.91
3.2.9擴展屬性與ADS.92
3.2.10其他技術簡介.94
3.3常見本地檔案系統簡介.95
3.3.1ExtX檔案系統.95
3.3.2XFS檔案系統.95
3.3.3ZFS檔案系統.96
3.3.4Btrfs檔案系統.97
3.3.5FAT檔案系統.98
3.3.6NTFS檔案系統.98
 
第4章從理論到實戰——Ext2檔案系統代碼詳解.99
4.1本地檔案系統的分析方法與工具.99
4.1.1基於文件構建檔案系統.100
4.1.2瞭解函式呼叫流程的利器.100
4.2從Ext2檔案系統磁片佈局說起.102
4.2.1Ext2檔案系統整體佈局概述.102
4.2.2超級塊（SuperBlock）.103
4.2.3塊組描述符（BlockGroupDescriptor）.106
4.2.4塊點陣圖（BlockBitmap）.108
4.2.5inode點陣圖（inodeBitmap）.109
4.2.6inode與inode表.109
4.3Ext2檔案系統的根目錄與目錄資料佈局.113
4.4Ext2檔案系統的掛載.116
4.5如何創建一個檔.117
4.5.1創建普通檔.118
4.5.2創建軟硬連結.121
4.5.3創建目錄.125
4.6Ext2檔案系統刪除檔的流程.125
4.7Ext2檔案系統中檔的資料管理與寫資料流程程.129
4.7.1Ext2檔案系統中的檔資料是如何管理的.129
4.7.2從VFS到Ext2檔案系統的寫流程.130
4.7.3不同寫模式的流程分析.134
4.7.4緩存資料刷寫及流程.138
4.8讀數據的流程分析.140
4.8.1緩存命中場景.141
4.8.2非緩存命中場景.142
4.8.3資料預讀邏輯.143
4.9如何分配磁碟空間.148
4.9.1計算存儲路徑.150
4.9.2獲取存儲路徑.152
4.9.3分配磁碟空間.153
4.10Ext2檔案系統的擴展屬性.154
4.10.1Ext2檔案系統擴展屬性是怎麼在磁片存儲的.154
4.10.2設置擴展屬性的VFS流程.157
4.10.3Ext2檔案系統擴展屬性介面實現.159
4.11許可權管理代碼解析.163
4.11.1ACL的設置與獲取.163
4.11.2ACL許可權檢查.164
4.12檔鎖代碼解析.165
4.12.1flock()函數的內核實現.165
4.12.2fcntl()函數的內核實現.167
 
第5章基於網路共用的網路檔案系統.172
5.1什麼是網路檔案系統.172
5.2網路檔案系統與本地檔案系統的異同.174
5.3常見的網路檔案系統簡析.174
5.3.1NFS檔案系統.174
5.3.2SMB協定與CIFS協定.175
5.4網路檔案系統關鍵技術.175
5.4.1遠端程序呼叫（RPC協議）.176
5.4.2用戶端與服務端的語言——檔案系統協定.177
5.4.3檔鎖的網路實現.178
5.5準備學習環境與工具.179
5.5.1搭建一個NFS服務.179
5.5.2學習網路檔案系統的利器.180
5.6網路檔案系統實例.181
5.6.1NFS檔案系統架構及流程簡析.181
5.6.2RPC協議簡析.185
5.6.3NFS協議簡析.186
5.6.4NFS協議的具體實現.191
5.7NFS服務端及實例解析.203
5.7.1NFSD.203
5.7.2NFS-Ganesha.210
 
第6章提供橫向擴展的分散式檔案系統.216
6.1什麼是分散式檔案系統.216
6.2分散式檔案系統與網路檔案系統的異同.217
6.3常見分散式檔案系統.217
6.3.1GFS.218
6.3.2CephFS.219
6.3.3GlusterFS.219
6.4分散式檔案系統的橫向擴展架構.220
6.4.1中心架構.220
6.4.2對等架構.221
6.5分散式檔案系統的關鍵技術.222
6.5.1分散式資料佈局.222
6.5.2分散式資料可靠性（Reliability）.224
6.5.3分散式資料一致性（Consistency）.228
6.5.4設備故障與容錯（FaultTolerance）.229
6.6分散式檔案系統實例之CephFS.230
6.6.1搭建一個CephFS分散式檔案系統.230
6.6.2CephFS分散式檔案系統架構簡析.231
6.6.3CephFS用戶端架構.234
6.6.4CephFS集群端架構.236
6.6.5CephFS資料組織簡析.239
6.6.6CephFS檔創建流程解析.244
6.6.7CephFS寫資料流程程解析.251
6.7分散式系統實例之GlusterFS.253
6.7.1GlusterFS的安裝與使用.253
6.7.2GlusterFS整體架構簡析.257
6.7.3轉換器與轉換器樹.259
6.7.4GlusterFS資料分佈與可靠性.263
6.7.5GlusterFS用戶端架構與I/O流程.268
6.7.6GlusterFS服務端架構與I/O流程.270
 
第7章百花爭豔——檔案系統的其他形態.272
7.1用戶態檔案系統框架.272
7.1.1Linux中的用戶態檔案系統框架Fuse.272
7.1.2Windows中的用戶態檔案系統框架Dokany.279
7.2物件存儲與常見實現簡析.282
7.2.1從檔案系統到物件存儲.282
7.2.2S3物件存儲簡析.287
7.2.3Haystack物件存儲簡析.288
參考文獻.295

推薦序
 
檔案系統複雜而有趣。檔案系統可以說是電腦軟體系統中最複雜的子系統。登上檔案系統這座高峰，可以一覽眾山小，俯視任何其他複雜的軟體系統。檔案系統使用的資料結構，能夠説明使用者解決各種類型的問題。檔案系統的實現與計算資源管理、記憶體資源管理、網路資源管理相互作用，瞭解這些充滿歷史故事和智慧的技術方案是一個有趣的學習旅程。
 
作者任職于存儲業界的翹楚企業，長期從事統一存儲的研發，是負責檔案系統研發的首席工程師。博觀而約取，厚積而薄發。作者在長期知識的積累下撰寫了本書。“知道”是一種本事，把“知道”講得清楚是另一種本事。本書既包括豐富的檔案系統最前沿知識，其內容講解又通俗易懂。
 
在互聯網與搜尋引擎時代，知識的獲取變得容易和便捷。在自媒體時代，資訊的產生、資訊的多樣性和資訊呈現的品質獲得呈爆炸性增長。在視頻博客時代，文字、圖片、音訊、視頻的多媒體讓知識的展現方式豐富多彩、形象生動。
 
那麼，是否有一本書可以讓人們暫時放下其他事情，花時間來靜靜閱讀呢？這必然是一本極易吸收，學習效率極高的書。閱讀時能讓人因似曾相識而會心一笑，時而讓人因為新收穫而喜悅無比。《檔案系統技術內幕：洞悉海量資料存儲之道》就是帶給你這種體驗的一本書。本書講解透徹，語言平實自然，從檔案系統的初始問題出發，一個問題一個問題地深入，一個知識點一個知識點地介紹，這種剝洋蔥式層層展開，通過層層臺階登山的方式，讀者在閒庭信步之間不斷積累所學的知識，輕鬆掌握檔案系統的知識要點。
 
為了更好地做到知其然更知其所以然，本書除了適當地介紹了代碼，還介紹了方便好用的實驗工具和方法。例如，“第4章.1.1.1基於檔構建檔案系統”主要介紹使用dd命令和loop設備方式，就可以不對自己的電腦做任何改動，類比出一個檔案系統進行實驗。“第4章.1.1.2瞭解函式呼叫流程的利器”主要介紹使用ftrace跟蹤檔案系統的內部API調用情況，有助於讀者理解代碼調用的流程。
 
這些工具和方法類似《庖丁解牛》中庖丁的牛刀和秘訣，讀者可以借此逐步學習檔案系統的知識，瞭解檔案系統的工作原理。相信讀者通過學習本書，不僅可以掌握檔案系統的理論知識，還能從工程實踐中獲取檔案系統實現之精華。
 
DellTechnologies中端存儲部門高級經理高雷
 
前言
 
從最初的檔案系統雛形到現在，檔案系統已經發展了六七十年了。檔案系統的特性變得越來越豐富，適用的場景也越來越多。目前，傳統檔案系統除個別互聯網業務外，基本上能滿足現有各種類型業務的需求。同時，很多應用也都直接構建在檔案系統之上。特別是非結構化的資料，通常都是以檔的形式存儲在檔案系統中的，如音訊、視頻和日誌等。
 
隨著互聯網技術的發展，互聯網應用對傳統檔案系統提出了更高的要求，傳統檔案系統很難滿足互聯網業務的需求。很多互聯網公司基於自身業務特性構建了自己的存儲系統。互聯網存儲系統更多的是基於自己業務特點簡化存儲系統的某些方面，而增強另外一些方面的。比如，對檔案系統附加特性進行弱化，而對性能和擴展性進行增強等。雖然互聯網公司的存儲系統都是一些私有化的存儲系統，但核心
 
技術並沒有太大變化。
 
互聯網領域有很多典型的存儲系統，其中比較著名的有穀歌的GFS、開源產品HDFS、Facebook的Haystack及淘寶的TFS等。每一種存儲系統都是針對其應用進行了特殊的優化，通常只能應用在某種特定的業務模式中。
 
以Haystack存儲系統為例，其主要應用在Facebook社交軟體的照片應用中。
 
照片應用有一個非常典型的特徵是一次寫入、多次讀取、不會修改。而該應用對檔案系統的其他特性則沒有要求，如擴展屬性和快照等。
 
雖然檔案系統具有非常廣泛的應用，但是目前國內並沒有一本系統介紹檔案系統的書籍。作者在學習檔案系統時曾經閱讀了很多電腦書籍，發現它們大多只是對檔案系統進行了比較簡要的介紹。比如，一些作業系統類的書籍，其中某些章節對檔案系統的概念和原理進行了介紹，但距離實踐還有一些差距，特別是與現在互聯網相關的技術相差甚遠。
 
通過學習本書內容，希望讀者能夠對檔案系統技術有一個全面深入的瞭解，並結合原始程式碼進行實例解析。同時，本書對檔案系統在互聯網和雲計算等領域的應用進行了進一步的介紹和原理分析，讓讀者對檔案系統技術在最前沿的應用有所瞭解。
 
主要內容
 
本書分為7章，第1章和第2章主要介紹檔案系統的概念、原理和基本使用，希望讀者能夠對檔案系統有整體、感性的認識。第3章和第4章主要對本地檔案系統的關鍵技術、原理進行介紹，並且結合實例進行代碼分析。本地檔案系統是學習其他檔案系統的基礎，因此這兩章對其進行了詳細的介紹。第5章主要對傳統網路檔案系統進行介紹，並結合NFS的代碼介紹了實現細節。第6章主要對分散式網
 
絡檔案系統進行介紹，並結合目前常用的分散式檔案系統CephFS和GlusterFS介紹了具體實現。第7章主要介紹了檔案系統的其他形態，對目前互聯網應用最廣的物件存儲進行了深入的介紹。
 
讀者對象
 
雖然本書是介紹檔案系統知識的專業書籍，但是並非只針對存儲系統開發人員。
 
軟體發展人員、運維人員和系統架構師等都可以從本書獲得有用的知識。
 
軟體發展人員：理解檔案系統的原理對軟體發展人員如何合理使用檔案系統的相關API會非常有幫助。比如，軟體發展人員不清楚檔案系統緩存的存在，那麼在使用API時可能就不知道如何保證掉電時資料不丟失。
 
運維人員：有一些系統參數是與檔案系統相關的，如當進程打開時最大檔的數量。如果能夠對檔案系統的原理有所瞭解，相信可以幫助運維人員合理地設置系統參數。
 
系統架構師：檔案系統中的很多技術是通用技術，瞭解這些技術可以説明系統架構師進行其他系統的設計，還可以説明系統架構師將檔案系統中的一些技術遷移到其他軟體設計中。
 
軟體及代碼版本
 
本書涉及的軟體比較多，分別是Linux內核、Ceph、GlusterFS和NFS-Ganesha等。本書涉及的Linux內核代碼為5.8版本，涉及的Ceph相關代碼為13.2（Mimic）版本，涉及的GlusterFS相關代碼為release-8版本，涉及的NFS-Ganesha的代碼為2.8.3版本。
 
本書介紹了從本地檔案系統到分散式檔案系統等眾多技術，涉及的技術點比較多。作者在闡述時儘量結合原始程式碼和圖示將相關內容解釋清楚。由於作者水準有限，書中難免存在一些疏漏和不足，希望同行專家和廣大讀者給予批評與指正。
 
特別要感謝電子工業出版社的林瑞和編輯，沒有他的鼓勵和指導，就沒有本書的問世。在撰寫本書的過程中，林瑞和編輯給予了很多非常專業的建議。還要感謝我的好友劉占甯，他對整本書稿進行了很認真的閱讀，無論是遣詞造句，還是技術內容的準確性方面都提出了很多建議，使得本書的內容更加精准。
 
我在撰寫本書時得到了家人，特別是我的妻子路歡歡的很大支持，她承擔了很多的家務，讓我有更多的時間專注寫作。另外，還有很多其他朋友和同事對本書提了建議，在此一併表示感謝！
 
張書寧
2021年11月於北京