現代光譜分析中的化學計量學方法

1 緒論 / 001
1．1 化學計量學概述 001
1．1．1 化學計量學起源、定義和發展歷程 001
1．1．2 化學計量學研究的內容 003
1．1．3 化學計量學方法的必要性 005
1．1．4 應用化學計量學方法需注意的問題 009
1．2 光譜結合化學計量學的分析方法 010
1．2．1 校正模型的建立 010
1．2．2 常規分析 014
1．2．3 方法的特點 014
1．3 現代光譜分析技術的開端——Karl Norris 的貢獻 016
參考文獻 022

2 現代光譜分析技術 / 026
2．1 引言 026
2．2 近紅外光譜 028
2．2．1 微型近紅外分析技術 029
2．2．2 線上近紅外分析技術 030
2．2．3 近紅外光譜標準方法 032
2．3 中紅外光譜 036
2．3．1 可擕式中紅外分析技術 036
2．3．2 線上中紅外分析技術 037
2．4 拉曼光譜 037
2．4．1 傅裡葉拉曼光譜 038
2．4．2 表面增強拉曼光譜 038
2．4．3 共聚焦拉曼光譜 039
2．4．4 空間偏移拉曼光譜 040
2．4．5 透射拉曼光譜 041
2．4．6 可擕式拉曼分析技術 042
2．4．7 光纖拉曼分析技術 043
2．5 紫外-可見光譜 044
2．6 分子螢光光譜 046
2．6．1 三維螢光光譜 046
2．6．2 鐳射誘導螢光光譜 047
2．7 低場核磁共振譜 048
2．8 太赫茲光譜 049
2．9 鐳射誘導擊穿光譜 051
2．10 光譜成像 052
參考文獻 056

3 矩陣和數理統計基礎 / 064
3．1 矩陣基礎 064
3．2 朗伯-比爾定律的矩陣表示 066
3．3 方差和正態分佈 066
3．4 顯著性檢驗 069
3．5 相關係數 070
3．6 協方差與協方差矩陣 071
3．7 多變數的圖標記法 073
3．7．1 樣本的空間表示 073
3．7．2 箱須圖 073
3．7．3 雷達圖 075
參考文獻 077

4 光譜預處理方法 / 079
4．1 均值中心化 079
4．2 標準化 080
4．3 歸一化 080
4．4 平滑去噪 081
4．4．1 移動平均平滑 081
4．4．2 Savitzky-Golay卷積平滑 083
4．4．3 傅裡葉變換和小波變換 084
4．5 連續統去除法 085
4．6 自我調整反覆運算重加權懲罰最小二乘 085
4．7 導數 087
4．7．1 Norris方法 087
4．7．2 Savitzky-Golay卷積求導 087
4．7．3 小波變換求導 089
4．7．4 分數階導數 091
4．8 SNV 和去趨勢 092
4．9 乘性散射校正 094
4．10 向量角轉換 095
4．11 傅裡葉變換 096
4．12 小波變換 098
4．13 圖像矩方法 103
4．14 外部參數正交化 104
4．15 廣義最小二乘加權 105
4．16 載荷空間標準化 106
4．17 斜投影 106
4．18 正交信號校正 106
4．18．1 Wold演算法 107
4．18．2 Fearn演算法 107
4．18．3 DOSC演算法 108
4．18．4 DO 演算法 108
4．18．5 正交信號校正演算法的應用研究 109
4．19 淨分析信號 109
4．20 光程估計與校正 110
4．21 二維相關光譜方法 111
參考文獻 112

5 波長變數選擇方法 / 118
5．1 相關係數和方差分析方法 118
5．2 互動式自模型混合物分析方法 120
5．3 連續投影方法 121
5．4 變數投影重要性方法 122
5．5 無資訊變數消除方法 122
5．6 競爭性自我調整重加權採樣方法 124
5．7 間隔 PLS 方法 124
5．8 移動視窗 PLS 方法 125
5．9 遞迴加權 PLS 方法 126
5．10 全域優化的方法 126
5．10．1 遺傳演算法 126
5．10．2 類比退火演算法 129
5．10．3 粒子群演算法 129
5．10．4 蟻群演算法 130
5．11 反覆運算保留資訊變數方法 131
5．12 其他方法 133
5．13 波長選擇演算法的聯合與融合 133
5．14 光譜預處理和波長選取方法的選擇 134
參考文獻 137

6 光譜降維方法 / 144
6．1 多重共線性問題 144
6．2 主成分分析 146
6．2．1 主成分分析基本原理 146
6．2．2 主成分數的確定 148
6．2．3 主成分分析演算法 149
6．2．4 主成分分析的應用 149
6．2．5 多元分辨交替最小二乘 149
6．2．6 目標波段熵最小化 150
6．2．7 多級同時成分分析 151
6．3 非負矩陣因數分解 152
6．4 獨立成分分析 153
6．5 多維尺度變換 154
6．6 Isomap 方法 155
6．7 局部線性嵌入演算法 156
6．8 t-分散式隨機鄰域嵌入演算法 157
6．9 其他演算法 158
參考文獻 159

7 線性校正方法 / 162
7．1 一元線性回歸 162
7．2 多元線性回歸 162
7．3 濃度殘差增廣最小二乘回歸 163
7．4 逐步線性回歸 164
7．5 嶺回歸 164
7．6 Lasso 回歸 165
7．7 最小角回歸 166
7．8 彈性網路 167
7．9 主成分回歸 168
7．9．1 基本原理 168
7．9．2 選取最佳主因數數的方法 168
7．10 偏最小二乘回歸 171
參考文獻 174

8 非線性校正方法 / 176
8．1 人工神經網路 176
8．1．1 引言 176
8．1．2 BP神經網路及其演算法 179
8．1．3 BP神經網路的設計 182
8．1．4 其他類型的神經網路 184
8．1．5 神經網路參數的優化 185
8．2 支持向量機 186
8．2．1 引言 186
8．2．2 支持向量回歸 190
8．2．3 最小二乘支持向量回歸 192
8．2．4 支持向量回歸參數的優化 193
8．3 相關向量機 194
8．4 核偏最小二乘法 195
8．5 極限學習機 196
8．6 高斯過程回歸 198
參考文獻 200

9 校正樣本的選擇方法 / 203
9．1 引言 203
9．2 Kennard-Stone 方法 206
9．3 SPXY 方法 207
9．4 OptiSim 方法 208
9．5 其他方法 208
參考文獻 210

10 界外樣本的檢測方法 / 212
10．1 校正過程界外樣本的檢測 212
10．2 預測過程界外樣本的檢測 212
10．3 其他檢測方法 214
參考文獻 215

11 定量校正模型的維護更新 / 217
11．1 必要性 217
11．2 遞迴指數加權 PLS 方法 221
11．3 塊式遞迴 PLS 方法 221
11．4 即時學習與主動學習 223
參考文獻 223

12 模式識別方法 / 225
12．1 引言 225
12．2 無監督的模式識別方法 226
12．2．1 相似係數和距離 226
12．2．2 系統聚類分析 228
12．2．3 K-均值聚類方法 229
12．2．4 模糊 K-均值聚類方法 230
12．2．5 高斯混合模型 231
12．2．6 自組織神經網路 232
12．3 有監督的模式識別方法 234
12．3．1 最小距離判別法 234
12．3．2 典型變數分析 234
12．3．3 K-最近鄰法 237
12．3．4 SIMCA 法 238
12．3．5 Logistic回歸 239
12．3．6 Softmax分類器 241
12．3．7 隨機森林 242
12．3．8 回歸方法用於判別分析 244
12．4 光譜檢索演算法及其應用 245
12．4．1 引言 245
12．4．2 光譜檢索基本演算法 246
12．4．3 光譜檢索演算法的改進與應用 248
12．4．4 光譜檢索策略與應用 251
參考文獻 254

13 模型的評價 / 259
13．1 定量校正模型的評價 259
13．1．1 評價參數 259
13．1．2 模型的評價 261
13．1．3 模型的統計報告 266
13．2 模式識別模型性能的評價 266
參考文獻 270

14 提高模型預測能力的方法 / 272
14．1 提高穩健性的建模策略 272
14．2 基於局部樣本的建模策略 273
14．3 集成的建模策略 275
14．3．1 Bagging方法 275
14．3．2 Boosting方法 276
14．3．3 疊加PLS方法 278
14．3．4 堆疊泛化演算法 280
14．4 虛擬樣本建模策略 281
14．5 半監督學習方法 283
14．6 多目標回歸策略 285
參考文獻 285

15 多光譜融合技術 / 290
15．1 融合策略與方法 290
15．2 多塊偏最小二乘方法 294
15．3 序貫正交偏最小二乘方法 295
15．4 多光譜融合的應用研究 296
15．5 展望 300
參考文獻 300

16 多維分辨和校正方法 / 303
16．1 引言 303
16．2 PARAFAC 方法 305
16．3 交替三線性分解方法 306
16．4 多維偏最小二乘法 307
參考文獻 309

17 模型傳遞方法 / 311
17．1 引言 311
17．2 經典演算法 312
17．2．1 SSC演算法 313
17．2．2 Shenk??s演算法 313
17．2．3 DS演算法 313
17．2．4 PDS演算法 313
17．2．5 普魯克分析演算法 315
17．2．6 目標轉換因數分析演算法 315
17．2．7 最大似然主成分分析演算法 315
17．2．8 SBC演算法 316
17．3 經典演算法的改進 316
17．4 演算法新進展 319
17．4．1 CCA 演算法 319
17．4．2 SST演算法 320
17．4．3 ATLD演算法 320
17．4．4 MTL演算法 321
17．4．5 GLS演算法 322
17．4．6 其他演算法 322
17．5 全域模型、穩健模型和模型更新 325
17．6 應用研究進展 329
17．6．1 SBC方法 329
17．6．2 SSC方法 329
17．6．3 Shenk??s方法 330
17．6．4 DS方法 330
17．6．5 PDS方法 331
17．6．6 CCA 方法 333
17．6．7 全域模型的建立 334
17．6．8 其他方法 334
參考文獻 335

18 深度學習演算法 / 354
18．1 棧式自動編碼器 354
18．2 卷積神經網路 357
18．2．1 卷積神經網路的基本構成 357
18．2．2 優化演算法 361
18．2．3 損失函數 362
18．2．4 啟動函數 363
18．2．5 防止過擬合的方法 365
18．2．6 經典的卷積神經網路架構 367
18．2．7 流行的深度學習軟體框架 371
18．2．8 卷積神經網路的設計 372
18．2．9 卷積神經網路的訓練 374
18．2．10 卷積神經網路的優缺點 376
18．2．11 卷積神經網路的應用研究 376
18．3 深度信念網路 383
18．4 遷移學習 385
參考文獻 387

19 化學計量學軟體和工具包 / 391
19．1 引言 391
19．2 軟體的基本構架和功能 391
19．3 常用軟體與工具箱 394
參考文獻 395

20 若干問題的探討 / 398
20．1 不同光譜分析技術的比較 398
20．2 化學計量學方法的選擇 400
20．2．1 多元校正方法的選擇 401
20．2．2 模式識別方法的選擇 401
20．2．3 光譜預處理方法和光譜變數的選擇 403
20．3 模型預測能力影響因素淺析 404
20．3．1 校正樣本的影響 404
20．3．2 基礎資料的影響 406
20．3．3 光譜測量方式的影響 409
20．3．4 光譜採集條件的影響 410
20．3．5 儀器性能的影響 414
20．4 展望 414
參考文獻 416

縮略語表 / 421
後記 / 433

近些年，現代光譜分析技術得到了迅猛發展，該技術的一個關鍵特徵是採用化學計量學方法對光譜資料進行處理，從而盡可能多地獲得定量和定性資訊，顯著提高光譜分析技術的穩健性和準確性。現代光譜分析技術可直接對氣體、液體和固體等各種複雜混合物進行定性和定量分析，具有分析速度快、效率高、可實現無損和線上分析等優勢，目前已被廣泛應用於許多領域，例如農產品、食品、藥物、石油、化工、煙草、環保和醫學等領域，在科研和工農業生產中發揮著越來越重要的作用。
 
十年前，作者曾撰寫《化學計量學方法與分子光譜分析技術》（化學工業出版社，2011）一書，其中扼要地介紹了用於分子光譜分析技術的常用化學計量學方法。近十年來，隨著人工智慧（機器學習和深度學習）、大資料和雲計算等新興科技的飛速發展，為化學計量學注入了新思路、新途徑和新方法，用於光譜分析的新型化學計量學方法如雨後春筍般湧現出來，成為現代光譜分析技術中的重要研究前沿和關鍵技術支撐點，是國內外本領域專家學者重點和熱點的研究方向，集聚著理論創新和應用創新的巨大潛能和機會。
 
本書是《化學計量學方法與分子光譜分析技術》的續篇，主要介紹用於光譜分析的化學計量學方法，主要包括光譜預處理演算法、變數選擇演算法、資料降維演算法、線性和非線性多元定量校正演算法、模式識別演算法、校正樣本選擇演算法、界外樣本識別演算法、模型更新與維護演算法、多光譜融合演算法、模型傳遞演算法及用於三維光譜陣的多維資料分析演算法。書中尤其對近些年興起的深度學習演算法做了重點與深入的講解。本書涉及的光譜分析不僅包括分子光譜（例如近紅外光譜、中紅外光譜、紫外可見光譜、分子螢光光譜、拉曼光譜、太赫茲光譜等），還包括近些年興起的一些原子光譜（例如鐳射誘導擊穿光譜等）。
 
本書不是機器學習和多元統計分析方面的專業書籍，而是從實用光譜分析技術的出發點進行編寫的，其目的是使讀者瞭解用於光譜分析的化學計量學方法及其新進展，力求將這些方法與科研開發和實際應用結合起來，提供值得借鑒的新觀點和新思路。本書力求實用性和完整性，簡化甚至略去繁瑣的數學原理推導等理論性太強的內容，盡可能提供演算法的完整框架知識，讓讀者掌握化學計量學演算法主流知識點和完整脈絡，以期在具體的實際工作中理解好、選好、用好這些方法。在遇到具體問題時，本書分門別類的專業內容非常方便讀者進行查詢和鞏固。本書引用的參考文獻扎實而厚重，如果讀者對某些演算法的推導細節感興趣，可根據相應的參考文獻按圖索驥。
 
本書的出版承蒙劉文清院士和李培武院士的大力推薦，化學計量學奠基人俞汝勤院士欣然為本書作序。科學大家提攜後進的精神，令作者備受鼓舞，在此一併表示最誠摯的感謝。
 
本書在力求全面性和系統性的同時，也盡可能對國內外這一領域的最新研究進展進行歸納評述，並將同行們在實踐中獲得的經驗和體會融入其中。但鑒於化學計量學方法和現代光譜分析技術的快速發展，加之作者知識結構的欠缺和編寫時間所限，書中難免存在疏漏和理解不到位的地方，敬請讀者不吝批評和指正。
 
作者
2021年1月30日