第一部分 基礎知識
第1章 簡介 2
1.1 特徵工程 4
1.2 模型評價 8
1.2.1 度量 8
1.2.2 交叉驗證 10
1.2.3 過擬合 11
1.2.4 維數災難 12
1.3 週期 12
1.3.1 ML週期 13
1.3.2 特徵工程週期 15
1.4 分析 17
1.4.1 探索性數據分析 17
1.4.2 誤差分析 18
1.5 其他過程 20
1.5.1 領域建模 20
1.5.2 特徵構建 22
1.6 討論 24
1.7 擴展學習 26
第2章 特徵組合:歸一化、離散化和異常值 28
2.1 歸一化特徵 29
2.1.1 標準化和去相關性 31
2.1.2 平滑 33
2.1.3 特徵加權 34
2.2 離散化和分箱 35
2.2.1 無監督離散化 36
2.2.2 監督離散化 38
2.3 描述性特徵 41
2.3.1 長條圖 41
2.3.2 其他描述性特徵 43
2.4 處理異常值 44
2.5 技術 46
2.6 擴展學習 47
第3章 特徵擴展:可計算特徵、填充與核技巧 48
3.1 可計算特徵 49
3.2 填充 54
3.3 複雜特徵分解 57
3.4 核操作特徵擴展 59
3.5 擴展學習 62
第4章 特徵縮減:特徵選擇、降維和嵌入 64
4.1 特徵選擇 65
4.1.1 度量 66
4.1.2 組成特徵集:搜索與篩選 73
4.1.3 技術 75
4.2 正則化與嵌入式特徵選擇 77
4.2.1 L2 正則化:嶺回歸 78
4.2.2 L1 正則化:LASSO 78
4.2.3 其他使用嵌入式特徵選擇的演算法 79
4.3 數據降維 80
4.3.1 特徵雜湊 81
4.3.2 隨機投影 82
4.3.3 奇異值分解 82
4.3.4 隱狄利克雷分配 83
4.3.5 聚類 84
4.3.6 其他數據降維技術 85
4.3.7 嵌入 86
4.4 擴展學習 90
第5章 主題:可變長度數據與自動特徵工程 91
5.1 可變長度特徵向量 91
5.1.1 集合 91
5.1.2 列表 92
5.1.3 樹 94
5.1.4 圖 96
5.1.5 時間序列 97
5.2 基於實例的特徵工程 100
5.3 深度學習與特徵工程 102
5.4 自動特徵工程 105
5.4.1 特徵學習 105
5.4.2 無監督特徵工程 108
5.5 擴展學習 109
第二部分 案例研究
第6章 圖數據 113
6.0 本章概述 115
6.1 WikiCities數據集 116
6.2 探索性數據分析 117
6.3 第 一個特徵集 124
6.4 第二個特徵集 130
6.5 終的特徵集 131
6.6 擴展學習 133
第7章 時間戳記數據 134
7.0 本章概述 135
7.1 WikiCities:歷史特徵 137
7.2 時間延遲特徵 139
7.2.1 填充時間戳記數據 139
7.2.2 第 一次特徵化:填充二階延遲數據 140
7.2.3 誤差分析 141
7.3 滑動窗口 142
7.4 第三次特徵化:EMA 143
7.5 使用歷史數據進行擴展 143
7.5.1 第四次特徵化:擴展的數據 144
7.6 時間序列 145
7.6.1 WikiCountries數據集 145
7.6.2 探索性數據分析 146
7.6.3 第 一次特徵化:無TS特徵 149
7.6.5 使用模型預測作為特徵 149
7.6.6 討論 150
7.7 擴展學習 151
第8章 文本數據 153
8.0 本章概述 155
8.1 WikiCities:文本 156
8.2 探索性數據分析 156
8.3 僅數值型記號 159
8.3.1 詞類型與記號 160
8.3.2 分詞:基礎知識 160
8.3.3 第 一次特徵化 161
8.4 詞袋 162
8.4.1 分詞 162
8.4.2 第二次特徵化 163
8.5 停用詞和形態學特徵 165
8.5.1 停用詞 165
8.5.2 分詞:詞幹提取 166
8.5.3 第三次特徵化 166
8.6 上下文特徵 167
8.6.1 二元詞 168
8.6.2 第四次特徵化 169
8.7 跳躍二元詞與特徵雜湊 169
8.7.1 跳躍二元詞 169
8.7.2 第五次特徵化 169
8.8 數據降維與嵌入 170
8.8.1 嵌入 170
8.8.2 特徵加權:TF-IDF 171
8.8.3 第六次特徵化 172
8.9 結束語 172
8.9.1 內容擴展 174
8.9.2 文本中的結構 174
8.10 擴展學習 174
第9章 圖像數據 175
9.0 本章概述 176
9.1 WikiCities:衛星圖像 177
9.2 探索性數據分析 178
9.3 圖元即特徵 179
9.3.1 第 一次特徵化 179
9.3.2 可計算特徵:高斯模糊 180
9.3.3 白化 182
9.3.4 對變動的誤差分析 183
9.4 自動數據集擴展 183
9.4.1 仿射變換 184
9.4.2 第二次特徵化 184
9.5 描述性特徵:長條圖 184
9.6 局部特徵檢測器:角點 185
9.6.1 Harris角點檢測 186
9.6.2 第四次特徵化 186
9.7 數據降維:HOG 187
9.8 結束語 189
9.9 擴展學習 191
第10章 其他領域:視頻、GIS和偏好 192
10.1 視頻 193
10.1.1 數據:螢幕錄製 194
10.1.2 關鍵幀檢測 194
10.1.3 目標跟蹤:均值漂移 195
10.1.4 擴展學習 197
10.2 地理特徵 197
10.3 偏好 199
10.3.1 數據:Linux核心代碼提交 200
10.3.2 填充偏好數據 201
10.3.3 擴展學習 202