前 言
第 1 章 概述
1.1 機器學(xué)習(xí)基本流程 /1
1.2 業(yè)界常用算法 /2
1.3 構(gòu)建機器學(xué)習(xí)系統(tǒng) /3
第 2 章 統(tǒng)計學(xué)
2.1 概率分布 /5
2.1.1 期望與方差 /5
2.1.2 概率密度函數(shù) /7
2.1.3 累積分布函數(shù) /10
2.2 極大似然估計與貝葉斯估計 /11
2.2.1 極大似然估計 /11
2.2.2 貝葉斯估計 /13
2.2.3 共軛先驗與平滑的關(guān)系 /15
2.3 置信區(qū)間 /15
2.3.1 t 分布 /16
2.3.2 區(qū)間估計 /17
2.3.3 Wilson 置信區(qū)間 /19
2.4 相關(guān)性 /20
2.4.1 數(shù)值變量的相關(guān)性 /20
2.4.2 分類變量的相關(guān)性 /22
2.4.3 順序變量的相關(guān)性 /27
2.4.4 分布之間的距離 /28
第 3 章 矩陣
3.1 矩陣的物理意義 /30
3.1.1 矩陣是什么 /30
3.1.2 矩陣的行列式 /31
3.1.3 矩陣的逆 /32
3.1.4 特征值和特征向量 /32
3.2 矩陣的數(shù)值穩(wěn)定性 /33
3.2.1 矩陣數(shù)值穩(wěn)定性的度量 /33
3.2.2 基于列主元的高斯{約當(dāng)消元法 /33
3.2.3 嶺回歸 /38
3.3 矩陣分解 /38
3.3.1 特征值分解與奇異值分解 /39
3.3.2 高維稀疏矩陣的特征值分解 /40
3.3.3 基于矩陣分解的推薦算法 /45
3.4 矩陣編程實踐 /46
3.4.1 numpy 數(shù)組運算 /46
3.4.2 稀疏矩陣的壓縮方法 /50
3.4.3 用 MapReduce 實現(xiàn)矩陣乘法 /52
第 4 章 優(yōu)化方法
4.1 無約束優(yōu)化方法 /54
4.1.1 梯度下降法 /54
4.1.2 擬牛頓法 /56
4.2 帶約束優(yōu)化方法 /58
4.3 在線學(xué)習(xí)方法 /61
4.3.1 隨機梯度下降法 /61
4.3.2 FTRL 算法 /63
4.4 深度學(xué)習(xí)中的優(yōu)化方法 /70
4.4.1 動量法 /70
4.4.2 AdaGrad /71
4.4.3 RMSprop /71
4.4.4 Adadelta /71
4.4.5 Adam /72
4.5 期望最大化算法 /72
4.5.1 Jensen 不等式 /73
4.5.2 期望最大化算法分析 /73
4.5.3 高斯混合模型 /77
第 5 章 線性模型
5.1 廣義線性模型 /79
5.1.1 指數(shù)族分布 /79
5.1.2 廣義線性模型的特例 /80
5.2 邏輯回歸模型 /83
5.3 分解機制模型 /84
5.3.1 特征組合 /84
5.3.2 分解機制 /86
5.3.3 分解機制模型構(gòu)造新特征的思路 /87
5.4 基于域感知的分解機制模型 /88
5.5 算法實驗對比 /95
第 6 章 概率圖模型
6.1 隱馬爾可夫模型 /98
6.1.1 模型介紹 /98
6.1.2 模型訓(xùn)練 /101
6.1.3 模型預(yù)測 /102
6.2 條件隨機場模型 /103
6.2.1 條件隨機場模型及特征函數(shù) /103
6.2.2 向前變量和向后變量 /107
6.2.3 模型訓(xùn)練 /110
6.2.4 模型預(yù)測 /111
6.2.5 條件隨機場模型與隱馬爾可夫模型的對比 /112
第 7 章 文本向量化
7.1 詞向量 /113
7.1.1 word2vec /113
7.1.2 fastText /117
7.1.3 GloVe /118
7.1.4 算法實驗對比 /120
7.2 文檔向量 /121
7.2.1 Paragraph Vector /121
7.2.2 LDA /123
第 8 章 樹模型
8.1 決策樹 /130
8.1.1 分類樹 /131
8.1.2 回歸樹 /134
8.1.3 剪枝 /137
8.2 隨機森林 /139
8.3 AdaBoost /140
8.4 XGBoost /141
8.5 LightGBM /146
8.5.1 基于梯度的單邊采樣算法 /147
8.5.2 互斥特征捆綁 /147
8.5.3 Leaf-Wise 生長策略 /148
8.5.4 DART /149
8.6 算法實驗對比 /150
第 9 章 深度學(xué)習(xí)
9.1 神經(jīng)網(wǎng)絡(luò)概述 /154
9.1.1 網(wǎng)絡(luò)模型 /154
9.1.2 反向傳播 /157
9.1.3 損失函數(shù) /158
9.1.4 過擬合問題 /159
9.1.5 梯度消失 /161
9.1.6 參數(shù)初始化 /161
9.2 卷積神經(jīng)網(wǎng)絡(luò) /162
9.2.1 卷積 /162
9.2.2 池化 /165
9.2.3 CNN 網(wǎng)絡(luò)結(jié)構(gòu) /165
9.2.4 textCNN /167
9.3 循環(huán)神經(jīng)網(wǎng)絡(luò) /168
9.3.1 RNN 通用架構(gòu) /168
9.3.2 RNN 的學(xué)習(xí)問題 /170
9.3.3 門控循環(huán)單元 /172
9.3.4 LSTM /174
9.3.5 seq2seq /177
9.4 注意力機制 /179
第 10 章 Keras 編程
10.1 快速上手 /182
10.2 Keras 層 /184
10.2.1 Keras 內(nèi)置層 /184
10.2.2 自定義層 /191
10.3 調(diào)試技巧 /194
10.3.1 查看中間層的輸出 /194
10.3.2 回調(diào)函數(shù) /195
10.4 CNN 和 RNN 的實現(xiàn) /198
第 11 章 推薦系統(tǒng)實戰(zhàn)
11.1 問題建模 /203
11.2 數(shù)據(jù)預(yù)處理 /206
11.2.1 歸一化 /206
11.2.2 特征哈希 /208
11.3 模型探索 /210
11.3.1 基于共現(xiàn)的模型 /210
11.3.2 圖模型 /211
11.3.3 DeepFM /214
11.3.4 DCN /219
11.4 推薦服務(wù) /221
11.4.1 遠(yuǎn)程過程調(diào)用簡介 /221
11.4.2 gRPC 的使用 /223
11.4.3 服務(wù)發(fā)現(xiàn)與負(fù)載均衡 /226
第 12 章 收集訓(xùn)練數(shù)據(jù)
12.1 日志的設(shè)計 /229
12.2 日志的傳輸 /231
12.3 日志的合并 /238
12.4 樣本的存儲 /248
第 13 章 分布式訓(xùn)練
13.1 參數(shù)服務(wù)器 /250
13.2 基于 PS 的優(yōu)化算法 /256
13.3 在線學(xué)習(xí) /259
第 14 章 A/B 測試
14.1 實驗分組 /261
14.2 指標(biāo)監(jiān)控 /266
14.2.1 指標(biāo)的計算 /266
14.2.2 指標(biāo)的上報與存儲 /267
14.2.3 指標(biāo)的展現(xiàn)與監(jiān)控 /269
14.3 實驗結(jié)果分析 /272