第一部分 機器學習基礎

第1章 數(shù)學預備知識 2
1.1 度量空間 2
1.2 向量空間 3
1.3 巴拿赫空間與希爾伯特空間 4
1.4 概率空間 7
1.5 矩陣代數(shù) 8
1.5.1 Kronecker積 10
1.5.2 矩陣與向量微積分 11
1.6 凸優(yōu)化基礎 12
1.6.1 基本概念 12
1.6.2 凸集與凸函數(shù) 14
1.6.3 次微分 15
1.6.4 凸共軛 16
1.6.5 拉格朗日對偶公式 18
1.7 習題 20
第2章 線性與核分類器 22
2.1 引言 22
2.2 硬間隔線性分類器 23
2.2.1 可分離情況的最大間隔
分類器 23
2.2.2 對偶公式 25
2.2.3 KKT條件與支持向量 26
2.3 軟間隔線性分類器 27
2.4 采用核SVM的非線性
分類器 29
2.4.1 特征空間中的線性
分類器 29
2.4.2 核技巧 30
2.5 圖像分類的經典方法 31
2.6 習題 32
第3章 線性回歸、邏輯回歸與
核回歸 34
3.1 引言 34
3.2 線性回歸 34
3.3 邏輯回歸 36
3.3.1 對數(shù)概率與線性回歸 36
3.3.2 使用邏輯回歸進行
多分類 37
3.4 嶺回歸 38
3.5 核回歸 39
3.6 回歸中的偏差-方差權衡 41
3.7 習題 43
第4章 再生核希爾伯特空間與
表示定理 44
4.1 引言 44
4.2 再生核希爾伯特空間 45
4.2.1 特征映射和核 46
4.2.2 再生核希爾伯特空間的
定義 47
4.3 表示定理 49
4.4 表示定理的應用 50
4.4.1 核嶺回歸 50
4.4.2 核SVM 51
4.5 核機器的優(yōu)缺點 53
4.6 習題 53
第二部分 深度學習的構成要素

第5章 生物神經網(wǎng)絡 56
5.1 引言 56
5.2 神經元 56
5.2.1 神經元解剖 56
5.2.2 信號傳輸機制 57
5.2.3 突觸可塑性 58
5.3 生物神經網(wǎng)絡 59
5.3.1 視覺系統(tǒng) 60
5.3.2 Hubel-Wiesel模型 60
5.3.3 Jennifer Aniston細胞 61
5.4 習題 62
第6章 人工神經網(wǎng)絡與反向傳播 64
6.1 引言 64
6.2 人工神經網(wǎng)絡 64
6.2.1 符號約定 64
6.2.2 單個神經元建模 65
6.2.3 多層前饋神經網(wǎng)絡 67
6.3 人工神經網(wǎng)絡訓練 68
6.3.1 問題描述 68
6.3.2 優(yōu)化器 69
6.4 反向傳播算法 72
6.4.1 反向傳播算法的推導 72
6.4.2 反向傳播算法的幾何
解釋 75
6.4.3 反向傳播算法的變分
解釋 75
6.4.4 局部變分公式 77
6.5 習題 78
第7章 卷積神經網(wǎng)絡 80
7.1 引言 80
7.2 現(xiàn)代卷積神經網(wǎng)絡發(fā)展
簡史 81
7.2.1 AlexNet 81
7.2.2 GoogLeNet 81
7.2.3 VGGNet 83
7.2.4 ResNet 83
7.2.5 DenseNet 84
7.2.6 U-Net 84
7.3 卷積神經網(wǎng)絡的基礎構件 85
7.3.1 卷積 85
7.3.2 池化與反池化 87
7.3.3 跳躍連接 89
7.4 訓練卷積神經網(wǎng)絡 90
7.4.1 損失函數(shù) 90
7.4.2 數(shù)據(jù)劃分 90
7.4.3 正則化 91
7.5 卷積神經網(wǎng)絡可視化 92
7.6 卷積神經網(wǎng)絡的應用 94
7.7 習題 95
第8章 圖神經網(wǎng)絡 98
8.1 引言 98
8.2 數(shù)學基礎 100
8.2.1 定義 100
8.2.2 圖同構 100
8.2.3 圖著色 101
8.3 相關工作 102
8.3.1 詞嵌入 102
8.3.2 損失函數(shù) 105
8.4 圖嵌入 105
8.4.1 矩陣分解方法 106
8.4.2 隨機游走方法 106
8.4.3 神經網(wǎng)絡方法 107
8.5 WL同構測試與圖神經
網(wǎng)絡 109
8.5.1 WL同構測試 109
8.5.2 圖神經網(wǎng)絡作為WL
測試 110
8.6 總結和展望 111
8.7 習題 111
第9章 歸一化和注意力 113
9.1 引言 113
9.2 歸一化 115
9.2.1 批量歸一化 115
9.2.2 逐層和實例歸一化 116
9.2.3 自適應實例歸一化 117
9.2.4 白化與著色變換 119
9.3 注意力 120
9.3.1 代謝型受體：生物學
類比 120
9.3.2 空間注意力的數(shù)學建模 121
9.3.3 通道注意力 123
9.4 應用 124
9.4.1 StyleGAN 124
9.4.2 自注意力GAN 125
9.4.3 注意力GAN 126
9.4.4 圖注意力網(wǎng)絡 127
9.4.5 Transformer 128
9.4.6 BERT 130
9.4.7 GPT 133
9.4.8 視覺Transformer 135
9.5 歸一化與注意力的數(shù)學
分析 136
9.6 習題 138

第三部分 深度學習的高級主題

第10章 深度神經網(wǎng)絡幾何學 141
10.1 引言 141
10.2 實例探究 142
10.2.1 單隱層感知器 142
10.2.2 框架表示 143
10.3 卷積小波框架 146
10.3.1 卷積與Hankel矩陣 146
10.3.2 卷積小波框架展開 148
10.3.3 與卷積神經網(wǎng)絡的
聯(lián)系 148
10.3.4 深度卷積小波框架 150
10.4 卷積神經網(wǎng)絡的幾何學 152
10.4.1 非線性的作用 152
10.4.2 非線性是歸納學習的
關鍵 153
10.4.3 表達能力 153
10.4.4 特征的幾何意義 154
10.4.5 自編碼器的幾何理解 159
10.4.6 分類器的幾何理解 161
10.5 尚待解決的問題 161
10.6 習題 163
第11章 深度學習優(yōu)化 164
11.1 引言 164
11.2 問題描述 164
11.3 Polyak-?ojasiewicz型收斂性
分析 165
11.4 Lyapunov型收斂性分析 169
11.4.1 神經正切核 171
11.4.2 無限寬極限的神經正
切核 172
11.4.3 一般損失函數(shù)的神經正
切核 173
11.5 習題 174
第12章 深度學習的泛化能力 175
12.1 引言 175
12.2 數(shù)學基礎 175
12.2.1 Vapnik-Chervonenkis界 178
12.2.2 Rademacher復雜度界 180
12.2.3 PAC貝葉斯界 183
12.3 利用雙下降模型協(xié)調泛化
?鴻溝 184
12.4 歸納偏置優(yōu)化 187
12.5 基于算法魯棒性的泛化界 188
12.6 習題 190
第13章 生成模型與無監(jiān)督學習 192
13.1 引言 192
13.2 數(shù)學基礎 193
13.3 統(tǒng)計距離 196
13.3.1 f散度 196
13.3.2 Wasserstein度量 197
13.4 最優(yōu)傳輸 199
13.4.1 Monge原始公式 199
13.4.2 Kantorovich公式 200
13.4.3 熵正則化 202
13.5 生成對抗網(wǎng)絡 203
13.5.1 GAN的最初形式 203
13.5.2 f–GAN 205
13.5.3 Wasserstein GAN 207
13.5.4 StyleGAN 208
13.6 自編碼器型生成模型 208
13.6.1 ELBO 209
13.6.2 變分自編碼器 209
13.6.3 β–VAE 212
13.6.4 歸一化流與可逆流 213
13.7 通過圖像翻譯進行無監(jiān)督
?學習 216
13.7.1 Pix2pix 216
13.7.2 CycleGAN 217
13.7.3 StarGAN 219
13.7.4 協(xié)同GAN 222
13.8 總結與展望 224
13.9 習題 224
第14章 總結與展望 226
附錄A 專業(yè)術語中英文對照表 228
參考文獻 234