本書采用獨特的一問一答式風格，探討了當今機器學習和人工智能領域中最重要的30 個問題，旨在幫助讀者了解最新的技術進展。全書共分為五個部分：神經(jīng)網(wǎng)絡與深度學習、計算機視覺、自然語言處理、生產與部署、預測性能與模型評測。每一章都圍繞一個問題展開，不僅針對問題做出了相應的解釋，并配有若干圖表，還給出了練習供讀者檢驗自身是否已理解所學內容。
本書適合機器學習初學者以及相關從業(yè)者和研究人員閱讀。
大佬作者：本書由GitHub項目LLMs-from-scratch（star數(shù)40.2k）作者、大模型獨角獸公司Lightning AI工程師傾力打造；
行業(yè)大咖推薦：本書獲得了多位行業(yè)大咖的推薦，包括Deep (Learning) Focus網(wǎng)站作者Cameron R. Wolfe，AI Engineering一書作者、Claypot AI聯(lián)合創(chuàng)始人Chip Huyen，維基媒體基金會機器學習主管Chris Albon，How AI Works一書作者Ronald T. Kneusel等；
一問一答式風格：書中采用一問一答式風格，探討了當今人工智能領域中最重要的30個問題，讓讀者能夠更輕松入門大模型、更透徹解決制作大模型中所遇見的問題和瓶頸；
配套資源豐富：60道練習及其答案 部分源代碼。
塞巴斯蒂安·拉施卡（Sebastian Raschka） 威斯康星大學麥迪遜分校統(tǒng)計學副教授，專注于機器學習和深度學習研究。他擁有密歇根州立大學的博士學位，在計算生物學領域提出了幾種新的計算方法，曾被科技博客Analytics Vidhya評為GitHub上極具影響力的數(shù)據(jù)科學家之一。他在Python編程方面擁有多年經(jīng)驗，同時還多次參加數(shù)據(jù)科學應用與機器學習領域的研討會。暢銷書《Python機器學習》和Machine Learning with PyTorch and Scikit-Learn的作者。
第一部分 神經(jīng)網(wǎng)絡與深度學習
第1章 嵌入、潛空間和表征 2
1.1 嵌入 2
1.2 潛空間 4
1.3 表征 4
1.4 練習 5
1.5 參考文獻 5
第2章 自監(jiān)督學習 6
2.1 自監(jiān)督學習與遷移學習 6
2.2 使用無標簽數(shù)據(jù) 8
2.3 自預測與對比自監(jiān)督學習 8
2.4 練習 10
2.5 參考文獻 10
第3章 小樣本學習 12
3.1 數(shù)據(jù)集與術語 12
3.2 練習 14
第4章 彩票假設 15
4.1 彩票假設的訓練流程 15
4.2 實際意義與局限性 16
4.3 練習 17
4.4 參考文獻 17
第5章 利用數(shù)據(jù)來減少過擬合現(xiàn)象 18
5.1 常用方法 18
5.1.1 采集更多數(shù)據(jù) 18
5.1.2 數(shù)據(jù)增強 19
5.1.3 預訓練 20
5.2 其他方法 20
5.3 練習 21
5.4 參考文獻 21
第6章 通過改進模型減少過擬合現(xiàn)象 23
6.1 常用方法 23
6.1.1 正則化 23
6.1.2 選擇更小的模型 25
6.1.3 集成方法 26
6.2 其他方法 27
6.3 選擇正則化技術 28
6.4 練習 28
6.5 參考文獻 28
第7章 多GPU訓練模式 30
7.1 訓練模式 30
7.1.1 模型并行 30
7.1.2 數(shù)據(jù)并行 31
7.1.3 張量并行 31
7.1.4 流水線并行 32
7.1.5 序列并行 33
7.2 建議 34
7.3 練習 34
7.4 參考文獻 34
第8章 Transformer架構的成功 36
8.1 注意力機制 36
8.2 通過自監(jiān)督學習進行預訓練 37
8.3 大規(guī)模參數(shù) 38
8.4 輕松并行化 38
8.5 練習 39
8.6 參考文獻 39
第9章 生成式AI模型 40
9.1 生成式模型與判別式模型 40
9.2 深度生成式模型的類型 41
9.2.1 能量模型 41
9.2.2 變分自編碼器 42
9.2.3 生成對抗網(wǎng)絡 43
9.2.4 流模型 43
9.2.5 自回歸模型 44
9.2.6 擴散模型 45
9.2.7 一致性模型 46
9.3 建議 47
9.4 練習 47
9.5 參考文獻 47
第10章 隨機性的由來 48
10.1 模型權重初始化 48
10.2 數(shù)據(jù)集采樣與重排 49
10.3 非確定性算法 49
10.4 不同運行時的算法 50
10.5 硬件與驅動程序 51
10.6 隨機性與生成式AI 51
10.7 練習 53
10.8 參考文獻 53
第二部分 計算機視覺
第11章 計算參數(shù)量 56
11.1 如何計算參數(shù)量 56
11.1.1 卷積層 57
11.1.2 全連接層 58
11.2 實際應用 59
11.3 練習 60
第12章 全連接層和卷積層 61
12.1 當卷積核與輸入大小相同時 62
12.2 當卷積核大小為1時 63
12.3 建議 63
12.4 練習 63
第13章 ViT架構所需的大型訓練集 64
13.1 CNN中的歸納偏置 64
13.2 ViT可以比CNN表現(xiàn)得更好 67
13.3 ViT中的歸納偏置 67
13.4 建議 68
13.5 練習 69
13.6 參考文獻 69
第三部分 自然語言處理
第14章 分布假設 72
14.1 Word2vec、BERT和GPT 73
14.2 假設成立嗎 74
14.3 練習 75
14.4 參考文獻 75
第15章 文本數(shù)據(jù)增強 76
15.1 同義詞替換 76
15.2 詞語刪除 77
15.3 詞語位置交換 77
15.4 句子亂序 77
15.5 噪聲注入 78
15.6 回譯 78
15.7 合成數(shù)據(jù)生成 79
15.8 建議 79
15.9 練習 80
15.10 參考文獻 80
第16章 自注意力 81
16.1 RNN中的注意力 81
16.2 自注意力機制 83
16.3 練習 84
16.4 參考文獻 84
第17章 編碼器和解碼器風格的
Transformer架構 85
17.1 原始的Transformer 85
17.1.1 編碼器 87
17.1.2 解碼器 88
17.2 編碼器 解碼器混合模型 89
17.3 專業(yè)術語 89
17.4 當代Transformer模型 90
17.5 練習 91
17.6 參考文獻 91
第18章 使用和微調預訓練
Transformer 92
18.1 使用Transformer執(zhí)行分類任務 92
18.2 上下文學習、索引和提示詞調優(yōu) 94
18.3 參數(shù)高效的微調方法 97
18.4 基于人類反饋的強化學習 102
18.5 適配預訓練語言模型 102
18.6 練習 103
18.7 參考文獻 103
第19章 評測生成式大模型 104
19.1 大模型的評測指標 104
19.1.1 困惑度 105
19.1.2 BLEU 106
19.1.3 ROUGE 107
19.1.4 BERTScore 109
19.2 替代指標 110
19.3 練習 110
19.4 參考文獻 110
第四部分 生產與部署
第20章 無狀態(tài)訓練與有狀態(tài)訓練 114
20.1 無狀態(tài)（重）訓練 114
20.2 有狀態(tài)訓練 115
20.3 練習 115
第21章 以數(shù)據(jù)為中心的人工智能 117
21.1 以數(shù)據(jù)為中心的人工智能與以模型
為中心的人工智能 117
21.2 建議 119
21.3 練習 119
21.4 參考文獻 120
第22章 加速推理 121
22.1 并行化 121
22.2 向量化 122
22.3 循環(huán)分塊 123
22.4 算子融合 123
22.5 量化 124
22.6 練習 125
22.7 參考文獻 125
第23章 數(shù)據(jù)分布偏移 126
23.1 協(xié)變量偏移 126
23.2 標簽偏移 127
23.3 概念偏移 128
23.4 領域偏移 128
23.5 數(shù)據(jù)分布偏移的類型 129
23.6 練習 130
23.7 參考文獻 130
第五部分 預測性能與模型評測
第24章 泊松回歸與序回歸 132
第25章 置信區(qū)間 134
25.1 定義置信區(qū)間 134
25.2 方法 136
25.2.1 方法1：正態(tài)近似區(qū)間 136
25.2.2 方法2：使用自助法構建
訓練集 137
25.2.3 方法3：使用自助抽樣法
構建測試集預測結果 139
25.2.4 方法4：使用不同的隨機
種子重新訓練模型 140
25.3 練習 141
25.4 參考文獻 141
第26章 置信區(qū)間與共形預測 142
26.1 置信區(qū)間和預測區(qū)間 142
26.2 預測區(qū)間與共形預測 143
26.3 預測區(qū)域、預測區(qū)間與預測集合 143
26.4 計算共形預測 143
26.5 共形預測示例 145
26.6 共形預測的優(yōu)點 146
26.7 建議 146
26.8 練習 146
26.9 參考文獻 147
第27章 合適的模型度量 148
27.1 標準 148
27.2 均方誤差 149
27.3 交叉熵損失 150
27.4 練習 151
第28章 k折交叉驗證中的k 152
28.1 選擇k值時的權衡考量 153
28.2 確定適當?shù)膋值 154
28.3 練習 154
28.4 參考文獻 155
第29章 訓練集和測試集的不一致性 156
第30章 有限的有標簽數(shù)據(jù) 158
30.1 利用有限的有標簽數(shù)據(jù)提高模型
性能 158
30.1.1 標注更多數(shù)據(jù) 158
30.1.2 自助抽樣數(shù)據(jù) 158
30.1.3 遷移學習 159
30.1.4 自監(jiān)督學習 159
30.1.5 主動學習 160
30.1.6 小樣本學習 160
30.1.7 元學習 161
30.1.8 弱監(jiān)督學習 161
30.1.9 半監(jiān)督學習 162
30.1.10 自訓練 163
30.1.11 多任務學習 163
30.1.12 多模態(tài)學習 164
30.1.13 歸納偏置 165
30.2 建議 165
30.3 練習 167
30.4 參考文獻 167
后記 168
附錄 練習答案 169
書單推薦
