深度學習框架中蘊藏著驚人的技術和有趣的機制，本書旨在揭開這些技術和機制的神秘面紗，幫助讀者正確理解技術，體會它們的有趣之處。為此，本書會帶領讀者從零開始創(chuàng)建一個深度學習框架DeZero。DeZero 是本書原創(chuàng)的框架，它用最少的代碼實現(xiàn)了現(xiàn)代深度學習框架的功能。本書分60 個步驟來完成這個框架，在此過程中，讀者會加深對PyTorch、TensorFlow 和Chainer 等現(xiàn)代深度學習框架的理解，看清深度學習框架的本質(zhì)。
本書沿襲《深度學習入門：基于Python 的理論與實現(xiàn)》的風格，語言通俗，代碼簡潔，講解詳細。在自制框架的過程中，讀者還能進一步鞏固Python 編程和軟件開發(fā)相關的知識。
本書適合對深度學習框架感興趣的讀者閱讀。
·魚書《深度學習入門：基于Python的理論與實現(xiàn)》作者又一力作。手把手帶你創(chuàng)建深度學習框架，直擊現(xiàn)代深度學習框架本質(zhì)！
·內(nèi)容簡明易懂，講解詳細
本書延續(xù)前作的行文風格，采用通俗的語言和大量直觀的示意圖詳細講解，幫助讀者加深對PyTorch、TensorFlow和Chainer等現(xiàn)代深度學習框架的理解，進一步鞏固Python編程和軟件開發(fā)的相關知識。
·通過從零創(chuàng)建，剖析深度學習框架機制
本書會從零創(chuàng)建一個深度學習框架，讓讀者在運行程序的過程中了解深度學習框架中蘊藏的技術與機制。通過這樣的體驗，讀者可了解到深度學習框架的本質(zhì)。
·增量開發(fā)
本書將繁雜的深度學習框架的創(chuàng)建工作分為60個步驟完成，內(nèi)容循序漸進，讀者可在一步步的實踐過程中獲得正向的反饋結果，激發(fā)學習動力。
齋藤康毅（作者） 1984年生于日本長崎縣，東京工業(yè)大學畢業(yè)，并完成東京大學研究生院課程。目前在某企業(yè)從事人工智能相關的研究和開發(fā)工作。著有《深度學習入門：基于Python的理論與實現(xiàn)》，同時也是Introducing Python、Python in Practice、The Elements of Computing Systems、Building Machine Learning Systems with Python的日文版譯者。 鄭明智（譯者） 智慧醫(yī)療工程師。主要研究方向為醫(yī)療與前沿ICT技術的結合及其應用，密切關注人工智能、量子計算等領域。譯有《深度學習基礎與實踐》《詳解深度學習》《白話機器學習的數(shù)學》等書。
前言 xvii
第 1階段 自動微分 1
步驟1 作為箱子的變量 3
1.1 什么是變量 3
1.2 實現(xiàn)Variable 類 4
1.3 （補充）NumPy的多維數(shù)組 6
步驟2 創(chuàng)建變量的函數(shù) 8
2.1 什么是函數(shù) 8
2.2 Function類的實現(xiàn) 9
2.3 使用Function 類 10
步驟3 函數(shù)的連續(xù)調(diào)用 13
3.1 Exp函數(shù)的實現(xiàn) 13
3.2 函數(shù)的連續(xù)調(diào)用 14
步驟4 數(shù)值微分 16
4.1 什么是導數(shù) 16
4.2 數(shù)值微分的實現(xiàn) 17
4.3 復合函數(shù)的導數(shù) 20
4.4 數(shù)值微分存在的問題 21
步驟5 反向傳播的理論知識 22
5.1 鏈式法則 22
5.2 反向傳播的推導 23
5.3 用計算圖表示 25
步驟6 手動進行反向傳播 27
6.1 Variable 類的功能擴展 27
6.2 Function類的功能擴展 28
6.3 Square類和Exp類的功能擴展 28
6.4 反向傳播的實現(xiàn) 29
步驟7 反向傳播的自動化 32
7.1 為反向傳播的自動化創(chuàng)造條件 33
7.2 嘗試反向傳播 36
7.3 增加backward方法 38
步驟8 從遞歸到循環(huán) 40
8.1 現(xiàn)在的Variable 類 40
8.2 使用循環(huán)實現(xiàn) 41
8.3 代碼驗證 42
步驟9 讓函數(shù)更易用 43
9.1 作為Python函數(shù)使用 43
9.2 簡化backward方法 45
9.3 只支持ndarray 46
步驟10 測試 50
10.1 Python的單元測試 50
10.2 square函數(shù)反向傳播的測試 52
10.3 通過梯度檢驗來自動測試 53
10.4 測試小結 54
第 2階段 用自然的代碼表達 59
步驟11 可變長參數(shù)（正向傳播篇) 61
11.1 修改Function 類 62
11.2 Add類的實現(xiàn) 64
步驟12 可變長參數(shù)（改進篇) 65
12.1 第 1 項改進：使函數(shù)更容易使用 65
12.2 第 2 項改進：使函數(shù)更容易實現(xiàn) 67
12.3 add函數(shù)的實現(xiàn) 69
步驟13 可變長參數(shù)（反向傳播篇) 70
13.1 支持可變長參數(shù)的Add類的反向傳播 70
13.2 修改Variable 類 71
13.3 Square類的實現(xiàn) 73
步驟14 重復使用同一個變量 75
14.1 問題的原因 76
14.2 解決方案 77
14.3 重置導數(shù) 79
步驟15 復雜的計算圖（理論篇） 81
15.1 反向傳播的正確順序 82
15.2 當前的DeZero 84
15.3 函數(shù)的優(yōu)先級 87
步驟16 復雜的計算圖（實現(xiàn)篇） 88
16.1 增加輩分變量 88
16.2 按照輩分順序取出元素 90
16.3 Variable 類的backward 92
16.4 代碼驗證 93
步驟17 內(nèi)存管理和循環(huán)引用 97
17.1 內(nèi)存管理 97
17.2 引用計數(shù)方式的內(nèi)存管理 98
17.3 循環(huán)引用 100
17.4 weakref模塊 102
17.5 代碼驗證 104
步驟18 減少內(nèi)存使用量的模式 106
18.1 不保留不必要的導數(shù) 106
18.2 回顧Function 類 109
18.3 使用Config類進行切換 110
18.4 模式的切換 111
18.5 使用with 語句切換 112
步驟19 讓變量更易用 116
19.1 命名變量 116
19.2 實例變量ndarray 117
19.3 len函數(shù)和print 函數(shù) 119
步驟20 運算符重載（1） 122
20.1 Mul類的實現(xiàn) 122
20.2 運算符重載 125
步驟21 運算符重載（2） 128
21.1 與ndarray 一起使用 128
21.2 與float 和int 一起使用 130
21.3 問題1：左項為float 或int 的情況 131
21.4 問題2：左項為ndarray 實例的情況 133
步驟22 運算符重載（3） 134
22.1 負數(shù) 135
22.2 減法 136
22.3 除法 138
22.4 冪運算 139
步驟23 打包 141
23.1 文件結構 142
23.2 將代碼移到核心類 142
23.3 運算符重載 144
23.4 實際的_ _init_ _.py 文件 146
23.5 導入dezero 147
步驟24 復雜函數(shù)的求導 149
24.1 Sphere函數(shù) 150
24.2 matyas函數(shù) 151
24.3 Goldstein Price 函數(shù) 152
第3階段 實現(xiàn)高階導數(shù) 161
步驟25 計算圖的可視化（1） 163
25.1 安裝Graphviz 163
25.2 使用DOT語言描述圖形 165
25.3 指定節(jié)點屬性 165
25.4 連接節(jié)點 167
步驟26 計算圖的可視化（2） 169
26.1 可視化代碼的使用示例 169
26.2 從計算圖轉換為DOT語言 171
26.3 從DOT語言轉換為圖像 174
26.4 代碼驗證 176
步驟27 泰勒展開的導數(shù) 178
27.1 sin函數(shù)的實現(xiàn) 178
27.2 泰勒展開的理論知識 179
27.3 泰勒展開的實現(xiàn) 180
27.4 計算圖的可視化 182
步驟28 函數(shù)優(yōu)化 184
28.1 Rosenbrock函數(shù) 184
28.2 求導 185
28.3 梯度下降法的實現(xiàn) 186
步驟29 使用牛頓法進行優(yōu)化（手動計算） 190
29.1 使用牛頓法進行優(yōu)化的理論知識 191
29.2 使用牛頓法實現(xiàn)優(yōu)化 195
步驟30 高階導數(shù)（準備篇） 197
30.1 確認工作①：Variable 實例變量 197
30.2 確認工作②：Function 類 199
30.3 確認工作③：Variable 類的反向傳播 201
步驟31 高階導數(shù)（理論篇） 204
31.1 在反向傳播時進行的計算 204
31.2 創(chuàng)建反向傳播的計算圖的方法 206
步驟32 高階導數(shù)（實現(xiàn)篇） 209
32.1 新的DeZero 209
32.2 函數(shù)類的反向傳播 210
32.3 實現(xiàn)更有效的反向傳播（增加模式控制代碼） 211
32.4 修改_ _init_ _.py 213
步驟33 使用牛頓法進行優(yōu)化（自動計算） 215
33.1 求二階導數(shù) 215
33.2 使用牛頓法進行優(yōu)化 217
步驟34 sin函數(shù)的高階導數(shù) 219
34.1 sin函數(shù)的實現(xiàn) 219
34.2 cos函數(shù)的實現(xiàn) 220
34.3 sin函數(shù)的高階導數(shù) 221
步驟35 高階導數(shù)的計算圖 225
35.1 tanh函數(shù)的導數(shù) 226
35.2 tanh函數(shù)的實現(xiàn) 226
35.3 高階導數(shù)的計算圖可視化 227
步驟36 DeZero的其他用途 234
36.1 double backprop 的用途 234
36.2 深度學習研究中的應用示例 236
第4階段 創(chuàng)建神經(jīng)網(wǎng)絡 243
步驟37 處理張量 245
37.1 對各元素進行計算 245
37.2 使用張量時的反向傳播 247
37.3 使用張量時的反向傳播（補充內(nèi)容） 249
步驟38 改變形狀的函數(shù) 254
38.1 reshape函數(shù)的實現(xiàn) 254
38.2 從Variable 對象調(diào)用reshape 258
38.3 矩陣的轉置 259
38.4 實際的transpose 函數(shù)（補充內(nèi)容） 262
步驟39 求和的函數(shù) 264
39.1 sum函數(shù)的反向傳播 264
39.2 sum函數(shù)的實現(xiàn) 266
39.3 axis 和keepdims 268
步驟40 進行廣播的函數(shù) 272
40.1 broadcast_to 函數(shù)和sum_to 函數(shù) 272
40.2 DeZero的broadcast_to 函數(shù)和sum_to 函數(shù) 275
40.3 支持廣播 277
步驟41 矩陣的乘積 280
41.1 向量的內(nèi)積和矩陣的乘積 280
41.2 檢查矩陣的形狀 282
41.3 矩陣乘積的反向傳播 282
步驟42 線性回歸 288
42.1 玩具數(shù)據(jù)集 288
42.2 線性回歸的理論知識 289
42.3 線性回歸的實現(xiàn) 291
42.4 DeZero的mean_squared_error函數(shù)（補充內(nèi)容） 295
步驟43 神經(jīng)網(wǎng)絡 298
43.1 DeZero中的linear 函數(shù) 298
43.2 非線性數(shù)據(jù)集 301
43.3 激活函數(shù)和神經(jīng)網(wǎng)絡 302
43.4 神經(jīng)網(wǎng)絡的實現(xiàn) 303
步驟44 匯總參數(shù)的層 307
44.1 Parameter類的實現(xiàn) 307
44.2 Layer類的實現(xiàn) 309
44.3 Linear類的實現(xiàn) 312
44.4 使用Layer實現(xiàn)神經(jīng)網(wǎng)絡 314
步驟45 匯總層的層 316
45.1 擴展Layer類 316
45.2 Model類 319
45.3 使用Model來解決問題 321
45.4 MLP類 323
步驟46 通過Optimizer更新參數(shù) 325
46.1 Optimizer類 325
46.2 SGD類的實現(xiàn) 326
46.3 使用SGD類來解決問題 327
46.4 SGD以外的優(yōu)化方法 328
步驟47 softmax函數(shù)和交叉熵誤差 331
47.1 用于切片操作的函數(shù) 331
47.2 softmax函數(shù) 334
47.3 交叉熵誤差 337
步驟48 多分類 340
48.1 螺旋數(shù)據(jù)集 340
48.2 用于訓練的代碼 341
步驟49 Dataset類和預處理 346
49.1 Dataset類的實現(xiàn) 346
49.2 大型數(shù)據(jù)集的情況 348
49.3 數(shù)據(jù)的連接 349
49.4 用于訓練的代碼 350
49.5 數(shù)據(jù)集的預處理 351
步驟50 用于取出小批量數(shù)據(jù)的DataLoader 354
50.1 什么是迭代器 354
50.2 使用DataLoader 358
50.3 accuracy函數(shù)的實現(xiàn) 359
50.4 螺旋數(shù)據(jù)集的訓練代碼 360
步驟51 MINST的訓練 363
51.1 MNIST數(shù)據(jù)集 364
51.2 訓練MNIST 366
51.3 改進模型 368
第5階段 DeZero高級挑戰(zhàn) 377
步驟52 支持GPU 379
52.1 CuPy的安裝和使用方法 379
52.2 cuda模塊 382
52.3 向Variable / Layer / DataLoader 類添加代碼 383
52.4 函數(shù)的相應修改 386
52.5 在GPU上訓練MNIST 388
步驟53 模型的保存和加載 391
53.1 NumPy的save 函數(shù)和load 函數(shù) 391
53.2 Layer類參數(shù)的扁平化 394
53.3 Layer類的save 函數(shù)和load 函數(shù) 395
步驟54 Dropout和測試模式 398
54.1 什么是Dropout 398
54.2 Inverted Dropout 401
54.3 增加測試模式 401
54.4 Dropout的實現(xiàn) 402
步驟55 CNN的機制（1） 404
55.1 CNN的網(wǎng)絡結構 404
55.2 卷積運算 405
55.3 填充 407
55.4 步幅 408
55.5 輸出大小的計算方法 409
步驟56 CNN的機制（2） 411
56.1 三階張量 411
56.2 結合方塊進行思考 412
56.3 小批量處理 414
56.4 池化層 415
步驟57 conv2d函數(shù)和pooling函數(shù) 418
57.1 使用im2col 展開 418
57.2 conv2d函數(shù)的實現(xiàn) 420
57.3 Conv2d層的實現(xiàn) 425
57.4 pooling 函數(shù)的實現(xiàn) 426
步驟58 具有代表性的CNN（VGG16） 429
58.1 VGG16的實現(xiàn) 429
58.2 已訓練的權重數(shù)據(jù) 431
58.3 使用已訓練的VGG16 435
步驟59 使用RNN處理時間序列數(shù)據(jù) 438
59.1 RNN層的實現(xiàn) 438
59.2 RNN模型的實現(xiàn) 442
59.3 切斷連接的方法 445
59.4 正弦波的預測 446
步驟60 LSTM與數(shù)據(jù)加載器 451
60.1 用于時間序列數(shù)據(jù)的數(shù)據(jù)加載器 451
60.2 LSTM層的實現(xiàn) 453
附錄A in place 運算（步驟14的補充內(nèi)容） 463
A.1 問題確認 463
A.2 關于復制和覆蓋 464
A.3 DeZero的反向傳播 465
附錄B 實現(xiàn)get_item函數(shù)（步驟47的補充內(nèi)容） 466
附錄C 在Google Colaboratory上運行 469
后 記 473
參考文獻 477
書單推薦
