第1章深度學習簡介

1.1深度學習的發(fā)展階段

1.1.1早期理論的發(fā)展

1.1.2人工智能的萌芽

1.1.3反向傳播算法的發(fā)展

1.1.4卷積神經(jīng)網(wǎng)絡的發(fā)展

1.1.5循環(huán)神經(jīng)網(wǎng)絡的發(fā)展

1.1.6自然語言處理的發(fā)展

1.2深度學習中的關鍵人物

1.3深度學習框架介紹

1.3.1深度學習框架的出現(xiàn)

1.3.2深度學習框架的歷史

1.4本書的體系結(jié)構(gòu)

1.4.1面向的讀者

1.4.2內(nèi)容與結(jié)構(gòu)

1.4.3代碼及資源

第2章環(huán)境配置

2.1體系結(jié)構(gòu)介紹

2.1.1基礎軟硬件設施

2.1.2版本依賴關系

2.1.3Conda工具介紹

2.1.4安裝源介紹

2.1.5小結(jié)

2.2深度學習環(huán)境安裝

2.2.1在Windows環(huán)境下

2.2.2在Linux環(huán)境下

2.2.3實戰(zhàn)示例

2.2.4GPU租用

2.2.5小結(jié)

2.3開發(fā)環(huán)境安裝配置

2.3.1Jupyter Notebook安裝與使用

2.3.2PyCharm安裝與使用

2.3.3遠程連接使用

2.3.4小結(jié)

第3章深度學習基礎

3.1線性回歸

3.1.1理解線性回歸模型

3.1.2建立線性回歸模型

3.1.3求解線性回歸模型

3.1.4多項式回歸建模

3.1.5從特征輸入到特征提取

3.1.6從線性輸入到非線性變換

3.1.7單層神經(jīng)網(wǎng)絡

3.1.8深度神經(jīng)網(wǎng)絡

3.1.9小結(jié)

3.2線性回歸的簡捷實現(xiàn)

3.2.1PyTorch使用介紹

3.2.2房價預測實現(xiàn)

3.2.3梯形面積預測實現(xiàn)

3.2.4小結(jié)

3.3梯度下降與反向傳播

3.3.1梯度下降引例

3.3.2方向?qū)��?shù)與梯度

3.3.3梯度下降原理

3.3.4前向傳播過程

3.3.5傳統(tǒng)方式梯度求解

3.3.6反向傳播過程

3.3.7梯度消失和梯度爆炸

3.3.8小結(jié)

3.4從零實現(xiàn)回歸模型

3.4.1網(wǎng)絡結(jié)構(gòu)

3.4.2模型實現(xiàn)

3.4.3小結(jié)

3.5從邏輯回歸到Softmax回歸

3.5.1理解邏輯回歸模型

3.5.2建立邏輯回歸模型

3.5.3求解邏輯回歸模型

3.5.4從二分類到多分類

3.5.5Softmax回歸

3.5.6特征的意義

3.5.7從具體到抽象

3.5.8從淺層到深層

3.5.9小結(jié)

3.6Softmax回歸的簡捷實現(xiàn)

3.6.1PyTorch使用介紹

3.6.2手寫體分類實現(xiàn)

3.6.3小結(jié)

3.7從零實現(xiàn)分類模型

3.7.1網(wǎng)絡結(jié)構(gòu)

3.7.2模型實現(xiàn)

3.7.3小結(jié)

3.8回歸模型評估指標

3.8.1常見回歸評估指標

3.8.2回歸指標示例代碼

3.8.3小結(jié)

3.9分類模型評估指標

3.9.1準確率

3.9.2精確率與召回率計算

3.9.3準確率與召回率的區(qū)別

3.9.4多分類下的指標計算

3.9.5Top�睰準確率

3.9.6小結(jié)

3.10過擬合與正則化

3.10.1模型擬合

3.10.2過擬合與欠擬合概念

3.10.3解決欠擬合與過擬合問題

3.10.4泛化誤差的來源

3.10.5測試集導致的泛化誤差

3.10.6訓練集導致的泛化誤差

3.10.7��2正則化原理

3.10.8��2正則化中的參數(shù)更新

3.10.9��2正則化示例代碼

3.10.10��1正則化原理

3.10.11��1與��2正則化差異

3.10.12丟棄法

3.10.13小結(jié)

3.11超參數(shù)與交叉驗證

3.11.1超參數(shù)介紹

3.11.2模型選擇

3.11.3基于交叉驗證的手寫體分類

3.11.4小結(jié)

3.12激活函數(shù)

3.12.1Sigmoid激活函數(shù)

3.12.2Tanh激活函數(shù)

3.12.3ReLU激活函數(shù)

3.12.4LeakyReLU激活函數(shù)

3.12.5小結(jié)

3.13多標簽分類

3.13.1Sigmoid損失

3.13.2交叉熵損失

3.13.3不考慮部分正確的評估指標

3.13.4考慮部分正確的評估指標

3.13.5小結(jié)

第4章卷積神經(jīng)網(wǎng)絡

4.1卷積的概念

4.1.1深度學習的思想

4.1.2卷積操作的作用

4.1.3卷積操作的原理

4.1.4小結(jié)

4.2卷積的計算過程

4.2.1多卷積核

4.2.2卷積的計算過程

4.2.3深度卷積

4.2.4小結(jié)

4.3填充和池化

4.3.1填充操作

4.3.2形狀計算

4.3.3卷積示例代碼

4.3.4池化操作

4.3.5池化的作用

4.3.6池化示例代碼

4.3.7小結(jié)

4.4LeNet5網(wǎng)絡

4.4.1LeNet5動機

4.4.2LeNet5結(jié)構(gòu)

4.4.3LeNet5實現(xiàn)

4.4.4小結(jié)

4.5AlexNet網(wǎng)絡

4.5.1AlexNet動機

4.5.2AlexNet結(jié)構(gòu)

4.5.3AlexNet實現(xiàn)

4.5.4小結(jié)

4.6VGG網(wǎng)絡

4.6.1VGG動機

4.6.2VGG結(jié)構(gòu)

4.6.3VGG實現(xiàn)

4.6.4小結(jié)

4.7NIN網(wǎng)絡

4.7.1NIN動機

4.7.2NIN結(jié)構(gòu)

4.7.3NIN實現(xiàn)

4.7.4小結(jié)

4.8GoogLeNet網(wǎng)絡

4.8.1GoogLeNet動機

4.8.2GoogLeNet結(jié)構(gòu)

4.8.3GoogLeNet實現(xiàn)

4.8.4小結(jié)

4.9ResNet網(wǎng)絡

4.9.1ResNet動機

4.9.2ResNet結(jié)構(gòu)

4.9.3ResNet實現(xiàn)

4.9.4小結(jié)

4.10DenseNet網(wǎng)絡

4.10.1DenseNet動機

4.10.2DenseNet結(jié)構(gòu)

4.10.3DenseNet實現(xiàn)

4.10.4小結(jié)

第5章模型訓練與復用

5.1參數(shù)及日志管理

5.1.1參數(shù)傳遞

5.1.2參數(shù)載入

5.1.3定義日志函數(shù)

5.1.4日志輸出示例

5.1.5打印模型參數(shù)

5.1.6小結(jié)

5.2TensorBoard可視化

5.2.1安裝與啟動

5.2.2連接與訪問

5.2.3TensorBoard使用場景

5.2.4使用實例

5.2.5小結(jié)

5.3模型的保存與復用

5.3.1查看模型參數(shù)

5.3.2自定義參數(shù)前綴

5.3.3保存訓練模型

5.3.4復用模型推理

5.3.5復用模型訓練

5.3.6小結(jié)

5.4模型的遷移學習

5.4.1遷移學習

5.4.2模型定義與比較

5.4.3參數(shù)微調(diào)

5.4.4參數(shù)凍結(jié)

5.4.5小結(jié)

5.5開源模型復用

5.5.1ResNet結(jié)構(gòu)介紹

5.5.2遷移模型構(gòu)造

5.5.3結(jié)果對比

5.5.4小結(jié)

5.6多GPU訓練

5.6.1訓練方式

5.6.2數(shù)據(jù)并行

5.6.3使用示例

5.6.4小結(jié)

5.7數(shù)據(jù)預處理緩存

5.7.1修飾器介紹

5.7.2修飾器定義

5.7.3定義數(shù)據(jù)集構(gòu)造類

5.7.4定義緩存修飾器

5.7.5小結(jié)

第6章模型優(yōu)化方法

6.1學習率調(diào)度器

6.1.1使用示例

6.1.2實現(xiàn)原理

6.1.3狀態(tài)恢復

6.1.4小結(jié)

6.2梯度裁剪

6.2.1基于閾值裁剪

6.2.2基于范數(shù)裁剪

6.2.3使用示例

6.2.4小結(jié)

6.3批歸一化

6.3.1批歸一化動機

6.3.2批歸一化原理

6.3.3批歸一化實現(xiàn)

6.3.4小結(jié)

6.4層歸一化

6.4.1層歸一化動機

6.4.2層歸一化原理

6.4.3層歸一化實現(xiàn)

6.4.4小結(jié)

6.5組歸一化

6.5.1組歸一化動機

6.5.2組歸一化原理

6.5.3組歸一化實現(xiàn)

6.5.4小結(jié)

6.6動量法

6.6.1動量法動機

6.6.2動量法原理

6.6.3使用示例

6.6.4小結(jié)

6.7AdaGrad算法

6.7.1AdaGrad動機

6.7.2AdaGrad原理

6.7.3使用示例

6.7.4小結(jié)

6.8AdaDelta算法

6.8.1AdaDelta動機

6.8.2AdaDelta原理

6.8.3使用示例

6.8.4小結(jié)

6.9Adam算法

6.9.1Adam動機

6.9.2Adam原理

6.9.3使用示例

6.9.4小結(jié)

6.10初始化方法

6.10.1初始化動機

6.10.2初始化原理

6.10.3使用示例

6.10.4小結(jié)

第7章循環(huán)神經(jīng)網(wǎng)絡

7.1RNN

7.1.1RNN動機

7.1.2RNN原理

7.1.3RNN計算示例

7.1.4RNN類型

7.1.5多層RNN

7.1.6RNN示例代碼

7.1.7BPTT原理

7.1.8小結(jié)

7.2時序數(shù)據(jù)

7.2.1時序圖片

7.2.2基于RNN的圖片分類

7.2.3時序文本

7.2.4基于RNN的文本分類

7.2.5小結(jié)

7.3LSTM網(wǎng)絡

7.3.1LSTM動機

7.3.2LSTM結(jié)構(gòu)

7.3.3LSTM實現(xiàn)

7.3.4LSTM梯度分析

7.3.5小結(jié)

7.4GRU網(wǎng)絡

7.4.1GRU動機

7.4.2GRU結(jié)構(gòu)

7.4.3GRU實現(xiàn)

7.4.4GRU與LSTM對比

7.4.5類RNN模型

7.4.6小結(jié)

7.5BiRNN網(wǎng)絡

7.5.1BiRNN動機

7.5.2BiRNN結(jié)構(gòu)

7.5.3BiRNN實現(xiàn)

7.5.4小結(jié)

7.6CharRNN網(wǎng)絡

7.6.1任務構(gòu)造原理

7.6.2數(shù)據(jù)預處理

7.6.3古詩生成任務

7.6.4小結(jié)

第8章時序與模型融合

8.1TextCNN

8.1.1TextCNN結(jié)構(gòu)

8.1.2文本分詞

8.1.3TextCNN實現(xiàn)

8.1.4小結(jié)

8.2TextRNN

8.2.1TextRNN結(jié)構(gòu)

8.2.2TextRNN實現(xiàn)

8.2.3小結(jié)

8.3CNN�睷NN

8.3.1C�睱STM結(jié)構(gòu)

8.3.2C�睱STM實現(xiàn)

8.3.3BiLSTM�睠NN結(jié)構(gòu)

8.3.4BiLSTM�睠NN實現(xiàn)

8.3.5小結(jié)

8.4ConvLSTM網(wǎng)絡

8.4.1ConvLSTM動機

8.4.2ConvLSTM結(jié)構(gòu)

8.4.3ConvLSTM實現(xiàn)

8.4.4KTH數(shù)據(jù)集構(gòu)建

8.4.5KTH動作識別任務

8.4.6小結(jié)

8.53DCNN

8.5.13DCNN動機

8.5.23DCNN結(jié)構(gòu)

8.5.33DCNN實現(xiàn)

8.5.4小結(jié)

8.6STResNet

8.6.1STResNet動機

8.6.2任務背景

8.6.3STResNet結(jié)構(gòu)

8.6.4數(shù)據(jù)集構(gòu)建

8.6.5STResNet實現(xiàn)

8.6.6小結(jié)

第9章自然語言處理

9.1自然語言處理介紹

9.1.1語言模型

9.1.2基于規(guī)則的語言模型

9.1.3基于統(tǒng)計的語言模型

9.1.4基于神經(jīng)網(wǎng)絡的語言模型

9.1.5小結(jié)

9.2Word2Vec詞向量

9.2.1Word2Vec動機

9.2.2Word2Vec模型

9.2.3連續(xù)詞袋模型

9.2.4跳元模型

9.2.5小結(jié)

9.3Word2Vec訓練與使用

9.3.1近似訓練

9.3.2載入預訓練詞向量

9.3.3可視化與類別計算

9.3.4詞向量訓練

9.3.5小結(jié)

9.4GloVe詞向量

9.4.1GloVe動機

9.4.2共現(xiàn)矩陣

9.4.3GloVe原理

9.4.4GloVe詞向量使用

9.4.5小結(jié)

9.5詞向量的微調(diào)使用

9.5.1詞嵌入層介紹

9.5.2詞嵌入層使用

9.5.3多通道TextCNN網(wǎng)絡

9.5.4小結(jié)

9.6fastText網(wǎng)絡

9.6.1fastText動機

9.6.2fastText原理

9.6.3fastText庫介紹

9.6.4詞向量的使用與訓練

9.6.5fastText文本分類

9.6.6小結(jié)

9.7Seq2Seq網(wǎng)絡

9.7.1Seq2Seq動機

9.7.2Seq2Seq結(jié)構(gòu)

9.7.3搜索策略

9.7.4小結(jié)

9.8序列模型評價指標

9.8.1困惑度

9.8.2雙語評估輔助

9.8.3小結(jié)

9.9NMT網(wǎng)絡

9.9.1谷歌翻譯簡介

9.9.2統(tǒng)計翻譯模型弊端

9.9.3NMT數(shù)據(jù)集構(gòu)建

9.9.4Seq2Seq實現(xiàn)

9.9.5NMT模型實現(xiàn)

9.9.6NMT推理實現(xiàn)

9.9.7NMT模型訓練

9.9.8小結(jié)

9.10注意力機制

9.10.1注意力的起源

9.10.2注意力機制思想

9.10.3注意力計算框架

9.10.4填充注意力掩碼

9.10.5Bahdanau注意力

9.10.6Luong注意力

9.10.7小結(jié)

9.11含注意力的NMT網(wǎng)絡

9.11.1含注意力的NMT結(jié)構(gòu)

9.11.2含注意力的NMT實現(xiàn)

9.11.3模型訓練

9.11.4小結(jié)

9.12含注意力的RNN

9.12.1含注意力的RNN結(jié)構(gòu)

9.12.2含注意力的RNN實現(xiàn)

9.12.3小結(jié)

第10章現(xiàn)代神經(jīng)網(wǎng)絡

10.1ELMo網(wǎng)絡

10.1.1ELMo動機

10.1.2ELMo結(jié)構(gòu)

10.1.3ELMo實現(xiàn)

10.1.4ELMo遷移

10.1.5小結(jié)

10.2Transformer網(wǎng)絡

10.2.1Transformer動機

10.2.2自注意力機制

10.2.3多頭注意力機制

10.2.4輸入編碼

10.2.5小結(jié)

10.3Transformer結(jié)構(gòu)

10.3.1單層Transformer結(jié)構(gòu)

10.3.2多層Transformer結(jié)構(gòu)

10.3.3多頭注意力實現(xiàn)

10.3.4小結(jié)

10.4Transformer實現(xiàn)

10.4.1嵌入層實現(xiàn)

10.4.2編碼器實現(xiàn)

10.4.3解碼器實現(xiàn)

10.4.4Transformer網(wǎng)絡實現(xiàn)

10.4.5小結(jié)

10.5Transformer對聯(lián)模型

10.5.1數(shù)據(jù)預處理

10.5.2網(wǎng)絡結(jié)構(gòu)

10.5.3模型訓練

10.5.4模型推理

10.5.5小結(jié)

10.6BERT網(wǎng)絡

10.6.1BERT動機

10.6.2BERT結(jié)構(gòu)

10.6.3BERT輸入層

10.6.4預訓練任務

10.6.5小結(jié)

10.7從零實現(xiàn)BERT

10.7.1工程結(jié)構(gòu)

10.7.2Input Embedding實現(xiàn)

10.7.3BERT網(wǎng)絡實現(xiàn)

10.7.4小結(jié)

10.8BERT文本分類模型

10.8.1任務構(gòu)造原理

10.8.2數(shù)據(jù)預處理

10.8.3加載預訓練模型

10.8.4文本分類

10.8.5小結(jié)

10.9BERT問題選擇模型

10.9.1任務構(gòu)造原理

10.9.2數(shù)據(jù)預處理

10.9.3問題選擇

10.9.4小結(jié)

10.10BERT問題回答模型

10.10.1任務構(gòu)造原理

10.10.2樣本構(gòu)造與結(jié)果篩選

10.10.3數(shù)據(jù)預處理

10.10.4問題回答

10.10.5小結(jié)

10.11BERT命名體識別模型

10.11.1任務構(gòu)造原理

10.11.2數(shù)據(jù)預處理

10.11.3命名體識別

10.11.4小結(jié)

10.12BERT從零訓練

10.12.1構(gòu)建流程與格式化

10.12.2數(shù)據(jù)預處理

10.12.3預訓練任務實現(xiàn)

10.12.4模型訓練與微調(diào)

10.12.5小結(jié)

10.13GPT��1模型

10.13.1GPT��1動機

10.13.2GPT��1結(jié)構(gòu)

10.13.3GPT��1實現(xiàn)

10.13.4小結(jié)

10.14GPT��2與GPT��3模型

10.14.1GPT��2動機

10.14.2GPT��2結(jié)構(gòu)

10.14.3GPT��2使用

10.14.4GPT��3結(jié)構(gòu)

10.14.5GPT��3的局限性與安全性

10.14.6小結(jié)

10.15基于GPT��2的中文預訓練模型

10.15.1項目介紹

10.15.2生成結(jié)果篩選

10.15.3模型推理

10.15.4模型訓練

10.15.5小結(jié)

10.16InstructGPT與ChatGPT

10.16.1InstructGPT動機

10.16.2人類反饋強化學習

10.16.3InstructGPT原理

10.16.4InstructGPT評估及結(jié)果

10.16.5InstructGPT數(shù)據(jù)集

10.16.6InstructGPT局限性

10.16.7ChatGPT

10.16.8小結(jié)

10.17ChatGPT與提示詞工程

10.17.1提示詞工程

10.17.2提示詞的構(gòu)成

10.17.3簡單提示詞

10.17.4少樣本提示詞

10.17.5情境化提示詞

10.17.6定制化

10.17.7場景應用

10.17.8ChatGPT的攻擊與防御

10.17.9小結(jié)

10.18百川大模型使用

10.18.1模型簡介

10.18.2項目介紹

10.18.3模型結(jié)構(gòu)

10.18.4模型推理

10.18.5模型微調(diào)

10.18.6小結(jié)

10.19百川大模型實現(xiàn)

10.19.1解碼緩存原理

10.19.2解碼層實現(xiàn)

10.19.3語言模型實現(xiàn)

10.19.4模型微調(diào)實現(xiàn)

10.19.5模型推理實現(xiàn)

10.19.6模型解碼過程

10.19.7小結(jié)

10.20GPT��4與GPT的使用

10.20.1GPT��4介紹

10.20.2GPT��4模型的使用

10.20.3GPT介紹

10.20.4小結(jié)

參考文獻