第 1 章 緒 論 1. 1 深度學(xué)習(xí)的前世今生 1. 2 模型復(fù)雜度的提升 1. 3 深度學(xué)習(xí)的名人軼事 第 2 章 深度學(xué)習(xí)中的線性代數(shù) 2. 1 標量、 向量、 矩陣與張量 2. 2 矩陣的運算 2. 3 單位矩陣與逆矩陣 2. 4 線性相關(guān)、 生成子空間和范數(shù) 2. 5 一些特殊類型的矩陣 2. 6 特征分解 2. 7 奇異值分解 2. 8 Moore-Penrose 偽逆 2. 9 跡運算 2. 10 行列式 2. 11 例子: 主成分分析 第 3 章 概率與信息論 3. 1 為什么要使用概率 3. 2 隨機變量 3. 3 概率分布 3. 4 邊緣概率 3. 5 條件概率 3. 6 條件概率的鏈式法則 3. 7 條件獨立性 3. 8 期望、 方差和協(xié)方差 3. 9 常用概率分布 3. 10 常用函數(shù)及性質(zhì) 3. 11 貝葉斯規(guī)則 3. 12 信息論中的交叉熵 3. 13 結(jié)構(gòu)化概率模型 第 4 章 數(shù)值計算 4. 1 上溢和下溢 4. 2 病態(tài)條件 4. 3 基于梯度的優(yōu)化方法 4. 4 約束優(yōu)化 4. 5 實例: 線性最小二乘 第 5 章 機器學(xué)習(xí)基礎(chǔ) 5. 1 什么是機器學(xué)習(xí)算法 5. 2 模型性能的度量 5. 3 過擬合與欠擬合 5. 4 超參數(shù)和交叉驗證 5. 5 最大似然估計 5. 6 什么是隨機梯度下降 5. 7 貝葉斯統(tǒng)計 5. 8 監(jiān)督學(xué)習(xí)算法 5. 9 無監(jiān)督學(xué)習(xí)算法 5. 10 促使深度學(xué)習(xí)發(fā)展的挑戰(zhàn) 第 6 章 深度前饋網(wǎng)絡(luò) 6. 1 什么是 “前饋” 6. 2 隱藏層 6. 3 輸出單元 6. 4 萬能近似性質(zhì) 6. 5 反向傳播 第 7 章 深度學(xué)習(xí)中的正則化 7. 1 參數(shù)范數(shù)懲罰 7. 2 數(shù)據(jù)集增強 7. 3 噪聲魯棒性 7. 4 半監(jiān)督學(xué)習(xí) 7. 5 多任務(wù)學(xué)習(xí) 7. 6 提前終止 7. 7 參數(shù)綁定和參數(shù)共享 7. 8 稀疏表示 7. 9 Bagging 和其他集成方法 7. 10 Dropout 7. 11 對抗訓(xùn)練 第 8 章 深度模型中的優(yōu)化 8. 1 學(xué)習(xí)和純優(yōu)化有什么不同 8. 2 小批量算法 8. 3 基本算法 8. 4 參數(shù)初始化策略 8. 5 自適應(yīng)學(xué)習(xí)率算法 8. 6 二階近似方法 8. 7 一些優(yōu)化策略 第 9 章 卷積神經(jīng)網(wǎng)絡(luò) 9. 1 卷積運算 9. 2 為什么要使用卷積運算 9. 3 池化 9. 4 基本卷積函數(shù)的變體 9. 5 卷積核的初始化 第 10 章 循環(huán)神經(jīng)網(wǎng)絡(luò) 10. 1 展開計算圖 10. 2 循環(huán)神經(jīng)網(wǎng)絡(luò) 10. 3 雙向 RNN 10. 4 基于編碼-解碼的序列到序列架構(gòu) 10. 5 深度循環(huán)網(wǎng)絡(luò) 10. 6 遞歸神經(jīng)網(wǎng)絡(luò) 10. 7 長短期記憶網(wǎng)絡(luò) 10. 8 門控循環(huán)單元 10. 9 截斷梯度 第 11 章 實踐方法論 11. 1 設(shè)計流程 11. 2 更多的性能度量方法 11. 3 默認的基準模型 11. 4 要不要收集更多數(shù)據(jù) 11. 5 超參數(shù)的調(diào)節(jié) 11. 6 模型調(diào)試的重要性 第 12 章 應(yīng) 用 12. 1 大規(guī)模深度學(xué)習(xí) 12. 2 計算機視覺中的預(yù)處理 12. 3 語音識別 12. 4 自然語言處理 12. 5 推薦系統(tǒng) 12. 6 知識問答系統(tǒng) 第 13 章 初識大語言模型 13. 1 大語言模型的背景 13. 2 大語言模型的重要性 13. 3 大語言模型的應(yīng)用場景 13. 4 大語言模型和傳統(tǒng)方法的區(qū)別 第 14 章 大語言模型原理 14. 1 Transformer 架構(gòu) 14. 2 預(yù)訓(xùn)練 14. 3 微調(diào) 14. 4 自回歸訓(xùn)練 14. 5 掩碼語言模型 第 15 章 常見的大語言模型 15. 1 GPT 系列模型 15. 2 BERT 15. 3 XLNet 第 16 章 大語言模型應(yīng)用———自然語言生成 16. 1 自動文本生成 16. 2 對話系統(tǒng)和聊天機器人 16. 3 代碼和技術(shù)文檔生成 16. 4 創(chuàng)意內(nèi)容生成 16. 5 國產(chǎn)優(yōu)秀大語言模型———文心一言 16. 6 國產(chǎn)優(yōu)秀大語言模型———訊飛星火認知大模型 后 記