第一章 機器學(xué)習(xí)基礎(chǔ) 1.1 通過 Sora 理解機器學(xué)習(xí) 1.1.1 流形分布定理和低維數(shù)據(jù) 1.1.2 Sora 的突破與局限性 1.1.3 臨界態(tài)和物理悖論:機器學(xué)習(xí)的新前沿 1.2 機器學(xué)習(xí)與宏觀經(jīng)濟學(xué)中的均衡 1.2.1 經(jīng)濟模型與物理系統(tǒng)模型的對比 1.2.2 推動機器學(xué)習(xí)和經(jīng)濟建模進步的幾何方法 1.3 機器學(xué)習(xí)的要素、目標及評估 1.3.1 理解要素 1.3.2 機器學(xué)習(xí)的目標:泛化 1.3.3 評估性能 1.4 機器學(xué)習(xí)的三要素 1.4.1 模型 1.4.2 學(xué)習(xí)準則 1.4.3 優(yōu)化算法 1.5 泛化與模型選擇 1.5.1 泛化誤差、過擬合與欠擬合 1.5.2 偏差-方差權(quán)衡 1.5.3 評估泛化性能的技術(shù) 1.5.4 正則化技術(shù) 1.5.5 集成方法 1.5.6 模型可解釋性和可說明性 1.6 機器學(xué)習(xí)的一個簡單實例———線性回歸 1.6.1 參數(shù)學(xué)習(xí) 1.7 小結(jié) 習(xí)題 第二章 機器學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò) 2.1 神經(jīng)元 2.2 激活函數(shù) 2.2.1 神經(jīng)元的線性變換 2.2.2 神經(jīng)網(wǎng)絡(luò)線性變換、Arrow-Debreu 資產(chǎn)模型和流形分布定理 2.2.3 通過激活函數(shù)進行非線性變換 2.2.4 Sigmoid 函數(shù) 2.2.5 Hard-Logistic 和 Hard-Tanh 函數(shù) 2.2.6 ReLU 函數(shù) 2.2.7 Swish 函數(shù) 2.2.8 GELU 函數(shù) 2.2.9 Maxout 單元 2.2.10 選擇激活函數(shù) 2.3 網(wǎng)絡(luò)結(jié)構(gòu) 2.4 前饋神經(jīng)網(wǎng)絡(luò) 2.4.1 通用近似定理 2.4.2 機器學(xué)習(xí)中的應(yīng)用 2.4.3 參數(shù)學(xué)習(xí) 2.4.4 Dropout 技術(shù) 2.5 反向傳播算法 2.5.1 反向傳播算法的數(shù)學(xué)基礎(chǔ) 2.5.2 神經(jīng)網(wǎng)絡(luò)中反向傳播的示例 2.5.3 優(yōu)化與改進 2.6 自動梯度計算 2.6.1 數(shù)值微分 2.6.2 符號微分 2.6.3 自動微分 2.7 小結(jié) 習(xí)題 第三章 PyTorch 與機器學(xué)習(xí) 3.1 PyTorch 簡介 3.1.1 什么是 PyTorch? 3.1.2 使用 PyTorch 進行機器學(xué)習(xí)的優(yōu)勢 3.1.3 安裝 PyTorch 3.1.4 PyTorch 基礎(chǔ) 3.2 PyTorch 中的張量 3.2.1 什么是張量? 理解 PyTorch 的核心數(shù)據(jù)結(jié)構(gòu) 3.2.2 張量操作 3.3 在 PyTorch 中構(gòu)建神經(jīng)網(wǎng)絡(luò) 3.3.1 理解神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 3.3.2 激活函數(shù) 3.3.3 損失函數(shù) 3.3.4 在 PyTorch 中優(yōu)化算法 3.4 準備訓(xùn)練數(shù)據(jù) 3.4.1 生成用于回歸的隨機數(shù)據(jù) 3.4.2 創(chuàng)建 PyTorch 數(shù)據(jù)集 3.4.3 數(shù)據(jù)加載器和批處理 3.4.4 數(shù)據(jù)變換和增強 3.5 訓(xùn)練模型 3.5.1 Autograd:PyTorch 的自動微分引擎 3.5.2 模型訓(xùn)練和優(yōu)化 3.5.3 定義模型架構(gòu) 3.5.4 初始化模型和設(shè)備選擇 3.5.5 訓(xùn)練循環(huán) 3.5.6 監(jiān)控訓(xùn)練進度 3.6 保存和加載模型 3.6.1 保存訓(xùn)練好的模型參數(shù) 3.6.2 加載預(yù)訓(xùn)練模型 3.6.3 在動態(tài)宏觀模型中的應(yīng)用 3.7 超參數(shù)調(diào)優(yōu) 3.7.1 理解超參數(shù) 3.7.2 超參數(shù)調(diào)優(yōu)技術(shù) 3.7.3 使用 PyTorch 的內(nèi)置超參數(shù)調(diào)優(yōu)工具 3.8 使用 PyTorch 訓(xùn)練回歸模型 3.9 JIT 編譯加速執(zhí)行 3.10 小結(jié) 習(xí)題 第四章 隨機增長模型的數(shù)值方法 4.1 模型設(shè)置 4.1.1 社會規(guī)劃者問題 4.1.2 求解方法 4.2 擾動法 4.3 投影法 4.3.1 有限元方法 4.3.2 切比雪夫多項式的譜方法 4.3.3 Smolyak 算法 4.3.4 與神經(jīng)網(wǎng)絡(luò)的聯(lián)系 4.4 值函數(shù)迭代 4.5 不同求解方法的表現(xiàn) 4.6 小結(jié) 習(xí)題 第五章 通過機器學(xué)習(xí)求解動態(tài)均衡模型 5.1 消費-儲蓄問題 5.2 深度學(xué)習(xí)解法 5.2.1 生命周期回報 5.2.2 歐拉方程 5.2.3 貝爾曼方程 5.3 PyTorch 實例 5.4 深度學(xué)習(xí)方法的優(yōu)勢 5.5 小結(jié) 習(xí)題 第六章 通過機器學(xué)習(xí)分析異質(zhì)代理人模型 6.1 具有總量不確定性的異質(zhì)代理人模型 6.1.1 經(jīng)濟環(huán)境 6.1.2 競爭均衡 6.2 主要計算挑戰(zhàn) 6.2.1 將分布作為狀態(tài)變量 6.2.2 分布的演化 6.3 基于機器學(xué)習(xí)的算法 6.3.1 基于直方圖的分布近似 6.3.2 基于神經(jīng)網(wǎng)絡(luò)的函數(shù)近似 6.3.3 值函數(shù)和策略函數(shù)迭代算法 6.4 小結(jié) 習(xí)題 第七章:強化學(xué)習(xí)與非最優(yōu)經(jīng)濟體 7.1 經(jīng)濟環(huán)境 7.1.1 家庭 7.1.2 政府 7.1.3 政府問題的遞歸表示 7.2 均衡的計算 7.2.1 集合 Ω 的刻畫 7.2.2 通過機器學(xué)習(xí)計算均衡 7.2.3 數(shù)值算法概述 7.3 小結(jié) 習(xí)題 參考文獻