第1章 大模型知識(shí)增強(qiáng)概述 1
1.1 大模型時(shí)代的通用人工智能 2
1.1.1 人類語言與世界知識(shí) 2
1.1.2 大模型是處理世界知識(shí)的通用
人工智能系統(tǒng) 2
1.1.3 通用人工智能的特征 3
1.2 大模型的知識(shí)力 8
1.2.1 什么是知識(shí) 8
1.2.2 知識(shí)的表示形式 9
1.2.3 大模型中的世界知識(shí) 11
1.3 知識(shí)圖譜與語言模型 14
1.3.1 知識(shí)表示與知識(shí)規(guī)模 15
1.3.2 為什么仍然需要符號(hào)知識(shí)圖譜 16
1.3.3 語言模型與知識(shí)圖譜都是表示和處理
知識(shí)的手段 16
1.4 大模型知識(shí)增強(qiáng) 17
1.4.1 大模型知識(shí)增強(qiáng)的分類 17
1.4.2 大模型知識(shí)增強(qiáng)的典型方法及核心概念 20
1.5 本章小結(jié) 21
第2章 知識(shí)增強(qiáng)預(yù)訓(xùn)練基礎(chǔ) 23
2.1 知識(shí)增強(qiáng)預(yù)訓(xùn)練概述 24
2.2 預(yù)訓(xùn)練語言模型 25
2.2.1 語言模型 25
2.2.2 詞向量與分布式語義表示 26
2.2.3 注意力機(jī)制：增強(qiáng)詞的交互關(guān)系 28
2.2.4 預(yù)訓(xùn)練語言模型 29
2.2.5 ChatGPT 31
2.3 知識(shí)增強(qiáng)的預(yù)訓(xùn)練 34
2.3.1 常見知識(shí)增強(qiáng)語料 34
2.3.2 知識(shí)增強(qiáng)詞向量 36
2.3.3 知識(shí)注入 37
2.3.4 結(jié)構(gòu)增強(qiáng) 43
2.4 應(yīng)用與實(shí)踐 47
2.4.1 知識(shí)增強(qiáng)電信預(yù)訓(xùn)練模型 47
2.4.2 知識(shí)增強(qiáng)電商預(yù)訓(xùn)練模型 53
2.4.3 知識(shí)增強(qiáng)蛋白質(zhì)預(yù)訓(xùn)練模型 56
2.5 本章小結(jié) 59
第3章 知識(shí)增強(qiáng)提示指令 60
3.1 知識(shí)增強(qiáng)提示指令概述 61
3.2 提示學(xué)習(xí)與指令精調(diào) 63
3.2.1 提示學(xué)習(xí) 63
3.2.2 指令精調(diào) 69
3.2.3 思維鏈 73
3.2.4 提示的本質(zhì) 74
3.3 知識(shí)增強(qiáng)提示學(xué)習(xí) 76
3.3.1 傳統(tǒng)提示學(xué)習(xí)的局限性 76
3.3.2 知識(shí)增強(qiáng)提示模板 76
3.3.3 知識(shí)增強(qiáng)標(biāo)簽詞集構(gòu)建 79
3.3.4 面向圖數(shù)據(jù)的提示學(xué)習(xí) 81
3.4 結(jié)構(gòu)增強(qiáng)思維鏈 83
3.4.1 傳統(tǒng)思維鏈的局限性 83
3.4.2 結(jié)構(gòu)化思維鏈 84
3.4.3 知識(shí)圖譜思維鏈 91
3.5 結(jié)構(gòu)增強(qiáng)指令精調(diào) 93
3.5.1 傳統(tǒng)指令精調(diào)的局限性 93
3.5.2 知識(shí)抽取指令 94
3.5.3 圖學(xué)習(xí)指令 97
3.5.4 知識(shí)圖譜指令 99
3.6 本章小結(jié) 100
第4章 知識(shí)輔助檢索增強(qiáng) 103
4.1 知識(shí)輔助檢索增強(qiáng)概述 104
4.2 檢索增強(qiáng)生成 105
4.2.1 什么是檢索增強(qiáng)生成 105
4.2.2 RAG的典型架構(gòu) 108
4.2.3 RAG的訓(xùn)練機(jī)制 111
4.2.4 RAG的優(yōu)化 114
4.2.5 RAG的局限性 114
4.3 知識(shí)圖譜與RAG 115
4.3.1 向量RAG與KG-RAG 115
4.3.2 知識(shí)圖譜對(duì)于RAG的價(jià)值 116
4.3.3 知識(shí)圖譜增強(qiáng)RAG的不同階段 118
4.4 KG-RAG的幾種典型架構(gòu) 121
4.4.1 Tree-RAG：構(gòu)建實(shí)體或主題
概念樹增強(qiáng)RAG 121
4.4.2 KE-RAG：利用知識(shí)抽取增強(qiáng)RAG 122
4.4.3 利用外部知識(shí)圖譜增強(qiáng)的KG-RAG 125
4.4.4 融合思維鏈的多模態(tài)KG-RAG 126
4.5 本章小結(jié) 127
第5章 知識(shí)增強(qiáng)大模型查詢問答 129
5.1 知識(shí)增強(qiáng)大模型查詢問答概述 130
5.2 查詢問答背景知識(shí) 131
5.2.1 結(jié)構(gòu)化知識(shí)表示 131
5.2.2 結(jié)構(gòu)化知識(shí)查詢 132
5.2.3 查詢問答方法 135
5.3 大模型查詢問答能力分析 137
5.4 知識(shí)增強(qiáng)查詢問答方法 138
5.4.1 基于大模型微調(diào)的查詢問答 138
5.4.2 基于檢索生成的查詢問答 139
5.4.3 基于統(tǒng)一表示的查詢問答 142
5.5 本章小結(jié) 144
第6章 知識(shí)增強(qiáng)大模型推理 146
6.1 知識(shí)增強(qiáng)大模型推理概述 147
6.2 知識(shí)推理背景介紹 148
6.2.1 什么是知識(shí)推理 148
6.2.2 語言模型推理 153
6.2.3 知識(shí)圖譜推理 156
6.2.4 知識(shí)增強(qiáng)大模型推理的目標(biāo) 162
6.3 知識(shí)圖譜增強(qiáng)語言模型推理 163
6.3.1 知識(shí)圖譜引導(dǎo)多跳推理鏈 163
6.3.2 符號(hào)規(guī)則引導(dǎo)大模型推理 166
6.3.3 知識(shí)圖譜過程監(jiān)督 170
6.4 語言模型增強(qiáng)知識(shí)圖譜推理 172
6.4.1 語言模型增強(qiáng)知識(shí)圖譜查詢推理 173
6.4.2 語言模型增強(qiáng)知識(shí)圖譜關(guān)系推理 175
6.4.3 語言模型增強(qiáng)知識(shí)圖譜規(guī)則推理 177
6.5 知識(shí)圖譜基礎(chǔ)模型 179
6.5.1 知識(shí)圖譜預(yù)訓(xùn)練方法 180
6.5.2 知識(shí)圖譜基礎(chǔ)模型初探 183
6.6 本章小結(jié) 186
第7章 知識(shí)增強(qiáng)幻覺抑制 188
7.1 知識(shí)增強(qiáng)幻覺抑制概述 189
7.2 大模型幻覺背景 190
7.2.1 大模型幻覺問題定義 190
7.2.2 大模型幻覺成因 192
7.2.3 大模型幻覺檢測(cè)與抑制意義 193
7.2.4 知識(shí)增強(qiáng)與幻覺抑制 194
7.3 大模型幻覺檢測(cè)與抑制 194
7.3.1 幻覺問題檢測(cè)方法 195
7.3.2 知識(shí)增強(qiáng)幻覺抑制 199
7.4 本章小結(jié) 206
第8章 大模型知識(shí)編輯 208
8.1 大模型知識(shí)編輯概述 209
8.2 大模型知識(shí)編輯問題 210
8.2.1 什么是大模型知識(shí)編輯 210
8.2.2 大模型知識(shí)分析方法 212
8.2.3 大模型知識(shí)存儲(chǔ)機(jī)制 214
8.3 模型知識(shí)編輯方法 217
8.3.1 基于外部干預(yù)的知識(shí)編輯方法 218
8.3.2 基于內(nèi)部更新的知識(shí)編輯方法 222
8.4 模型編輯影響分析 225
8.4.1 知識(shí)能力影響 225
8.4.2 通用能力影響 227
8.5 應(yīng)用與實(shí)踐 227
8.5.1 EasyEdit開源知識(shí)編輯工具實(shí)踐 227
8.5.2 OneEdit知識(shí)編輯框架 230
8.5.3 大模型知識(shí)編輯應(yīng)用 230
8.6 本章小結(jié) 232
第9章 知識(shí)增強(qiáng)多模態(tài)學(xué)習(xí) 233
9.1 知識(shí)增強(qiáng)多模態(tài)概述 234
9.1.1 人類認(rèn)知系統(tǒng) 234
9.1.2 融合兩種記憶 234
9.1.3 知識(shí)圖譜與多模態(tài)學(xué)習(xí) 235
9.2 多模態(tài)與大模型 236
9.2.1 多模態(tài)任務(wù)簡(jiǎn)介 236
9.2.2 多模態(tài)生成模型 238
9.2.3 多模態(tài)大模型 241
9.3 知識(shí)增強(qiáng)視覺問答 242
9.3.1 視覺問答與知識(shí)圖譜 243
9.3.2 知識(shí)增強(qiáng)視覺問答的基本過程 244
9.3.3 典型案例：知識(shí)增強(qiáng)多模態(tài)視覺問答 249
9.4 知識(shí)增強(qiáng)跨模態(tài)檢索 251
9.4.1 跨模態(tài)檢索與知識(shí)圖譜 251
9.4.2 典型案例：知識(shí)增強(qiáng)多模態(tài)語義檢索 252
9.5 知識(shí)增強(qiáng)低資源多模態(tài)學(xué)習(xí) 254
9.5.1 低資源學(xué)習(xí)與知識(shí)圖譜 254
9.5.2 典型案例：知識(shí)增強(qiáng)的零樣本學(xué)習(xí) 255
9.6 知識(shí)增強(qiáng)多模態(tài)生成 257
9.6.1 多模態(tài)生成任務(wù)概述 257
9.6.2 典型案例：知識(shí)增強(qiáng)視覺敘事 258
9.7 知識(shí)增強(qiáng)多模態(tài)幻覺檢測(cè) 260
9.7.1 領(lǐng)域知識(shí)與大模型幻覺檢測(cè) 260
9.7.2 典型案例：知識(shí)引導(dǎo)的多模態(tài)幻覺檢測(cè) 262
9.8 本章小結(jié) 264
第10章 知識(shí)智能體與世界模型 266
10.1 概述 267
10.2 AI智能體與工具調(diào)用 268
10.2.1 什么是AI智能體 268
10.2.2 AI智能體架構(gòu) 270
10.2.3 AI智能體學(xué)習(xí) 275
10.2.4 為什么需要知識(shí)增強(qiáng)AI智能體 276
10.3 知識(shí)增強(qiáng)的AI智能體 277
10.3.1 知識(shí)增強(qiáng)的單智能體規(guī)劃 277
10.3.2 知識(shí)增強(qiáng)的多智能體協(xié)同 281
10.4 總結(jié)與展望 282
10.4.1 大模型的知識(shí)機(jī)制 282
10.4.2 具身智能與世界模型 283
10.4.3 世界知識(shí)模型 284
參考文獻(xiàn) 286