DeepSeek圖解:大模型是怎樣構(gòu)建的
定 價(jià):89 元
當(dāng)前圖書已被 2 所學(xué)校薦購(gòu)過!
查看明細(xì)
- 作者:張治政,薛棟,公鑫 著
- 出版時(shí)間:2024/12/1
- ISBN:9787301362020
- 出 版 社:北京大學(xué)出版社
- 中圖法分類:TP18-64
- 頁(yè)碼:
- 紙張:
- 版次:
- 開本:16開
《DeepSeek圖解:大模型是怎樣構(gòu)建的》是一本系統(tǒng)講解DeepSeek開發(fā)的技術(shù)指南,傳授大家開發(fā)DeepSeek模型的基礎(chǔ)知識(shí)。旨在幫助讀者深入理解DeepSeek的工作機(jī)制,并掌握其在大規(guī)模預(yù)訓(xùn)練、推理優(yōu)化及應(yīng)用開發(fā)中的關(guān)鍵技術(shù)。
全書共10章,依次介紹文本預(yù)處理、特征提取、文本分類與情感分析、語言的生成、機(jī)器翻譯、DeepSeek的核心Transformer模型、多模態(tài)模型的架構(gòu)和訓(xùn)練、預(yù)訓(xùn)練模型的訓(xùn)練與微調(diào)、DeepSeek API應(yīng)用開發(fā)實(shí)戰(zhàn),以及基于DeepSeek的Web知識(shí)庫(kù)系統(tǒng)。
《DeepSeek圖解:大模型是怎樣構(gòu)建的》不僅適合對(duì)大模型感興趣的技術(shù)人員閱讀,也適合人工智能研究者、開發(fā)者及行業(yè)從業(yè)者等閱讀。
(1)圖解奧義 :思維導(dǎo)圖詳解大模型構(gòu)建之道,開啟AI智能新時(shí)代
(2)全面覆蓋:從文本預(yù)處理到知識(shí)庫(kù)系統(tǒng),全鏈路解析DeepSeek核心技術(shù)
(3)實(shí)戰(zhàn)演練:理論與實(shí)戰(zhàn)交織,深度剖析大模型構(gòu)建的關(guān)鍵環(huán)節(jié)
(4)聚焦未來:聚焦Transformer、多模態(tài)與MoE,助你掌握未來智能發(fā)展的密碼
張治政
----------------------------
張治政,中國(guó)海洋大學(xué)計(jì)算機(jī)碩士,哈爾濱工業(yè)大學(xué)通信博士,百度云研發(fā)工程師,百度大模型工程師,在大規(guī)模機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、數(shù)據(jù)搜索、行業(yè)垂直應(yīng)用、研發(fā)管理等領(lǐng)域擁有豐富經(jīng)驗(yàn)。在企業(yè)智能化轉(zhuǎn)型、業(yè)務(wù)線上化經(jīng)營(yíng)、擁有豐富的大規(guī)模搜索架構(gòu)、個(gè)性化推薦架構(gòu)、機(jī)器學(xué)習(xí)系統(tǒng)架構(gòu)經(jīng)驗(yàn)和技術(shù)團(tuán)隊(duì)管理經(jīng)驗(yàn),F(xiàn)在從事城市大數(shù)據(jù)中心的開發(fā)和建設(shè)工作,將深度學(xué)習(xí)運(yùn)用到數(shù)字經(jīng)濟(jì)等領(lǐng)域。
薛棟
----------------------------
薛棟,華東理工大學(xué)信息科學(xué)與技術(shù)學(xué)院副教授、碩士生導(dǎo)師,德國(guó)慕尼黑工業(yè)大學(xué)工學(xué)博士,上海市高層次青年人才計(jì)劃上海市浦江人才計(jì)劃獲得者。所在的X-D Lab(心動(dòng)實(shí)驗(yàn)室)致力于人工智能技術(shù)的探索與研究,已發(fā)布多個(gè)垂直領(lǐng)域的大模型項(xiàng)目,包括心理領(lǐng)域的MindChat(漫談)、醫(yī)療領(lǐng)域的 Sunsimiao(孫思邈)、教育領(lǐng)域的 GradChat(錦鯉)。
公鑫
----------------------------
公鑫,東南大學(xué)副教授,香港大學(xué)控制工程專業(yè)博士,研究領(lǐng)域主要聚焦集群智能,包括分布式控制、估計(jì)與優(yōu)化、基于分布式估計(jì)和數(shù)字孿生的復(fù)合網(wǎng)絡(luò)攻擊與防御等。現(xiàn)任中國(guó)指揮與控制學(xué)會(huì)高級(jí)會(huì)員和青工委委員、中國(guó)自動(dòng)化學(xué)會(huì)會(huì)員、中國(guó)計(jì)算機(jī)學(xué)會(huì)會(huì)員和網(wǎng)絡(luò)彈性專委會(huì)委員、IEEE Member,并在多個(gè)國(guó)際期刊和會(huì)議上擔(dān)任審稿人和分會(huì)場(chǎng)主席,曾獲多項(xiàng)杰出審稿人獎(jiǎng)。
目錄
第1章 明月松間照,清泉石上流:文本預(yù)處理
1.1? 分詞
1.1.1 分詞的重要性和基本原理
1.1.2 基于空格的分詞
1.1.3 基于標(biāo)點(diǎn)符號(hào)的分詞
1.2? 詞干化與詞形還原
1.2.1 詞干化與詞形還原的區(qū)別
1.2.2 詞干化
1.2.3 詞形還原
1.3? 去除停用詞
1.3.1 什么是停用詞
1.3.2 基于詞匯列表的去除
1.3.3 基于詞頻的去除
1.3.4 TF-IDF 方法去除
1.3.5 機(jī)器學(xué)習(xí)方法去除
1.4? 數(shù)據(jù)清洗和處理
1.4.1 處理缺失值
1.4.2 異常值檢測(cè)與處理
1.4.3 處理重復(fù)數(shù)據(jù)
第2章 大音希聲,大象無形:特征提取
2.1? 特征提取介紹
2.1.1 特征在大模型中的關(guān)鍵作用
2.1.2 特征提取與數(shù)據(jù)預(yù)處理的關(guān)系
2.2? 特征選擇
2.2.1 特征選擇的必要性
2.2.2 特征選擇的方法
2.3? 特征抽取
2.3.1 特征抽取的概念
2.3.2 主成分分析
2.3.3 獨(dú)立成分分析
2.3.4 自動(dòng)編碼器
2.4? 嵌入
2.4.1 嵌入介紹
2.4.2 使用嵌入層進(jìn)行特征提取
2.4.3 Word2Vec 模型
2.4.4 GloVe 模型
2.5? 詞袋模型
2.5.1 實(shí)現(xiàn)詞袋模型的步驟
2.5.2 詞袋模型的限制與改進(jìn)
2.6? TF-IDF 值
2.6.1 什么是 TF-IDF
2.6.2 使用 TF-IDF 方法提取文本特征
2.6.3 TF-IDF 方法與詞袋模型的比較
第3章 人有悲歡離合,月有陰晴圓缺:文本分類與情感分析
3.1? 樸素貝葉斯分類器
3.1.1 樸素貝葉斯分類器的基本概念
3.1.2 樸素貝葉斯分類器的應(yīng)用場(chǎng)景
3.2? 支持向量機(jī)
3.2.1 SVM 介紹
3.2.2 線性 SVM 與非線性 SVM
3.3? 隨機(jī)森林
3.3.1 隨機(jī)森林介紹
3.3.2 隨機(jī)森林的應(yīng)用場(chǎng)景
3.4? 卷積神經(jīng)網(wǎng)絡(luò)
3.4.1 CNN 的發(fā)展背景
3.3.2 CNN 的結(jié)構(gòu)
3.3.3 文本特征提取與分類
3.5? 循環(huán)神經(jīng)網(wǎng)絡(luò)
3.5.1 循環(huán)神經(jīng)網(wǎng)絡(luò)介紹
3.5.2 使用 TensorFlow 框架制作情感分析模型
3.6? 遞歸神經(jīng)網(wǎng)絡(luò)
3.6.1 遞歸神經(jīng)網(wǎng)絡(luò)的主要特點(diǎn)
3.6.2 RvNN
第4章 白日依山盡,黃河入海流:語言的生成
4.1? 基于規(guī)則的生成
4.1.1 基于規(guī)則的生成方法介紹
4.1.2 基于規(guī)則的生成方法在 NLP 中的應(yīng)用場(chǎng)景
4.2? 基于統(tǒng)計(jì)的生成
4.2.1 基于統(tǒng)計(jì)的生成方法介紹
4.2.2 N-gram 模型
4.2.3 隱馬爾可夫模型
4.2.4 最大熵模型
4.3? 基于神經(jīng)網(wǎng)絡(luò)的生成
4.3.1 基于神經(jīng)網(wǎng)絡(luò)的生成方法
4.3.2 生成對(duì)抗網(wǎng)絡(luò)
4.4? 注意力機(jī)制
4.4.1 注意力機(jī)制介紹
4.4.2 注意力機(jī)制的變體
4.5? 序列到序列模型
4.5.1 Seq2Seq 模型介紹
4.5.2 使用 Seq2Seq 模型實(shí)現(xiàn)翻譯系統(tǒng)
第5章 海內(nèi)存知己,天涯若比鄰:機(jī)器翻譯
5.1? 統(tǒng)計(jì)機(jī)器翻譯
5.1.1 SMT 介紹
5.1.2 SMT 模型
5.1.3 SMT 的訓(xùn)練和解碼
5.2? 神經(jīng)機(jī)器翻譯
5.2.1 NMT 的特點(diǎn)和工作流程
5.2.2 NMT 的訓(xùn)練和解碼
5.2.3 基于 NMT 的簡(jiǎn)易翻譯系統(tǒng)
第6章 會(huì)當(dāng)凌絕頂,一覽眾山。篋eepSeek 的核心 Transformer 模型
6.1? Transformer 模型介紹
6.1.1 Transformer 模型的基本概念
6.1.2 Transformer 模型的優(yōu)勢(shì)
6.1.3 Transformer 模型的核心組件
6.1.4 機(jī)器翻譯任務(wù)中的 Transformer 模型
6.2? 多頭注意力機(jī)制和多頭潛在注意力
6.2.1 多頭注意力機(jī)制
6.2.2 多頭潛在注意力
6.3? 混合專家架構(gòu)
6.3.1 MoE 架構(gòu)介紹
6.3.2 MoE 架構(gòu)的特點(diǎn)
6.3.3 MoE 架構(gòu)的應(yīng)用
6.3.4 DeepSeek 中的 MoE 架構(gòu)介紹
第7章 大漠孤煙直,長(zhǎng)河落日?qǐng)A:多模態(tài)模型的架構(gòu)和訓(xùn)練
7.1? 多模態(tài)技術(shù)簡(jiǎn)介
7.1.1 多模態(tài)介紹
7.1.2 多模態(tài)技術(shù)的發(fā)展歷史
7.2? DeepSeek 的多模態(tài)大模型
7.2.1 DeepSeek 多模態(tài)大模型的發(fā)展歷程
7.2.2 架構(gòu)介紹
7.2.3 多模態(tài)理解
7.2.4 視覺生成路徑
7.2.5 自回歸 Transformer 模型
7.2.6 三階段訓(xùn)練策略
7.3? 訓(xùn)練策略
7.3.1 多任務(wù)學(xué)習(xí)
7.3.2 全量微調(diào)
7.3.3 對(duì)比學(xué)習(xí)
7.3.4 參數(shù)高效微調(diào)
7.3.5 遷移學(xué)習(xí)
7.3.6 人類反饋強(qiáng)化學(xué)習(xí)
7.3.7 動(dòng)態(tài)學(xué)習(xí)率調(diào)整
7.3.8 監(jiān)督微調(diào)
第8章 學(xué)而時(shí)習(xí)之,不亦說乎:預(yù)訓(xùn)練模型的訓(xùn)練和微調(diào)
8.1? 預(yù)訓(xùn)練模型的訓(xùn)練和微調(diào)介紹
8.1.1 預(yù)訓(xùn)練
8.1.2 微調(diào)
8.1.3 預(yù)訓(xùn)練與微調(diào)的對(duì)比
8.2? CLIP 模型的微調(diào)
8.2.1 實(shí)例介紹
8.2.2 創(chuàng)建文本和圖像配對(duì)數(shù)據(jù)集
8.2.3 創(chuàng)建模型
8.2.4 訓(xùn)練模型
8.2.5 模型微調(diào)
8.2.6 調(diào)試運(yùn)行
8.3? 使用 KTO 微調(diào) DeepSeek-R1-Distill Qwen 模型
8.3.1 KTO 的概念
8.3.2 DeepSeek-R1-Distill-Qwen 模型介紹
8.3.3 具體實(shí)現(xiàn)
第9章 千帆過盡,始見真章:DeepSeek API 應(yīng)用開發(fā)實(shí)戰(zhàn)
9.1? DeepSeek API 開發(fā)基礎(chǔ)
9.1.1 DeepSeek API 介紹
9.1.2 DeepSeek API 基本教程
9.1.3 基于 DeepSeek API 的對(duì)話應(yīng)用程序
9.2? DeepSeek 的基本接入實(shí)戰(zhàn)
9.2.1 Chatbox 接入實(shí)戰(zhàn)
9.2.2 NextChat 接入實(shí)戰(zhàn)
9.3? 社交媒體工具接入實(shí)戰(zhàn)
9.3.1 基于 DeepSeek 的微信聊天 機(jī)器人
9.3.2 基于 DeepSeek 的 QQ 機(jī)器人
9.4? 將 DeepSeek 接入到 Office
9.4.1 OfficeAI 介紹
9.4.2 在 Word 中應(yīng)用 DeepSeek
9.4.3 在 Excel 中應(yīng)用 DeepSeek
9.5? 將 DeepSeek 接入 VS Code
9.5.1 Continue 插件基礎(chǔ)
9.5.2 將 DeepSeek 接入 VS Code 316
9.5.3 調(diào)用 DeepSeek 生成代碼
9.5.4 DeepSeek 代碼生成和補(bǔ)全
第 10 章 紙上得來終覺淺,絕知此事要躬行:基于 DeepSeek 的 Web 知識(shí)庫(kù)系統(tǒng)
10.1? 項(xiàng)目介紹
10.1.1 背景介紹
10.1.2 市場(chǎng)需求
10.1.3 主要功能
10.1.4 技術(shù)棧
10.2? 配置文件和基礎(chǔ)工具函數(shù)
10.2.1 導(dǎo)航欄配置
10.2.2 基礎(chǔ)工具函數(shù)
10.2.3 API 交互工具函數(shù)
10.3? 組件
10.3.1 頁(yè)面布局組件
10.3.2 聊天組件
10.4? 調(diào)試運(yùn)行