第 1部分 思維模式：與LLM建立積極的關(guān)系

第 1章　利用大模型來(lái)輔助測(cè)試　3

1.1　認(rèn)識(shí)AI工具對(duì)測(cè)試和

開(kāi)發(fā)的影響　4

1.1.1　數(shù)據(jù)生成　4

1.1.2 自動(dòng)化測(cè)試構(gòu)建　5

1.1.3　測(cè)試設(shè)計(jì)　5

1.2　利用LLM創(chuàng)造價(jià)值　5

1.2.1　交付價(jià)值的模式　5

1.2.2　結(jié)合人類(lèi)和AI的能力　6

1.2.3　對(duì)LLM保持懷疑態(tài)度　11

小結(jié)　11

第 2章　大模型和提示詞工程　13

2.1　LLM解釋　14

2.2　降低使用LLM的風(fēng)險(xiǎn)　16

2.2.1　幻覺(jué)　16

2.2.2　數(shù)據(jù)來(lái)源　16

2.2.3　數(shù)據(jù)隱私　17

2.3　利用提示詞工程改善結(jié)果　18

2.4　檢驗(yàn)提示詞工程的原則　20

2.4.1　原則1：撰寫(xiě)清晰而具體的提示詞　20

2.4.2　策略1：使用分隔符　20

2.4.3　策略2：要求結(jié)構(gòu)化輸出　21

2.4.4　策略3：檢查假設(shè)　22

2.4.5　策略4：少樣本提示詞　25

2.4.6　原則2：給模型思考的時(shí)間　25

2.4.7　策略1：明確完成任務(wù)的步驟　26

2.4.8　策略2：引導(dǎo)模型先找出自己的解決方案　27

2.5　嘗試各種LLM　29

2.5.1　比較各類(lèi)LLM　29

2.5.2　嘗試流行的LLM　30

2.6　創(chuàng)建提示詞庫(kù)　32

2.7　使用提示詞解決問(wèn)題　33

小結(jié)　34

第3章　人工智能、自動(dòng)化和測(cè)試　35

3.1　測(cè)試的價(jià)值　35

3.1.1　不同的測(cè)試思維方式　36

3.1.2　更全面的測(cè)試方法　38

3.2　工具如何幫助測(cè)試　39

3.2.1　自動(dòng)化偏差　39

3.2.2　有選擇地使用工具　39

3.3　了解何時(shí)在測(cè)試中使用LLM　41

3.3.1　生成能力　41

3.3.2　轉(zhuǎn)換能力　42

3.3.3　增強(qiáng)能力　43

3.3.4　測(cè)試中使用的LLM　43

小結(jié)　44

第 2部分 技術(shù)：測(cè)試中的任務(wù)識(shí)別和提示詞工程

第4章　面向開(kāi)發(fā)人員的AI輔助測(cè)試　47

4.1　自動(dòng)化開(kāi)發(fā)人員的崛起　48

4.2　與LLM協(xié)作　50

4.2.1　分析想法　50

4.2.2　分析代碼　53

4.2.3　認(rèn)識(shí)到模擬的重要性　55

4.3　利用AI輔助提高產(chǎn)品質(zhì)量　55

4.4　利用LLM創(chuàng)建第 一個(gè)TDD循環(huán)　56

4.4.1　準(zhǔn)備工作　57

4.4.2　循環(huán)1：保存工期表?xiàng)l目　59

4.4.3　循環(huán)2：檢索工時(shí)表?xiàng)l目　60

4.4.4　循環(huán)3：計(jì)算項(xiàng)目工時(shí)　62

4.4.5　重構(gòu)代碼　63

4.5　使用LLM改進(jìn)文檔和溝通　68

4.5.1　生成代碼注釋　69

4.5.2　生成發(fā)布說(shuō)明　73

4.6　尋求與代碼助手之間的平衡　76

小結(jié)　76

第5章　AI輔助的測(cè)試計(jì)劃　78

5.1　現(xiàn)代測(cè)試中測(cè)試計(jì)劃的定義　79

5.1.1　測(cè)試計(jì)劃、LLM和影響域　79

5.2　通過(guò)模型進(jìn)行重點(diǎn)引導(dǎo)　80

5.2.1　不精準(zhǔn)的提示詞導(dǎo)致不精準(zhǔn)的建議　80

5.2.2　什么是模型，為什么模型可以幫助我們理解　81

5.3　結(jié)合模型和LLM來(lái)協(xié)助測(cè)試計(jì)劃　82

5.3.1　創(chuàng)建明確提示詞的模型　82

5.3.2　嘗試不同的模型類(lèi)型　88

5.4　LLM與測(cè)試用例　91

5.4.1　對(duì)生成的風(fēng)險(xiǎn)和測(cè)試用例持適當(dāng)?shù)膽岩蓱B(tài)度　93

小結(jié)　93

第6章　利用AI快速創(chuàng)建數(shù)據(jù)　94

6.1　使用LLM生成和轉(zhuǎn)換數(shù)據(jù)　94

6.1.1　引導(dǎo)LLM生成簡(jiǎn)單數(shù)據(jù)集　95

6.1.2　將測(cè)試數(shù)據(jù)轉(zhuǎn)換為不同格式　99

6.2　使用LLM處理復(fù)雜的測(cè)試數(shù)據(jù)　101

6.2.1　在提示詞中使用格式標(biāo)準(zhǔn)　101

6.2.2　作為提示詞引導(dǎo)的SQL導(dǎo)出　106

6.3　將LLM設(shè)置為測(cè)試數(shù)據(jù)管理器　109

6.3.1　設(shè)置OpenAI賬戶(hù)　109

6.3.2　連接OpenAI　111

6.4　從測(cè)試數(shù)據(jù)生成中獲益　115

小結(jié)　116

第7章　利用AI加速和改進(jìn)UI自動(dòng)化　117

7.1　快速創(chuàng)建UI自動(dòng)化　117

7.1.1　設(shè)置項(xiàng)目　121

7.1.2　利用ChatGPT輔助創(chuàng)建初始校驗(yàn)　123

7.1.3　從生成的代碼中填補(bǔ)空白　129

7.2　改進(jìn)現(xiàn)有的UI自動(dòng)化　131

7.2.1　更新?tīng)顟B(tài)管理以使用適當(dāng)?shù)膶印?31

7.2.2　熟練使用AI工具　136

小結(jié)　136

第8章　利用AI輔助探索性測(cè)試　137

8.1　使用LLM組織探索性測(cè)試　138

8.1.1　用LLM增強(qiáng)已識(shí)別的風(fēng)險(xiǎn)　138

8.1.2　用LLM擴(kuò)充準(zhǔn)則列表　142

8.2　在探索性測(cè)試中使用LLM　144

8.2.1　建立理解　145

8.2.2　創(chuàng)建會(huì)話(huà)的數(shù)據(jù)要求　147

8.2.3　探索和跟進(jìn)缺陷　151

8.2.4　使用LLM協(xié)助探索性測(cè)試　153

8.3　用LLM總結(jié)測(cè)試記錄　154

小結(jié)　158

第9章　作為測(cè)試助手的AI智能體　159

9.1　理解AI智能體和LLM　159

9.1.1　AI智能體的定義　160

9.1.2　智能體如何與LLM配合工作　160

9.2　創(chuàng)建AI測(cè)試助手　161

9.2.1　設(shè)置虛擬AI智能體　162

9.2.2　賦予AI智能體執(zhí)行函數(shù)　165

9.2.3　將工具串聯(lián)起來(lái)　169

9.3　利用AI測(cè)試助手向前邁進(jìn)　172

9.3.1　AI測(cè)試助手示例　172

9.3.2　應(yīng)對(duì)與智能體合作的挑戰(zhàn)　175

小結(jié)　176

第3部分 上下文：為測(cè)試上下文定制LLM

第 10章　引入定制的LLM　179

10.1　LLM和上下文面臨的挑戰(zhàn)　179

10.1.1　詞元、上下文窗口和限制　181

10.1.2　嵌入上下文作為解決方案　183

10.2　將上下文進(jìn)一步嵌入提示詞和LLM中　183

10.2.1　RAG　184

10.2.2　微調(diào)LLM　185

10.2.3　比較兩種方法　188

10.2.4　結(jié)合RAG和微調(diào)　190

小結(jié)　190

第 11章　基于RAG的上下文提示詞　192

11.1　利用RAG擴(kuò)展提示詞　192

11.2　構(gòu)建RAG框架　194

11.2.1　構(gòu)建我們自己的RAG框架　195

11.2.2　測(cè)試RAG框架　203

11.3　提升RAG的數(shù)據(jù)存儲(chǔ)能力　205

11.3.1　使用向量數(shù)據(jù)庫(kù)　205

11.3.2　建立基于向量數(shù)據(jù)庫(kù)的RAG　207

11.3.3　測(cè)試基于向量數(shù)據(jù)庫(kù)的RAG框架　209

11.3.4　繼續(xù)推進(jìn)RAG框架　211

小結(jié)　212

第 12章　使用業(yè)務(wù)領(lǐng)域知識(shí)微調(diào)LLM　213

12.1　探索微調(diào)過(guò)程　213

12.1.1　微調(diào)過(guò)程概覽　214

12.1.2　目標(biāo)設(shè)定　214

12.2　執(zhí)行微調(diào)環(huán)節(jié)　215

12.2.1　準(zhǔn)備訓(xùn)練數(shù)據(jù)　215

12.2.2　預(yù)處理和設(shè)置　219

12.2.3　使用微調(diào)工具　224

12.2.4　啟動(dòng)微調(diào)運(yùn)行　224

12.2.5　測(cè)試微調(diào)結(jié)果　225

12.2.6　微調(diào)的經(jīng)驗(yàn)教訓(xùn)　228

小結(jié)　228

附錄A　設(shè)置和使用ChatGPT　230

附錄B　設(shè)置和使用GitHub Copilot　233

B.1　設(shè)置Copilot　233

B.1.1　設(shè)置Copilot賬戶(hù)　234

B.1.2　安裝Copilot插件　234

B.1.3　授予Copilot賬戶(hù)訪問(wèn)權(quán)限　234

B.2　使用Copilot　236

B.2.1　探索建議　236

附錄C　探索性測(cè)試記錄　238