第 一部分 計(jì)算機(jī)視覺導(dǎo)論



第 1章 初探計(jì)算機(jī)視覺　2

1.1 什么是計(jì)算機(jī)視覺　2

1.2 為什么需要計(jì)算機(jī)視覺　3

1.3 計(jì)算機(jī)視覺的難點(diǎn)與挑戰(zhàn)　3

1.4 計(jì)算機(jī)視覺的歷史與發(fā)展　5

1.5 計(jì)算機(jī)視覺中變量的數(shù)學(xué)符號約定　6

1.6 小結(jié)　7



第二部分 圖像處理



第 2章 卷積　10

2.1 簡介　10

2.2 一維卷積　11

2.2.1 沖激信號　14

2.2.2 方波信號　15

2.3 二維卷積　16

2.3.1 沖激信號　18

2.3.2 方波信號　20

2.4 小結(jié)　21

第3章 圖像濾波　22

3.1 簡介　22

3.2 圖像噪聲　22

3.2.1 椒鹽噪聲　22

3.2.2 高斯噪聲　24

3.3 均值濾波　24

3.4 高斯濾波　27

3.5 雙邊濾波　30

3.6 中值濾波　32

3.7 圖像銳化　34

3.8 小結(jié)　35

第4章 模板匹配　37

4.1 簡介　37

4.2 模板匹配的實(shí)現(xiàn)　37

4.2.1 匹配步驟　38

4.2.2 相似度度量　38

4.3 多目標(biāo)模板匹配　42

4.4 小結(jié)　45

第5章 邊緣檢測　46

5.1 簡介　46

5.2 邊緣檢測的數(shù)學(xué)模型　46

5.3 邊緣檢測算法　48

5.3.1 Sobel邊緣檢測算法　48

5.3.2 Canny邊緣檢測算法　51

5.4 小結(jié)　62

5.5 參考文獻(xiàn)　62

第6章 角點(diǎn)檢測　63

6.1 簡介　63

6.2 Harris角點(diǎn)檢測算法　64

6.2.1 計(jì)算像素值變化量　64

6.2.2 計(jì)算角點(diǎn)響應(yīng)函數(shù)　66

6.3 代碼實(shí)現(xiàn)　67

6.4 圖像變換對角點(diǎn)檢測的影響　70

6.5 小結(jié)　71

第7章 SIFT特征檢測　72

7.1 塊狀區(qū)域檢測與尺度空間　72

7.2 SIFT算法　76

7.2.1 局部極值點(diǎn)檢測　76

7.2.2 特征點(diǎn)定位與篩選　77

7.2.3 特征點(diǎn)方向計(jì)算　79

7.2.4 特征點(diǎn)描述　80

7.3 代碼實(shí)現(xiàn)　81

7.4 小結(jié)　94

7.5 參考文獻(xiàn)　94

第8章 圖像拼接　95

8.1 簡介　95

8.2 圖像變換　96

8.3 圖像拼接算法　97

8.3.1 計(jì)算變換矩陣　98

8.3.2 利用RANSAC算法去除誤匹配　99

8.3.3 圖像變換與縫合　101

8.4 代碼實(shí)現(xiàn)　101

8.5 小結(jié)　106

8.6 拓展閱讀　107

第9章 圖像分割　108

9.1 簡介　108

9.2 圖像分割算法　109

9.2.1 基于k均值聚類的圖像分割算法　109

9.2.2 基于圖切割的圖像分割算法　113

9.3 小結(jié)　117

9.4 參考文獻(xiàn)　118



第三部分 視覺識別



第 10章 圖像分類　120

10.1 簡介　120

10.2 數(shù)據(jù)集和度量　122

10.3 基于視覺詞袋模型的圖像分類算法　122

10.4 基于深度卷積網(wǎng)絡(luò)的圖像分類算法　128

10.5 小結(jié)　138

10.6 參考文獻(xiàn)　138

第 11章 語義分割　140

11.1 簡介　140

11.2 數(shù)據(jù)集和度量　141

11.3 全卷積網(wǎng)絡(luò)　141

11.3.1 上采樣　143

11.3.2 跳躍連接　145

11.4 FCN代碼實(shí)現(xiàn)　149

11.5 小結(jié)　156

11.6 參考文獻(xiàn)　156

第 12章 目標(biāo)檢測　157

12.1 簡介　157

12.2 數(shù)據(jù)集和度量　158

12.3 目標(biāo)檢測模型　159

12.3.1 R-CNN　160

12.3.2 Fast R-CNN　162

12.3.3 Faster R-CNN　166

12.4 RPN代碼整體框架　168

12.4.1 訓(xùn)練模塊　173

12.4.2 head模塊　179

12.4.3 anchor_generator模塊　180

12.4.4 box_coder模塊　184

12.4.5 filter_proposal模塊　188

12.5 代碼運(yùn)行示例　191

12.6 小結(jié)　194

12.7 參考文獻(xiàn)　194

第 13章 實(shí)例分割　195

13.1 簡介　195

13.2 數(shù)據(jù)集和度量　196

13.3 Mask R-CNN　196

13.3.1 特征金字塔網(wǎng)絡(luò)　197

13.3.2 感興趣區(qū)域?qū)�齊　200

13.4 代碼運(yùn)行示例　205

13.5 小結(jié)　208

13.6 參考文獻(xiàn)　209

第 14章 人體姿態(tài)估計(jì)　210

14.1 簡介　210

14.2 數(shù)據(jù)集和度量　211

14.2.1 數(shù)據(jù)集　211

14.2.2 評測指標(biāo)　211

14.3 人體姿態(tài)估計(jì)模型——DeepPose　212

14.3.1 基于深度神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計(jì)　212

14.3.2 級聯(lián)回歸　213

14.4 DeepPose代碼實(shí)現(xiàn)　215

14.5 小結(jié)　217

14.6 參考文獻(xiàn)　218

第 15章 動作識別　219

15.1 簡介　219

15.2 數(shù)據(jù)集和度量　220

15.2.1 數(shù)據(jù)集　220

15.2.2 評測指標(biāo)　220

15.3 動作識別模型——C3D　220

15.3.1 三維卷積　221

15.3.2 C3D模型　223

15.4 C3D代碼實(shí)現(xiàn)　224

15.5 小結(jié)　225

15.6 參考文獻(xiàn)　226



第四部分 場景重建



第 16章 照相機(jī)標(biāo)定　228

16.1 簡介　228

16.2 照相機(jī)成像原理　228

16.2.1 照相機(jī)模型　229

16.2.2 坐標(biāo)系的定義　229

16.2.3 照相機(jī)外參　229

16.2.4 照相機(jī)內(nèi)參　230

16.2.5 投影矩陣　232

16.2.6 畸變　233

16.3 照相機(jī)標(biāo)定的實(shí)現(xiàn)　235

16.3.1 標(biāo)定板　235

16.3.2 標(biāo)定流程　236

16.3.3 代碼實(shí)現(xiàn)　238



16.4 小結(jié)　247

第 17章 運(yùn)動場和光流　248

17.1 簡介　248

17.2 運(yùn)動場　249

17.3 光流　250

17.3.1 特征點(diǎn)法　250

17.3.2 直接法　250

17.3.3 Lucas-Kanade光流法　251

17.3.4 Lucas-Kanade光流法的改進(jìn)　252

17.4 代碼實(shí)現(xiàn)　253

17.5 小結(jié)　261

17.6 參考文獻(xiàn)　261

第 18章 平行雙目視覺　262

18.1 簡介　262

18.2 平行雙目照相機(jī)　262

18.2.1 概念定義　262

18.2.2 視差　263

18.2.3 雙目特征匹配　264

18.2.4 全局優(yōu)化　265

18.3 代碼實(shí)現(xiàn)　266

18.4 小結(jié)　270

18.5 參考文獻(xiàn)　271

第 19章 三維重建　272

19.1 簡介　272

19.2 對極幾何　273

19.2.1 數(shù)學(xué)定義　273

19.2.2 本質(zhì)矩陣　275

19.2.3 利用八點(diǎn)法求解基礎(chǔ)矩陣　277

19.2.4 通過本質(zhì)矩陣求解照相機(jī)位姿　278

19.3 三角測量　278

19.4 代碼實(shí)現(xiàn)　280

19.5 小結(jié)　290

總結(jié)與展望　291

中英文術(shù)語對照表　293