目錄
前言
第1章 緒論 1
1.1 視頻物體分割的概念 1
1.1.1 計(jì)算機(jī)視覺(jué)處理任務(wù)的語(yǔ)義層級(jí)劃分 1
1.1.2 視頻物體分割的定義 4
1.1.3 視頻物體分割的任務(wù)劃分 5
1.2 視頻物體分割的應(yīng)用領(lǐng)域 8
1.3 視頻物體分割中的關(guān)鍵問(wèn)題 10
1.4 視頻物體分割的研究現(xiàn)狀 11
1.4.1 圖像分割技術(shù)的研究現(xiàn)狀 11
1.4.2 無(wú)監(jiān)督視頻物體分割的研究現(xiàn)狀 14
1.4.3 半監(jiān)督視頻物體分割的研究現(xiàn)狀 15
1.4.4 交互式視頻物體分割的研究現(xiàn)狀 17
1.5 本章小結(jié) 18
第2章 運(yùn)動(dòng)和表觀(guān)特征融合的視頻物體分割技術(shù) 21
2.1 引言 21
2.2 視頻的運(yùn)動(dòng)光流預(yù)測(cè) 22
2.3 基于運(yùn)動(dòng)和表觀(guān)特征融合的視頻物體分割模型 23
2.3.1 神經(jīng)網(wǎng)絡(luò)架構(gòu) 25
2.3.2 雙向傳播與迭代優(yōu)化 27
2.4 實(shí)驗(yàn)結(jié)果與分析 30
2.4.1 數(shù)據(jù)集和評(píng)測(cè)指標(biāo) 30
2.4.2 算法的有效性驗(yàn)證 31
2.4.3 算法評(píng)價(jià) 32
2.5 本章小結(jié) 38
第3章 追蹤和前景分割融合的視頻物體分割技術(shù) 39
3.1 引言 39
3.2 視頻目標(biāo)追蹤算法 40
3.3 基于部件追蹤的快速視頻物體分割技術(shù) 42
3.3.1 部件追蹤 43
3.3.2 部件分割 46
3.3.3 基于相似度的掩模合成 47
3.4 實(shí)驗(yàn)結(jié)果與分析 49
3.4.1 數(shù)據(jù)集和評(píng)測(cè)指標(biāo) 49
3.4.2 追蹤器對(duì)比實(shí)驗(yàn) 50
3.4.3 算法有效性驗(yàn)證實(shí)驗(yàn) 51
3.4.4 算法評(píng)價(jià) 53
3.5 本章小結(jié) 57
第4章 視頻物體分割算法的訓(xùn)練優(yōu)化 59
4.1 引言 59
4.2 訓(xùn)練樣本擴(kuò)增技術(shù) 60
4.2.1 視頻物體分割中的掩模數(shù)據(jù)擴(kuò)充 60
4.2.2 視頻物體分割中的光流數(shù)據(jù)擴(kuò)充 62
4.3 訓(xùn)練損失函數(shù)設(shè)計(jì) 64
4.3.1 聯(lián)合學(xué)習(xí) 64
4.3.2 視頻物體分割中的掩模邊緣問(wèn)題分析 65
4.3.3 視頻物體分割的掩模-邊緣聯(lián)合損失函數(shù)設(shè)計(jì) 66
4.4 實(shí)驗(yàn)結(jié)果與分析 69
4.4.1 數(shù)據(jù)集和評(píng)測(cè)指標(biāo) 69
4.4.2 訓(xùn)練樣本擴(kuò)增技術(shù)的有效性驗(yàn)證 70
4.4.3 掩模-邊緣聯(lián)合損失函數(shù)的參數(shù)分析 73
4.4.4 掩模-邊緣聯(lián)合損失函數(shù)的有效性驗(yàn)證 75
4.4.5 聯(lián)合學(xué)習(xí)網(wǎng)絡(luò)的性能分析 76
4.5 本章小結(jié) 78
第5章 視頻物體分割算法的掩模優(yōu)化 79
5.1 引言 79
5.2 掩模優(yōu)化技術(shù)概述 80
5.3 條件隨機(jī)場(chǎng)掩模優(yōu)化技術(shù) 82
5.3.1 基于平均場(chǎng)近似的 CRF 掩模優(yōu)化 82
5.3.2 基于神經(jīng)網(wǎng)絡(luò)的 CRF 掩模優(yōu)化 84
5.4 基于空間傳播網(wǎng)絡(luò)的掩模優(yōu)化 86
5.5 基于目標(biāo)連通域的掩模優(yōu)化 89
5.6 實(shí)驗(yàn)結(jié)果與分析 92
5.6.1 CRF掩模優(yōu)化效果 92
5.6.2 SPN掩模優(yōu)化效果 93
5.6.3 基于連通域的掩模優(yōu)化效果 94
5.7 本章小結(jié) 95
第6章 視頻物體分割算法的質(zhì)量評(píng)估 96
6.1 引言 96
6.2 分割掩模質(zhì)量評(píng)估方法 97
6.2.1 有標(biāo)注條件下的掩模質(zhì)量評(píng)估 97
6.2.2 無(wú)標(biāo)注條件下的掩模質(zhì)量評(píng)估 100
6.3 基于深度學(xué)習(xí)的視頻物體分割掩模質(zhì)量自動(dòng)評(píng)估算法 102
6.3.1 數(shù)據(jù)準(zhǔn)備 102
6.3.2 模型介紹 106
6.3.3 模型訓(xùn)練 107
6.3.4 模型應(yīng)用 107
6.4 實(shí)驗(yàn)結(jié)果與分析 108
6.4.1 網(wǎng)絡(luò)各模塊有效性分析 108
6.4.2 網(wǎng)絡(luò)對(duì)不同評(píng)價(jià)指標(biāo)的預(yù)測(cè)能力分析 109
6.4.3 模型參數(shù)分析 110
6.4.4 模型特征組合方式分析 111
6.4.5 模型通用性驗(yàn)證 113
6.5 自動(dòng)質(zhì)量評(píng)估算法的實(shí)際應(yīng)用 114
6.5.1 自動(dòng)質(zhì)量評(píng)估算法用于掩模篩選 114
6.5.2 自動(dòng)質(zhì)量評(píng)估算法用于參數(shù)搜索 114
6.5.3 自動(dòng)質(zhì)量評(píng)估算法用于任意視頻的掩模質(zhì)量評(píng)價(jià) 116
6.6 本章小結(jié) 118
第7章 視頻物體分割算法的應(yīng)用推廣 119
7.1 引言 119
7.2 視頻物體分割在視頻編輯中的應(yīng)用實(shí)例 119
7.2.1 背景替換 119
7.2.2 實(shí)時(shí)特效 121
7.3 視頻物體分割在人機(jī)交互中的應(yīng)用實(shí)例 122
7.3.1 人機(jī)交互 122
7.3.2 增強(qiáng)現(xiàn)實(shí) 124
7.4 視頻物體分割在智能監(jiān)控中的應(yīng)用實(shí)例 125
7.4.1 天網(wǎng)地面監(jiān)控 125
7.4.2 無(wú)人機(jī)遙感監(jiān)控 127
7.5 視頻物體分割在智能醫(yī)療中的應(yīng)用實(shí)例 128
7.5.1 醫(yī)學(xué)影像分析 128
7.5.2 手術(shù)機(jī)器人 130
7.6 視頻物體分割在自動(dòng)駕駛中的應(yīng)用實(shí)例 131
7.7 本章小結(jié) 133
第8章 總結(jié)與展望 134
參考文獻(xiàn) 135
彩圖