目錄 序一 序二 前言 第1章 機(jī)器人自主智能導(dǎo)航概述 1 1.1 技術(shù)的發(fā)展和趨勢 2 1.2 邁向智能導(dǎo)航 9 1.3 本書內(nèi)容簡介 13 參考文獻(xiàn) 14 第2章 機(jī)器人自主導(dǎo)航框架 17 2.1 機(jī)器人操作系統(tǒng)簡介 17 2.1.1 概述 17 2.1.2 ROS的基礎(chǔ)概念與設(shè)計(jì)思想 18 2.2 自主導(dǎo)航框架 24 2.2.1 建圖與地圖發(fā)布模塊 26 2.2.2 狀態(tài)估計(jì)模塊 29 2.2.3 全局路線規(guī)劃模塊 31 2.2.4 局部規(guī)劃模塊 31 2.2.5 抽象控制模塊 32 2.3 用于機(jī)器人導(dǎo)航的硬件 34 2.3.1 主動(dòng)傳感器 34 2.3.2 被動(dòng)傳感器 39 2.3.3 電機(jī) 41 2.3.4 常見的機(jī)器人底盤及運(yùn)動(dòng)模型 42 2.3.5 融合北斗和AI的實(shí)驗(yàn)教學(xué)系統(tǒng) 51 2.4 工程實(shí)踐：差速輪機(jī)器人的遠(yuǎn)程操控 52 2.4.1 環(huán)境配置與安裝 53 2.4.2 代碼解析 54 2.4.3 實(shí)驗(yàn) 55 2.5 工程實(shí)踐：ROS：：Movebase 58 2.5.1 環(huán)境配置與安裝 58 2.5.2 實(shí)驗(yàn)框圖 61 2.5.3 仿真實(shí)驗(yàn) 63 參考文獻(xiàn) 65 第3章 機(jī)器人環(huán)境語義感知 67 3.1 目標(biāo)檢測 67 3.1.1 概述 67 3.1.2 常用數(shù)據(jù)集及評(píng)估指標(biāo) 69 3.1.3 二階段目標(biāo)檢測模型 71 3.1.4 一階段目標(biāo)檢測模型 74 3.2 圖像分割 79 3.2.1 概述 79 3.2.2 常用數(shù)據(jù)集及評(píng)估指標(biāo) 81 3.2.3 語義分割 83 3.2.4 實(shí)例分割 90 3.2.5 全景分割 93 3.2.6 融合深度信息的分割 95 3.3 目標(biāo)跟蹤 98 3.3.1 概述 98 3.3.2 常用數(shù)據(jù)集與評(píng)估指標(biāo) 101 3.3.3 單目標(biāo)跟蹤 104 3.3.4 多目標(biāo)跟蹤 111 3.4 視覺注意力 113 3.4.1 概述 113 3.4.2 基于Transformer的目標(biāo)檢測 120 3.4.3 基于Transformer的圖像分割 123 3.4.4 基于Transformer的目標(biāo)跟蹤 125 3.5 基于深度學(xué)習(xí)的3D點(diǎn)云語義感知 127 3.5.1 概述 127 3.5.2 常用數(shù)據(jù)集與評(píng)估指標(biāo) 130 3.5.3 3D點(diǎn)云目標(biāo)檢測 130 3.5.4 3D點(diǎn)云分割 134 3.5.5 3D點(diǎn)云目標(biāo)跟蹤 137 3.6 圖像和點(diǎn)云的融合語義感知 138 3.6.1 概述 138 3.6.2 前期融合 139 3.6.3 后期融合 139 3.7 典型交通對(duì)象的語義感知 140 3.8 工程實(shí)踐：YOLO v4 142 3.8.1 環(huán)境配置與安裝 142 3.8.2 代碼解析 145 3.8.3 實(shí)驗(yàn) 146 3.9 工程實(shí)踐：DeepLab v3 + 149 3.9.1 環(huán)境配置與安裝 149 3.9.2 代碼解析 151 3.9.3 實(shí)驗(yàn) 153 3.10 工程實(shí)踐：SiamRPN 161 3.10.1 環(huán)境配置 162 3.10.2 代碼解析 163 3.10.3 實(shí)驗(yàn) 164 參考文獻(xiàn) 168 第4章 機(jī)器人狀態(tài)估計(jì) 175 4.1 GNSS高精度定位定姿技術(shù) 175 4.1.1 全球衛(wèi)星導(dǎo)航系統(tǒng) 175 4.1.2 GNSS快速定位 184 4.1.3 GNSS高精度定位方法 185 4.1.4 GNSS測向定姿 189 4.2 基于IMU的主動(dòng)姿態(tài)估計(jì) 191 4.2.1 捷聯(lián)慣性導(dǎo)航涉及的坐標(biāo)系 191 4.2.2 捷聯(lián)慣性導(dǎo)航中IMU傳感器誤差建模 193 4.2.3 捷聯(lián)慣性導(dǎo)航姿態(tài)表示方法 195 4.2.4 捷聯(lián)慣導(dǎo)算法中的微分方程及其解算更新 197 4.2.5 捷聯(lián)慣導(dǎo)的誤差微分方程 201 4.3 基于激光雷達(dá)的定位 204 4.4 基于視覺的定位 204 4.5 基于機(jī)會(huì)信號(hào)的定位 204 4.6 GNSS/SINS組合導(dǎo)航定位 206 4.6.1 卡爾曼濾波用于數(shù)據(jù)融合 208 4.6.2 GNSS/SINS松組合 210 4.6.3 RTK/SINS緊組合 213 4.7 因子圖用于數(shù)據(jù)融合 214 4.8 深度神經(jīng)網(wǎng)絡(luò)用于數(shù)據(jù)融合 219 4.8.1 非端到端學(xué)習(xí)下的慣導(dǎo)定位方法 219 4.8.2 端到端學(xué)習(xí)下的慣導(dǎo)定位方法 223 4.8.3 監(jiān)督學(xué)習(xí)下的視覺定位方法 227 4.8.4 無監(jiān)督學(xué)習(xí)下的視覺定位方法 230 4.8.5 慣性傳感器與視覺傳感器的數(shù)據(jù)融合 234 4.9 工程實(shí)踐：利用網(wǎng)絡(luò)RTK技術(shù)定位機(jī)器人 237 4.9.1 實(shí)驗(yàn)準(zhǔn)備 237 4.9.2 GNSS數(shù)據(jù)格式 238 4.9.3 實(shí)驗(yàn) 239 4.10 工程實(shí)踐：GNSS/INS松組合導(dǎo)航定位 242 4.10.1 數(shù)據(jù)集介紹 242 4.10.2 代碼解析 243 4.10.3 實(shí)驗(yàn) 244 4.11 工程實(shí)踐：RoNIN 247 4.11.1 環(huán)境配置 247 4.11.2 代碼解析 248 4.11.3 實(shí)驗(yàn) 250 參考文獻(xiàn) 252 第5章 機(jī)器人同步定位與建圖 255 5.1 激光SLAM方法 255 5.1.1 概述 255 5.1.2 基于優(yōu)化的激光SLAM 258 5.1.3 基于濾波的激光SLAM 266 5.2 視覺SLAM方法 268 5.2.1 概述 268 5.2.2 光流估計(jì) 275 5.2.3 間接法視覺SLAM與經(jīng)典方案 280 5.2.4 直接法視覺SLAM與經(jīng)典方案 289 5.3 視覺慣性SLAM方法 293 5.3.1 概述 293 5.3.2 基于濾波的視覺慣性SLAM方法 294 5.3.3 基于優(yōu)化的視覺慣性SLAM方法 302 5.4 激光慣性SLAM方法 307 5.4.1 概述 307 5.4.2 基于濾波的激光慣性SLAM 308 5.4.3 基于優(yōu)化的激光慣性SLAM 313 5.5 事件相機(jī)SLAM方法 315 5.6 工程實(shí)踐：Cartographer 319 5.6.1 環(huán)境配置 319 5.6.2 代碼解析 323 5.6.3 Turtlebot3仿真實(shí)驗(yàn) 324 5.7 工程實(shí)踐：ORB-SLAM2 326 5.7.1 環(huán)境配置 327 5.7.2 代碼解析 329 5.7.3 實(shí)驗(yàn) 331 5.8 工程實(shí)踐：ORB-SLAM3 333 5.8.1 環(huán)境配置 333 5.8.2 代碼解析 336 5.8.3 實(shí)驗(yàn) 337 參考文獻(xiàn) 339 第6章 機(jī)器人視覺語義融合 344 6.1 語義輔助前端特征篩選 344 6.1.1 概述 344 6.1.2 語義分割輔助特征篩選 345 6.1.3 實(shí)例分割輔助特征篩選 347 6.2 語義輔助后端定位優(yōu)化 350 6.2.1 概述 350 6.2.2 像素級(jí)語義輔助后端 350 6.2.3 物體級(jí)語義輔助后端 353 6.3 語義輔助回環(huán)檢測 356 6.3.1 概述 356 6.3.2 基于特征的回環(huán)檢測 357 6.3.3 基于場景的回環(huán)檢測 359 6.4 語義融合環(huán)境建模 361 6.4.1 概述 361 6.4.2 像素級(jí)語義建模 364 6.4.3 物體級(jí)語義建模 368 6.5 工程實(shí)踐：DS-SLAM 369 6.5.1 環(huán)境配置 370 6.5.2 代碼解析 372 6.5.3 實(shí)驗(yàn) 373 參考文獻(xiàn) 374 第7章 機(jī)器人導(dǎo)航規(guī)劃與決策 378 7.1 全局路線的規(guī)劃 378 7.1.1 基于圖搜索的路線規(guī)劃 378 7.1.2 基于采樣的路線規(guī)劃 383 7.1.3 面向任務(wù)的路線規(guī)劃 384 7.2 動(dòng)態(tài)目標(biāo)的距離探測和運(yùn)動(dòng)預(yù)測 386 7.2.1 傳感器測距 386 7.2.2 基于動(dòng)態(tài)SLAM的多目標(biāo)運(yùn)動(dòng)預(yù)測 388 7.3 基于幾何模型的避障 393 7.3.1 概述 393 7.3.2 速度障礙模型 394 7.3.3 快速幾何避障模型 396 7.4 基于勢場模型的避障 399 7.4.1 概述 399 7.4.2 人工勢場模型 400 7.4.3 旋轉(zhuǎn)矢量場模型 401 7.4.4 混合勢場法模型 403 7.5 基于優(yōu)化思想的避障 405 7.5.1 概述 405 7.5.2 動(dòng)態(tài)窗口算法 405 7.5.3 時(shí)變松緊帶算法 410 7.6 基于深度學(xué)習(xí)的局部規(guī)劃 414 7.6.1 端對(duì)端局部規(guī)劃 414 7.6.2 融合仿生LGMD的局部規(guī)劃 418 7.7 更高級(jí)的行動(dòng)決策 421 7.8 工程實(shí)踐：TEB_Local_planner 424 7.8.1 環(huán)境配置與安裝 424 7.8.2 文件介紹 425 7.8.3 仿真實(shí)驗(yàn) 426 參考文獻(xiàn) 433 第8章 基于強(qiáng)化學(xué)習(xí)的認(rèn)知導(dǎo)航 436 8.1 認(rèn)知導(dǎo)航的任務(wù)描述與建模 436 8.1.1 基本定義與馬爾可夫決策過程建模 436 8.1.2 強(qiáng)化學(xué)習(xí)A2C/A3C算法 442 8.1.3 常見的任務(wù)形式 445 8.2 目標(biāo)驅(qū)動(dòng)導(dǎo)航 446 8.2.1 孿生網(wǎng)絡(luò)模型 447 8.2.2 自適應(yīng)視覺導(dǎo)航模型 449 8.3 視覺語言導(dǎo)航 452 8.3.1 增強(qiáng)型跨模態(tài)匹配和自監(jiān)督模仿學(xué)習(xí)的視覺語言導(dǎo)航模型 452 8.3.2 對(duì)象-動(dòng)作感知模型 458 8.4 視覺對(duì)話導(dǎo)航 461 8.5 導(dǎo)航知識(shí)圖譜的構(gòu)建與應(yīng)用 466 8.5.1 知識(shí)圖譜概述 466 8.5.2 認(rèn)知導(dǎo)航中知識(shí)圖譜的構(gòu)建 467 8.5.3 認(rèn)知導(dǎo)航中知識(shí)圖譜的應(yīng)用 470 8.6 拓展到仿生導(dǎo)航 476 8.6.1 仿生導(dǎo)航傳感器 476 8.6.2 使用類網(wǎng)格細(xì)胞網(wǎng)絡(luò)模擬生物的矢量導(dǎo)航 477 8.7 工程實(shí)踐：SAVN 481 8.7.1 數(shù)據(jù)集 481 8.7.2 環(huán)境配置與安裝 481 8.7.3 代碼解析 484 8.7.4 實(shí)驗(yàn) 485 參考文獻(xiàn) 486 第9章 多足機(jī)器人導(dǎo)航 489 9.1 多足機(jī)器人的發(fā)展及應(yīng)用 489 9.2 多足機(jī)器人上的足式里程計(jì) 490 9.2.1 多足機(jī)器人的D-H建模方法 491 9.2.2 多足機(jī)器人的正向運(yùn)動(dòng)學(xué)模型 492 9.2.3 多足機(jī)器人的足式里程計(jì)的構(gòu)建 493 9.3 多足機(jī)器人上的不變卡爾曼濾波器 495 9.3.1 不變卡爾曼濾波器簡介 495 9.3.2 組合導(dǎo)航中的不變卡爾曼濾波器 498 9.3.3 足式里程計(jì)/INS組合導(dǎo)航 501 9.4 多足機(jī)器人上的最優(yōu)平滑算法 503 9.4.1 雙向?yàn)V波算法 503 9.4.2 RTS平滑 505 9.4.3 分段平滑 506 9.5 多足機(jī)器人導(dǎo)航的發(fā)展趨勢 507 參考文獻(xiàn) 509 附錄 部分常用數(shù)據(jù)集 511 參考文獻(xiàn) 515