第1章緒論001～020
1.1交通信號控制技術(shù)研究背景002
1.2交通信號控制技術(shù)分類及國內(nèi)外研究現(xiàn)狀006
1.2.1基于經(jīng)典方法的交通信號控制技術(shù)006
1.2.2基于深度強化學習的交通信號控制技術(shù)009
1.2.3基于車聯(lián)網(wǎng)的交通信號控制技術(shù)012
1.2.4交通信號控制技術(shù)的研究現(xiàn)狀015
1.3本書主要思路及內(nèi)容016
1.3.1主要思路016
1.3.2主要內(nèi)容017

第2章基礎(chǔ)知識021～044
2.1進化計算方法概述022
2.2強化學習概述024
2.3單智能體深度強化學習032
2.4多智能體深度強化學習034
2.4.1隨機博弈035
2.4.2納什Q學習036
2.4.3多智能體深度確定性策略梯度算法037
2.5平均場多智能體強化學習038
2.5.1平均場近似理論039
2.5.2平均場多智能體強化學習算法042
2.6本章小結(jié)044

第3章基于車流動力學的交通信號控制問題建模及優(yōu)化算法045～076
3.1引言046
3.2交通場景下的基本參數(shù)和評價指標047
3.2.1基本參數(shù)047
3.2.2評價指標050
3.3多交叉口交通信號控制問題描述051
3.4多交叉口交通信號控制問題建模054
3.4.1相位差延遲模型054
3.4.2綠信比延遲模型056
3.4.3改進的公共周期模型057
3.4.4信號協(xié)同優(yōu)化模型057
3.4.5交叉口分級策略058
3.5基于免疫的煙花算法060
3.5.1煙花算法和免疫機制的基本思想060
3.5.2基于免疫的煙花算法設(shè)計061
3.6仿真與分析065
3.6.1仿真環(huán)境及實驗參數(shù)設(shè)置065
3.6.2交通環(huán)境下的仿真與分析067
3.6.3標準函數(shù)下的仿真與分析073
3.7本章小結(jié)075

第4章基于深度強化學習的單智能體交通信號控制077～106
4.1引言078
4.2基于馬爾可夫決策過程的交通信號控制問題描述079
4.2.1狀態(tài)空間079
4.2.2動作空間081
4.2.3獎勵函數(shù)083
4.2.4累積延遲的近似088
4.3基于動態(tài)權(quán)重的soft actor-critic算法089
4.3.1動態(tài)權(quán)重089
4.3.2基于動態(tài)權(quán)重的soft actor-critic算法設(shè)計091
4.4仿真與分析095
4.4.1仿真平臺設(shè)置095
4.4.2算法參數(shù)設(shè)置098
4.4.3交通環(huán)境下的仿真與分析099
4.4.4標準連續(xù)控制任務(wù)下的仿真與分析103
4.5本章小結(jié)105

第5章基于深度強化學習的多智能體交通信號控制107～130
5.1引言108
5.2基于馬爾可夫博弈的交通信號控制問題描述109
5.3合作的基于指數(shù)加權(quán)移動平均的動態(tài)延遲更新雙延遲深度確定性策略梯度算法112
5.3.1強化學習中的Q值過估計問題112
5.3.2基于指數(shù)加權(quán)移動平均的動態(tài)延遲更新策略115
5.3.3合作的基于指數(shù)加權(quán)移動平均的動態(tài)延遲更新雙延遲深度確定性策略梯度算法設(shè)計117
5.4仿真與分析121
5.4.1仿真平臺設(shè)置121
5.4.2算法參數(shù)設(shè)置123
5.4.3仿真結(jié)果與分析124
5.5本章小結(jié)130

第6章總結(jié)與展望131～136
6.1總結(jié)132
6.2展望134

附錄137～140

參考文獻141～155