Decision making at Unsignalized Intersection for Autonomous Vehicles

显示全部楼层 · 2022-4-9 00:50:47

原文标题太长放不下了，完整的在这里：
Decision making at Unsignalized Intersection for Autonomous Vehicles: Left turn Maneuver with Deep Reinforcement Learning
下面是原文链接：
文中的EVA表示的是我们需要设计的算法的智能车：Ego Automated Vehicle
I. INTRODUCTION

   交叉路口决策的文献。方法一般分为两类：rule-based approaches 和 learning-based approaches。 rule-based approaches 通常由人类知识和工程经验构建，但缺点是很依赖于建模精度和构建的系统本身；learning-based approaches 应该说是现在研究比较多的方面，各种算法都能加进去跑跑，这篇文章提出了一种基于DQL的决策控制器，先建模，然后将决策问题转变为优化问题，最后对比了DQL和DDQL算法在最优策略搜索上的优劣。
II. UNSIGNALED INTERSECTION AND VEHICLE MOVEMENTS

   这部分主要分两块：1、构建一个四向交叉口场景，其中车辆想要做出左转决策；2、给出车辆运动模型(包括周围的车和左转的车)，建立驾驶行为控制器来管理周围车辆的驾驶意图
A. Driving Scenario of Intersection
   在四通路口下，所有车辆遵守通行权规定，无信号交叉口的通行权有四层：level4:水平直线移动和右转;level3:垂直直线移动和右转;level2:水平左转，level1:垂直左转。这里需要解释一下什么是水平垂直，从驾驶员视角来看，自己始终是处于垂直位置的，所以这个通行优先权的意思就是你得先让别人过，自己先等等。而该问题中的垂直左转处于通行权最低的情况，所以策略本身就应该是先减速或停止再转弯，避免碰撞的情况下尽可能快地到终点。

   这篇论文很亮眼的一个点在于：专门考虑了周围的车发生碰撞的情况。为了尽可能解决这个问题，提出的方案是：每辆车在三秒的时间范围内对周边车辆的位置进行预测，根据优先通行权，尽可能避免碰撞，更详细的运动由之后的分层结构管理。
   环境设置默认如下：周围车数量N=15,EAV考虑的行为为垂直左转，持续时间15s，模拟频率20Hz，采样时间为1s(每1s选择一次控制动作)，每次实验起点终点相同。这边这个持续时间的选定，15s能否顺利完成一个左转动作，在周围有15辆车的情况下？我觉得有待考证。
B. Vehicle Movements
采用分层控制框架来调节周围车辆和EAV的行为，这里EAV和周围车辆应用的是不同的管理模型：对于EAV,高层是提出的支持DRL的决策策略，用于管理纵向行为，底层是用于横向控制的跟踪控制器；对于周围车辆，高层是智能驱动模型(IDM)，底层也是跟踪控制器。
   先介绍两者相同的底层管理：横向跟踪控制，主要包括位置控制和航向控制：
位置控制的模型如下：

$v_{l}^{ex} = -K_{p,l}d_{l}$

$\triangle \phi = \arcsin(\frac{v_{l}^{ex}}{v})$
其中 $v_{l}^{ex}$ 是目标横向速度， $K_{p,l}$ 是位置增益， $d_{l}$ 是车辆和目标航线中心的距离差，实际上就是偏移位置，通过一个反馈增益利用横向速度调节来进行修正； $\triangle \phi$ 表示的是因为横向速度调节引起的角度，

航向控制的模型如下：

$\phi = \phi_{L} + \triangle \phi$

$\dot{\phi} = K_{p,\phi}(\phi^{ex} - \phi)$

$\delta = \arcsin(\frac{1}{2} \frac{l_{r}}{v}\dot{\phi})$
其中 $\phi_{L}$ 表示车道本身的角度， $\phi^{ex}$ 表示期望的前进角， $K_{p,\phi}$ 类似的，也是一个增益， $\delta$ 表示转向角， $l_{r}$ 表示汽车重心到前轮的距离，我推导了一下感觉跟论文中的表述不太一样，更详细的关于运动汽车的建模可以参考下文：

以上就是两者共用的底层管理模型。
下面介绍IDM，也就是周围车辆所用的纵向控制模型：

$a = a_{max}(1-(\frac{v}{v_{d}})^{\theta}-(\frac{s_{d}}{\triangle s})^{2})$
其中 $a_{max}$ 表示最大加速度， $s_{d}$ 和 $v_{d}$ 表示期望的距离和速度， $\triangle s$ 表示与前面的车的距离， $\theta$ 是系数，这个式子可以看出v和 $\triangle s$ 与加速度的关系，一个负相关，一个正相关，符合我们日常理解，同时在任意一个满足条件时汽车就开始减速。同时 $s_{d}$ 可以被更近一步表示为：

$s_{d} = s_{0} + Tv + \frac{v\triangle v}{2\sqrt{a_{max}b}}$
这里 $s_{0}$ 表示最小相对距离，T可以理解为反应时间， $\triangle v$ 是速度差，b 是根据舒适的目的减速的值。可以说是比较人性化的设计，想要表达的意思，如果两车同速，那么安全距离应该是 $s_{0} + Tv$ ，在后面的车的速度追上前车时，可以拉近的距离为 $\frac{v\triangle v}{2\sqrt{a_{max}b}}$ ,至于最后这个式子的依据，我个人反而更倾向于分子是 ${\triangle v}^{2}$ .

III. DEEP REINFORCEMENT LEARNING APPROACHES

现在就剩下对EAV进行基于DRL的建模了
A. Definition in RL
基于RL可以将这个问题视作MDP过程，并据此定义了reward和Q，这是我们比较熟悉的，根据贝尔曼最优方程：

通过这种递归关系，可以使用RL中的参数化函数逼近器估计最佳动作值函数，并通过经验学习参数。例如，Q-learning使用线性函数近似器来估计最优行动值函数并导出最优策略。
B. Deep Q-learning
在DQL中，智能体采用神经网络作为函数逼近器，当MDP的状态空间较大时，神经网络可以更有效地逼近动作值函数,V.Mith等人提出了一种DQL算法，它是Q-学习的一种变体。在DQL中，首次提出了经验重放(experience replay)，以提高数据效率和避免分歧。经验重放中的转换 $(s_{t}、a_{t}、r_{t}、s_{t+1})$ 是通过epsilon贪婪策略获得的。DQL算法从经验回放中随机采样N个转换。然后，通过最小化损失函数，利用样本更新网络：

其中目标 $y_{t}^{DQL}$ 是由目标网络 $\theta_{t}^{-}$ 用贪婪策略导出的:

每k个时间步更新 $\theta_{t}$ 。 $\theta_{t}$ 是评估采样状态动作对值的预测网络。 $\theta_{t}$ 将在每个时间步通过损失函数的随机梯度下降进行训练：

DQL的问题是可能存在大量过高估计，因此在下面引出DDQL算法
C. Double Deep Q-learning
通过两个网络对目标估计来减少过高估计，分别是预测网络 $\theta_{t}$ 和目标网络 $\theta_{t}^{-}$ ，预测网络用于在贪婪策略下选择动作，目标网络用于动作评估，目标 $y_{t}^{DQL}$ 可表示为：

D. Specification of the MDP
对MDP过程模型进一步具体化，前面的DQL和DDQL只是用来寻找最佳策略的算法，而MDP的建模是基础。对状态、行为。奖励函数、转移模型进行了描述。
该MDP中的状态空间被构造为 $S=\{ s^{e}_{x}，s^{e}_{y}，v^{e}_{x}，v^{e}_{y}，Δs^{i}_{x}，Δs^{i}_{y}，Δv^{i}_{x}，Δv^{i}_{y}\}$ ，其中Δ表示周围车辆和EAV之间的相对关系。

   需要DRL建模的只有纵向动作，也就只有纵向加速度,转向角也在之前被计算了：

$a_{t} \in [-5,0,5]m/s^{2}$ ，这个加速度设置感觉随意了些，不晓得是为了简化问题还是有别的目的，为什么不设置成step更小，更能还原现实模型的形式呢？
   状态转移的模型就是我们司空见惯的运动学模型：

$v_{t+1} = v_{t} + a_{t}dt$

$\phi_{t+1} = \phi_{t} + \omega_{t}dt$

$\omega_{t} = v_{t}\sin(\beta)/l$

$\beta_{t} = \arctan(1/2 \tan\delta)$
其中 $\beta$ 表示滑移角，其他的物理量应该还比较好懂，因此进一步得到水平垂直的速度表达式：

$\begin{equation*} \begin{cases} V_{x,t+1} = v_{t+1}\sin(\beta + \phi_{t})\\ V_{y,t+1} = v_{t+1}\cos(\beta + \phi_{t}) \end{cases} \end{equation*}$
位移的表达式也类似：

$\begin{equation*} \begin{cases} S_{x,t+1} = s_{x,t}+ v_{x,t}dt\\ S_{y,t+1} = s_{y,t}+ v_{y,t}dt \end{cases} \end{equation*}$
   最后是关于奖励函数，文中设置为：

$r = \begin{equation*} \begin{cases} collision+highest\ \ speed, \ if \ not \ complete\\ 1, \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ if \ \ complete \end{cases} \end{equation*}$
其中collision和highest speed都只有0和1两个取值。我觉得这个奖励函数的设置是很糟糕的，相比上一篇文章来说，不仅考虑的维度不够，权重也只是简单地1:1，更要命的是居然把这两作为布尔变量，很难理解。
IV. SIMULATION RESULTS

   这部分就是结果展示，作者主要分了两块来讲，第一块是对DQL和DDQL两种算法得到的结果进行了对比，第二块整体来看所得模型的鲁棒性和泛用性。
   A. Comparison Analysis
   从几个方面来看：
首先是reward，可以看到DDQL最终得到的reward高于DQL,随着episode的增加这一结果越发明显，从直观的角度来说，reward随着经验增加而增加，说明机器确实在向着我们期待的方向学习

然后是行驶距离，行驶距离衡量的是完成度，有图可知DDQL行驶距离更长，说明完成度更高

然后是速度分布，这衡量的是效率，如果能保证安全的前提下，肯定是速度更快的策略更优秀通过两者的速度分布，可以看到DDQL大量样本集中的速度比DQL大量样本集中的速度要高，这也就意味着DDQL有着更高的效率

最后是损失函数，loss function，损失函数表示的是整个训练过程收敛的速度，收敛的情况下应该是损失为0，也就是说，越快下降到0的算法，收敛的更快，下图可见，DQL拥有更快的收敛速度，但是考虑到我们并不采取on-line policy，因此收敛的比较慢，也是可以接受的(感觉这里有点硬吹DDQL了，不过这也算是后期需要优化的点吧)

B. Robustness Evaluation
最后是鲁棒性分析，为了验证策略的稳健性，采用了40个测试的episodes以及视频回放，考察不同的数据集，首先考察reward：从均值和最大最小值的方面来说，都是DDRL更好

有意思的是，在这些数据集中，还真有周围车辆发生碰撞的情况，这起码说明DRL是优于IDM的：

接着列出了两种算法下碰撞发生的概率：虽说下降效果明显，我寻思这还是很高啊！

然后展示了动作分布，根据前面的加速度集合，其实一共也就三个动作可以选择，下面这个box distribution表示了两种算法下的动作分布，这个指数就对应着-5,0，5三种情况，指数越大肯定说明加速阶段多，也就是效率更高，这么看也是DDRL更优秀一些

论文到这里就结束了，总结
1、文章其实一共建了三个模型，EVA和周围车辆共用一个底层，然后分别用IDM和RL的方法来做高层设计，在EVA的高层又尝试了DRL和DDRL两种算法，并对两者的结果进行了比较
2、在构建模型过程中有相对过于简化的地方，明显还能再优化
3、亮眼之处在于由于给环境周围车辆也设计了模型，因此能够考虑到周围车辆碰撞的情况；对两种算法比较的维度相当多，这对我也是一个启发，可以从收敛速度、效率、完成度等等方面进行比较；相比于上一篇文章，设置了15辆车之多，明显是更有说服力的实验。
4、虽然动作集、奖励函数看上去有点随意，运动学模型的建立还是比较精细的，尤其是自动汽车的运动规划，我觉得也是我下阶段的学习重点。

我个人对于DRL和DDRL还不是太明白，这应该是涉及到深度强化学习的知识，我打算在先掌握一定程度的RL知识后再去学，因此这里就不专门做延伸，如果到时候学到了，我会在这篇文章加链接，也算是挖个坑吧。

主要参考资料：
1、这篇文章真的很棒，几乎涵盖了自动驾驶汽车的大部分运动学模型，学算法的同时也要懂得运动学建模啊！

Decision making at Unsignalized Intersection for Autonomous Vehicles

浏览过的版块