项目编号：?? 1612?????

基于深度增强学习的正常行驶速度条件下机动控制算法研究

Research on maneuver control algorithm under normal driving speed based on deep reinforcement learning

?

项目研制单位：清华大学 上海汽车集团股份有限公司技术中心

????????????????????????? 清华大学苏州汽车研究院（吴江）

主要研制人员：成波 梁伟铭? 张伟? 王文军? 孙辉? 童小鸣? 陈睐? 罗勇

????????????????????????? 张晓瑞 田忠鹏? 王霄

?

1、本研究的目的意义

根据智能车的功能需求，可将无人驾驶技术分为如下几项关键技术：环境感知技术、定位导航技术、路径规划技术和决策控制技术。决策控制技术相当于智能车的大脑,它通过综合分析环境感知系统提供的信息,对当前的车辆行为产生决策。决策技术还需要考虑车辆的机械特性、动力特性,给出合理的控制策略。

由于城市低速环境比较复杂,所以需要高可靠决策技术，城市低速环境对于传统的ADAS有很大的挑战性，而这种复杂性恰恰是深度学习的一个优势。本课题“基于深度增强学习的正常行驶速度条件下机动控制算法研究”旨在将深度学习和增强学习应用于低速环境的智能驾驶技术中，探索通过激光雷达点云等大数据分析和计算解决智能驾驶技术随机不确定等问题的研究，为智能驾驶汽车进一步实现产业化奠定科学理论支撑。

2、解决的关键技术、采用的技术路线和方法、达到的效果和成果技术水平

本项目解决的关键科学问题包括：

1）HDL-64E激光雷达数据点云到深度模型中标准图像矩阵的转化。

2）采用稀疏自编码神经网络来逐级提取雷达图像的特征，选择合适大小的卷积核，提取在行驶过程中可用来表示车辆、防护栏、行人、固定障碍物等的一阶及高阶特征。

3）构建包含多级卷积神经网络和全连接神经网络的深度学习模型，深度神经网络具有更加强大的表达能力，可以计算更多复杂的输入特征，实现端到端的驾驶控制。

4）采用基于深度学习的自学习得到隐藏于数据深处的特征，然后用相对少量的有标签数据对整个神经网络模型进行微调，得到一个完整的判别网络。

5）利用增强学习进行序列决策。增强学习是机器学习中的分支之一，是一种无导师在线学习技术，从环境状态到动作映射学习，其通过不断的试错、反馈进行学习，常用来做序列决策或者控制问题。

图1 基于雷达的驾驶控制系统图

2.1、主要的研究内容及方案：

传统的基于人工特征或车辆动力学模型的预测方法，无法解决实际道路交通环境中存在的高动态、不确定、强非线性等问题，这将影响并限制智能驾驶技术的产业化发展进程。本课题设计采用基于脑科学的人工智能算法——深度增强学习理论，探索通过激光雷达点云等大数据分析和研究计算解决智能驾驶技术随机不确定的问题，为智能驾驶汽车进一步实现产业化奠定科学理论支撑。

基于深度学习方法，利用HDL-64E激光雷达扫描数据点云生成车辆在正常交通情况下的驾驶行为预测与车辆机动控制（包括LCA、避险、避障和正常的路面机动）行为算法，并与基于目标识别的传统机动控制算法进行比较，为智能控制的优化提供新的人工智能算法机理，其主要内容包括：

1）自动驾驶汽车系统架构搭建；

图2 自动驾驶汽车硬/软件架构图

2）HDL-64E数据点云采集、聚类算法研究，感知行车环境周边360°全景及60 m探测范围；

图3 激光雷达数据解析示意图

3）数据点云转化为可深度学习数据向量的算法研究；

图4 雷达数据深度图转化的流程示意

4）车辆机动控制算法的深度学习架构设计及模型算法训练，计算效率达到不超过0.5 s；

图5 自主决策研究框架

5）基于深度学习的机动规避算法到实验平台的移植和性能测试，实现车速在30~50 kph状态下的车辆驾驶行为动态预测。

图6 真实道路测试流程图

图7 真实道路场景测试决策结果

2.2、本课题解决的技术难点和课题创新点

1）提出一种可解释的端到端城市自动驾驶与潜在的深度强化学习方法，它能够处理复杂的城市场景。引入了一个序列潜在环境模型，并与强化学习过程进行了联合学习。有了这个潜在模型，可以生成一个语义鸟瞰掩码图，强制与当今模块化框架中的某个中间属性相连接，以解释学习策略的行为。

2）提出了一个可解释和计算效率高的框架，称为综合决策和控制(IDC)，它将驾驶任务分解为静态路径规划和动态最优跟踪。首先，静态路径规划生成多个只考虑静态交通元素的候选路径。然后，设计了动态最优跟踪方法，在考虑动态障碍的情况下跟踪最优路径。为此，我们为每个候选路径制定了一个约束最优控制问题(OCP)，分别对它们进行优化，并遵循具有最佳跟踪性能的问题。

3、成果形式和考核指标

1）发表EI论文一篇，发明专利1项，软件著作权一项。

2）基于深度学习方法，利用HDL-64E激光雷达扫描数据点云，完成车辆特定场合下的驾驶行为预测及车辆机动控制行为预测PC端算法，提交相关软件。

3）基于深度学习的机动控制算法到实验平台的移植，实现特定场合下车速在50kph左右的车辆驾驶行为动态预测，提交相关软件及测试报告。

4）通过本项目合作开发，培养工程师2名，使其具备深度增强学习的研发能力，并可将其应用于智能驾驶行为预测及智能决策控制，提升上汽集团创新研究开发总院智能驾驶中心在该领域的技术积累和工程应用开发能力。

4、专利/论文/获奖情况

1）EI期刊论文—“An End-to-end Auto-driving Method Based on 3D Lidar”；

2）专利—“基于激光雷达和端到端深度学习方法的自动驾驶方法”；

3）软著—“端到端自动驾驶系统数据处理软件”。

5、成果应用及经济效益预测

过本项目的研究，使上汽集团掌握激光雷达点云数据的处理方法，理解深度学习模型并掌握应用该模型对激光雷达图像的分析方法，通过参与系统调试过程和道路实验掌握该类系统的开发测试流程，为上汽集团未来智能驾驶汽车产业化奠定科学理论支撑并积累实践经验。