项目编号：? 1837??
基于360°环视摄像头传感器的全自动泊车统统研究
Research on Automatic Parking System Based on 360 ° Look Around Camera Sensor
主要研制单位：华东理工大学，华域汽车系统股份有限公司
主要研制人员：陈志华，吴胜昔，仇谷皓，仇隽，胡灼亮，刘潇丽，嵇恒铭，咸博龙
周小兵，但孝杰，郑迎，刘威，黄洋文
主题词：全自动泊车，车位检测，障碍物检测，轮挡检测，路径规划，车辆控制
1、研究内容介绍
1.1 研究目的及意义
本系统能够将收集检测到的周围环境信息与车辆的发动机管理系统（EMS）、变速器控制系统（TCU）、电子稳定性控制系统（ESC）和电动助力转向系统（EPS）通过网络联接，在整个泊车过程中利用其他控制系统的信息资源对车辆状态实施有效控制。全自动泊车系统将构建成先进的实时车载感知系统，实现360°环视影像功能、车位检测识别功能、障碍物检测功能。
1.2 需要解决的关键技术
(1)360°环视影像功能
实现360°环视影像功能：完成传感器等硬件配置、环视相机标定、图像拼接，并实时显示周边环境。对环视相机的内参和外参进行标定。对获取的影像进行畸变校正、俯视图变换、特征提取与提纯、特征匹配与视频拼接。
(2)车位检测识别功能：
经过对基于传统图像处理算法的车位线检测算法和基于深度学习的角点检测的车位线检测算法的对比，提出了一种新的基于深度学习的停车位检测算法，这种算法具有更高的鲁棒性，能够适应各种不同的车位环境，并且具有较高的车位检测准确率，完全能够满足项目的需求。将通过停车位检测算法得到的停车位信息，与汽车控制系统进行信息的交互，完成最后的泊车任务。
(3)障碍物检测功能：
对轮挡目标定位，使用深度学习的图像处理方法进行轮挡检测，当检测到轮挡信息后，使用得到的轮挡信息与泊车控制系统进行信息交互，融合车位线信息从而得到更加准确的停车位信息，最终完成更加精准的车辆停车控制。
对锥形桶等障碍物目标进行检测，对图像进行预处理之后，使用深度学习的方法进行锥形桶障碍物检测，当检测到障碍物时，与泊车控制系统进行信息交互，进行障碍物的避障和路径规划，并且判断车位的有效性。
1.3 采用的技术路线和方法
（1）基于深度学习的停车位检测算法Parking IS
本系统中的停车位检测算法以深度学习网络为基础，并在深度学习网络中加入了残差连接和注意力机制。通过残差连接使得网络的深度更深，能够处理更加复杂情况的停车位。注意力机制使得网络更加关注图像中的重点区域，提升车位的检测精度。
- （2）基于OdNet模型的障碍物检测算法
Yolo模型是一种经典的目标检测模型，但是在我们的实车测试过程中，发现Yolo模型会出现将墙壁误检为轮挡的情况。针对Yolo模型存在的误检情况，我们提出了基于OdNet的轮挡和雪糕筒检测算法。通过在OdNet模型添加特征金字塔网络使模型具备更强的处理不同尺度目标的能力。
（3）路径规划算法研究
泊车轨迹主要由圆和直线衔接而成，在具体的计算方法上水平泊入和垂直泊入有所不同。
1）水平泊车：
水平泊入是从起点和终点同时向中间推进，以直线轨迹衔接。如图1所示，大车位时轨迹可分为四段。
图1 大车位水平泊入轨迹
先求取第一段和最后一段轨迹。第一段轨迹是一条直线，由起点直线后退，记作L1。最后一段轨迹是圆弧，由终点向上作最小半径圆，记作O2。第二段轨迹也是圆弧轨迹，记作O1，它是通过迭代后偏移得到的。迭代量是半径R2，从一个较大的初始半径InitRadius开始迭代，以迭代半径作L1和O2的公切圆，若该圆弧轨迹不会与车位角点SlotCor发生碰撞，则结束迭代。将该圆沿L1方向偏移一定量即可得O1。最后第三段轨迹就是直线轨迹，记作L2，它是O1和O2的一条公切线。当车位较小，从终点无法通过最后一步轨迹反向驶出车位时，就需要添加多次折返的轨迹，如图2所示。
图2 小车位水平泊出轨迹
2）垂直泊车
垂直泊入的轨迹也是直线和圆弧的衔接，与水平泊入不同的是，垂直泊入的轨迹计算是完全正向的。图3所示为单步泊入和多步泊入的轨迹，其主要受自车与障碍车之间的横向距离影响，横向距离较大时可以一步泊入，反之则要多步。
图3 （a）单步泊入?????????????????????????????????????? ?? （b）多步泊入
第一段轨迹与水平泊入一致，取车身位置所在直线，记作L1。第二段轨迹是圆弧轨迹，为了安全，车辆轨迹要与障碍车保持一个安全距离，记作SafeDis。以车位角点为圆心，SafeDis为半径作圆，称为安全圆，记作Osafe。作L1与Osafe的公切圆（两圆内切，Osafe在内），记作O1’。O1’与L1的切点记作T1，作L1和终线（LastLine）的公切圆，且与L1切于T1，记作O1，即第二步轨迹。最后一步轨迹显然就是到达终点的直线轨迹。若O1的半径小于最小转弯半径，则必须放大半径，也就无法与LastLine相切，此时就需要反向作圆不断摆正车身姿态，最终切于LastLine，如图3（b）所示。
（4）轨迹跟踪算法
1）目标方向盘转角计算
将目标轨迹拆分为若干段，根据每一段轨迹转换为对应的转弯半径，再计算出直线和转弯半径的阿克曼转角，根据阿克曼转角查表得到目标方向盘转角。以图4轨迹为例（R为转弯半径，Ang2为阿克曼转角，Ang1为Ang2相似角，wheelbase为轴距）：
图4 阿克曼转角示意
已知橙色的圆形轨迹的半径为R，通过几何关系可得Ang1，计算方式如公式(1)所示：
又由相似三角形可知，Ang1=Ang2，即车辆的阿克曼转角Ang2,，计算方式如公式(2)所示：
通过实车标定得到的阿克曼转角与车辆方向盘转角系数Factor，可得当前圆形轨迹对应的方向盘转角为SteeringWheelAngle，其计算方式如公式(3)所示：
直线轨迹方向盘转角为0。
2）轨迹跟踪控制
在轨迹红色圆上的目标方向盘转角为StrAng1，蓝色圆上的目标方向盘转角为StrAng2，由两圆相切点可知，在该点方向盘转角应从StrAng1立即变为StrAng2，因为受制于方向盘转速限制以及机械传动系特性，转角无法完成立即切换，所以我们需要在达到相切点前，提前控制方向盘转动，并且逐渐转动方向盘转角到两圆切点后一定位置。
以图5为例（pt1为方向盘转动起始位置，pt2为两圆切点，pt3为方向盘转动结束位置）：
图5 方向盘控制示意图
当前自车车速v，转向延迟时间Delayt，标定距离deltaDis，转向距离系数为k，由此可以计算得到pt1到pt3的距离为TuringDis，其计算方式如公式(4)所示：
控制方向盘在切点前TuringDis/2（pt1）处开始转向并且在切点后TuringDis/2（pt2）处完成转向。
（5）整车控制算法
1）转角控制
假设当前方向盘角度Current Steering Angle，以及方向盘控制步进Δ，计算当前的目标方向盘转角Target Steering Angle，其计算公式为公式(5):
通过车辆当前方向盘角度，目标方向盘角度及车速等信息，选择方向盘控制步进角度Δ。为减少路径跟踪误差，当车速越高，当前方向盘转角与目标方向盘转角差值越大，Δ越大。但为保证EPS能正常工作，其步进Δ应满足EPS性能指标。
2）档位控制
判断目标档位是否与当前车辆档位一致，且车速满足换档条件，符合条件则发送换档命令，若档位正常切换则等待下次命令，若档位切换失败则再次判断条件请求换档。
图6 档位控制示意图
3）车速控制
a) 行驶车速控制
根据车辆所处车位的位置划分两挡基础车速V1、V2，在淡蓝色区域基础车速为V1，淡粉色区域基础车速为V2，且V1>V2。区域如图7所示：
图7 停车位车速控制图
在基础车速控制车辆行驶时，还需要考虑毫米波雷达返回的与周围障碍物的距离DisToObj与标定距离dis之间的关系。当DisToObj≥dis时，根据所在区域控制车辆以基础测速行驶。当DisToObj≤dis时，以dis为输入查表得到控制速度。
b) 停止车速控制
通过标定得到车辆在不同车速v，不同方向盘转角SteeringAngle时，将控制车速设置为0的状态下车辆达到静止所需距离StopDis。通过毫米波雷达判断与周围障碍物之间的距离DisToObj，已知碰撞安全距离为SafeDis，则当DisToObj≤SafeDis+StopDis时将车辆控制车速置为0。当DisToObj≤SafeDis时，控制车辆减速度Dec，制动车辆防止碰撞。
2、技术创新点
结合先进的图像处理技术、深度学习技术、路径规划算法、车辆控制技术、轨迹跟踪技术等，本项目实现并开发出一种低成本、适应性强、可靠性高的全自动泊车系统。
(1) 精准车位检测
在车位检测方面，考虑到传统车位检测方法对复杂车位情况检测成功率低，已有的基于深度学习的检测方法鲁棒性不强，本项目提出了一种新的基于深度学习车位检测算法Parking IS，在深度学习网络中加入了残差连接块以及注意力机制，有效提高了网络对复杂车位情况的检测能力以及对车位检测的精确率。
(2)? 实时障碍物和轮挡检测
考虑到泊车过程中车位中可能出现的障碍物目标，本系统使用OdNet目标检测网络来对轮挡、雪糕筒两种目标进行检测。提出的OdNet网络在目标识别的实时性上较好，本系统在相关目标的识别上准确率较高。
(3) 泊车路径规划
针对泊车过程中的两种不同泊车方式—水平泊车、垂直泊车—在泊车过程中车辆路径的不同特点，针对性的开发了相关的泊车路径规划算法。
3、专利/获奖情况(注明专利名称、专利号/获奖等级)
（1）发明专利名称：《一种基于光照一致的车位线检测方法》? 公开（公告）号：CN111611930A
4、成果应用及经济效益预测
本课题研究开发的基于360度环视摄像头传感器的全自动泊车系统，采用了基于Parking IS?深度神经网络的停车位检测算法，相较于传统图像处理的车位线检测算法，这样的方式能够适应更加复杂的车位线情况，并且避免了传统基于图像处理算法中关于线和角点匹配的难题。基于OdNet的锥形桶目标检测算法，相对于现有典型同类算法，大幅减少了停车位误检率，具有更强的泛化能力和稳定性，同时具有更快的速度，更加适合于泊车系统中，有效降低算力的需求。
该系统打破了基于超声波传感器泊车的自动泊车市场垄断局面，开拓了超声波传感器和环视摄像头融合泊车的新技术方向，提高了传统车载环视摄像头的效用，丰富了自动泊车应用场景，为公司后续毫米波雷达和环视摄像头融合自动泊车完成了技术储备，基于毫米波雷达的点云特性和环视摄像头的图像特征，不仅可以通过深度数据融合实现泊车场景的差异化，而且基于环视摄像头的深度学习图像处理算法为即时地图构建(SLAM)和基于图像语义的车辆定位提供了一种低成本技术方案。