项目编号：? 1742?

基于多传感器融合的周边车辆行人检测与跟踪

Vehicle and pedestrian detection and tracking based on multi-sensor fusion

 

项目研制单位：同济大学 ?泛亚汽车技术中心有限公司

主要研制人员：尤鸣宇 ?王平 ?徐维庆 ?陈威

 

主题词：多传感器融合 ?检测与跟踪 ?深度学习

1、研究内容介绍

近年来随着计算机硬件计算能力的提升和大数据的发展，基于深度学习框架的计算机视觉研究成为了热门，基于视觉的目标检测与跟踪领域取得了巨大的突破。然而，实际场景的复杂程度远远超过了深度学习模型的训练数据集，数据分布的偏差极大降低了现有模型的准确性和稳定性。目前制约车辆行人检测与跟踪技术发展的主要因素包括现实场景中背景复杂多样、各种场景下光照强弱不一、行人及车辆之间相互遮挡或者被其他物体遮挡等等。而多传感器信息融合系统解决的关键问题包括不同传感器信息融合系统的工作频率不同、时延不同、能力不同等问题。

因此，针对以上在现实场景中存在的各类问题，以及系统对实时性的要求，本研究旨在通过由视觉摄像头和激光雷达组成的多源传感器进行信息获取，研究多传感器信息融合技术，在复杂工作环境下，有效克服单一传感器信息获取的局限性，并研究深度检测与跟踪算法的框架设计，改进优化深度检测与跟踪模型的网络结构，研究设计更高效、更精确、更鲁棒的深度检测与跟踪模型。本项目研究内容如下所示：

（1）鱼眼成像的矫正与拼接

1）建立鱼眼镜头的单位球面投影数学模型；

2）对比各类鱼眼矫正方法的矫正效果。

（2）基于深度学习的车辆、行人检测算法的研究

1）构建基于YOLOv5的深度神经网络作为检测基础模型；

2）通过各种数据扩充方法，缓解数据集类别不均衡的问题，提高YOLOv5深度模型的检测准确率；

3）CNN的深层特征图有着丰富的语义信息，而浅层特征图携带着细节信息，研究结合两者优势的融合方法；

4）针对交通场景中行人密集、遮挡严重和目标小的特点，改进优化深度检测模型，改进特征提取网络和多尺度检测算法；

5）针对实时性的要求，在保证精度的情况下，利用深度可分离卷积改造YOLOv5中的基本网络结构，减少模型参数，加快检测速度。

（3）基于深度学习的多目标跟踪算法的研究

1）根据DeepSORT算法，利用检测器、外观特征提取和数据关联等模块进行目标跟踪；

2）在不同天气、不同地点和不同车速的条件下采集车辆行驶的传感器数据，并手工标注各个目标类别，制作相较于国外公开数据集更贴近我国道路特点的训练数据集；

3）将改进后的YOLOv5检测模型作为DeepSORT跟踪算法的检测器，从而得到每一帧目标的预测边框；

4）基于目标运动连续的特性，利用卡尔曼滤波算法来进行目标的状态估计，再结合目标的状态观测，从而得到目标的最优状态更新；

5）利用以现有大规模数据集预训练的CNN分类网络提取特征，使用L2归一化操作将特征映射到单位超球面上，提高目标外观特征的提取能力；

6）基于马氏距离与余弦距离来度量目标的时空特征相似度，并基于匈牙利算法实现快速高精度的多目标数据关联；

（4）多传感器联合标定方案的研究

1）建立基于针孔模型的相机成像模型，构建世界坐标系、相机坐标系、图像坐标系与像素坐标系之间的转换关系；

2）基于Harris算子获取角点在图像中的像素坐标与世界坐标下的三维坐标，并基于非线性最小二乘Levenberg-Marquard算法求解得到相机的内外参矩阵；

3）构建激光雷达的点云数据坐标与摄像机像素坐标之间的转换关系，并通过棋盘格标定方法实现激光雷达与摄像机的联合标定。

（5）多传感器融合算法的研究

1）数据级融合：建立多传感器数据综合处理平台，实时采集各种传感器感知的数据，为上层数据访问提供统一的抽象接口，并提供推送和订阅两种访问方式；

2）特征级融合：利用激光雷达对有效目标进行筛选，将雷达信息转换到图像环境下，建立感兴趣区域，对目标图像进行预处理、特征提取；

3）决策级融合：将不同传感器得到的目标特征传入融合中心，基于协方差交叉融合等方法对多目标进行航迹关联与融合，以维护有效目标列表，最大限度地提高多目标跟踪的精准度。

融合系统的可视化结果如下图所示。

（a）同时刻摄像头感知结果

（b）同时刻融合感知结果

2、技术创新点

本项目从车辆软硬件改装、鱼眼成像矫正、车辆行人检测与跟踪的深度学习模型改进、多传感器联合标定以及多传感器信息融合等方面进行了研究。本项目的先进性技术总结如下：

（1）针对KITTI数据集中类别不平衡的问题，本项目对数量较少的person和cyclist类别进行数据扩充，在原图中裁剪出person及cyclist类型并贴到新的背景中构成新样本。实验结果表明，上述数据扩充方法能够有效提高目标检测准确率。

（2）针对YOLOv5特征提取网络过深导致感受野小、从而导致小目标漏检率高和检测精度低的问题，本项目提出了改进YOLOv5多尺度检测网络，通过增加输出通道数量来使模型变得更宽。实验结果表明，新提出的特征提取网络结构能够有效提升对于小目标的检测效果。

（3）针对获取先验框时K-means算法聚类效果不准确、获取的锚点框与数据特征匹配度低等问题，本项目采用K-means++聚类算法进行改进，对于初始的K个聚类中心点不再随机选取，而是通过轮盘法的方法进行选取，使初始的聚类中心点之间的相互距离尽可能远。实验结果表明，K-means++聚类算法的聚类效果更佳，能够提升目标检测的准确率。

（4）针对相机可能产生的晃动现象以及目标行人和车辆的遮挡等情况，本项目考虑设计高效的特征提取网络，最后使用L2归一化将特征映射到单位超球面上，以便后续使用马氏距离和余弦表观来度量目标相似度。

• 专利/论文/获奖情况

备注：泛亚技术中心法务部门指出若与外部联合申请专利，不可以走公司申请流程，故所有专利由同济大学单独申请。

本项目共申请专利9项。

1）一种基于选择性知识传递的双特长教师模型知识融合方法，尤鸣宇,王伟昊,周洪钧，申请号：CN202110218021.0，申请日：2021.02.26

2）一种面向循环神经网络的无监督多模型融合算法，尤鸣宇,韩煊，申请号：CN202210071568.7，申请日：2021.01.21

3）一种使用残差注意力机制网络的同步定位与建图方法，张佳伟，尤鸣宇，申请号：CN201911190243.5，申请日：2019.09.25

4）一种基于第三视角可变主体演示视频的机械臂模仿学习方法，尤鸣宇,周虹旭,钱智丰,周洪钧，申请号：CN202110218017.4，申请日：2021.02.26

5）一种基于triplet深度二值网络的快速人脸检索方法，尤鸣宇,沈春华,张欣彧，申请号：CN201810026049.2，申请日：2018.01.11

6）一种跨摄像头目标检测与跟踪系统及方法，王平, 王超, 王新红, 朱纪龙, 国家发明专利，申请号：CN202210140025.6，申请日：2022.02.16

7）一种基于车路协同的道路车辆定位及感知方法和装置，王平, 刘富强, 王超, 王新红, 黄陈明, 国家发明专利，申请号：CN202010457794.X，申请日：2020.05.26

8）一种面向路口的智能化本地动态地图实现系统及实现方法, 王平, 刘富强, 王新红, 周宇, 申请号：201810856907.6, 申请日：2018.07.31

9）一种基于车路协同的陀螺仪道路状态识别及提示方法, 刘富强, 杨海军, 王平, 王新红, 罗肖, 冯秋维, 申请号：201810552965.x, 申请日：2018.05.31

4、成果应用及经济效益预测

“基于多传感器融合的周边车辆行人检测与跟踪”项目研制多传感器信息融合技术，在复杂工作环境下，有效克服单一传感器信息获取的局限性，并检测与跟踪出不同情况下的车辆行人目标，是实现安全辅助驾驶和智能车辆系统的关键技术具有较高的推广应用前景并有潜力转化为可观的经济效益和社会效益。

本项目开发部署的泛亚工程驾驶车辆已具备智能融合目标物，有望在复杂场景下弥补现有传感器目标检测方案缺点，比如夜晚，大雨等环境下摄像头及激光雷达传感器局限场景。提高系统冗余性能。

同时，项目基于Ubuntu系统下的ROS平台开发软件系统具有极佳的灵活性及可拓展性，面向未来多样化场景及任务需求，本方案仅需要适应性调整即可满足新需求，降低进一步开发难度，节约研发经费。

项目设计了完整的环境感知模块及多传感器融合模块，适用于企业安全辅助驾驶感知模块性能的提高。提高资产利用率和生产力，进一步改善当下的智能驾驶安全辅助功能，提高社会智能驾驶功能开发安全性。