项目编号： ???1818?? ?????
移动测量车与无人机联合的测量数据融合关键技术研究
Research on Key Technology of Measurement Data Fusion based on Mobile Lidar and UAV Image
项目研制单位：武汉大学 武汉中海庭数据技术有限公司
主要研制人员：季铮 方永火 罗跃军 黄玉春 王玥 李雨昊 席可 廖逸凡 郝雪洁
田书方 张恒 刘圆 周洁 邵泉 唐文龙
主题词：无人机影像? LIDAR点云? 空中三角测量? 几何配准
1、研究内容介绍
1.1 项目目的与意义
当前，获得高精度测绘数据主要来源于两大传感设备，一类是通过相机获取可见光投影成像的影像数据，一类是通过直接主动测距获得空间位置信息的激光扫描数据。从传感器平台上看，一类以车辆为搭载平台，集成GPS、INS、激光扫描仪(LIDAR)等多传感器的移动测量平台，一类是以搭载高清相机的无人机低空摄影测量平台。
高精度导航地图制作中移动采集的一个具体问题，激光移动测量车在匝道时，受到道路行驶的约束，完全采集到各条匝道数据，需要进行长距离的来回绕道行驶，存在采集效率、成本上明显弱于主线采集。从目前中国的道路情况来看，前后行车里程至少有5公里，有的区域可能到几十公里，实际行车里程甚至为采集里程的10倍以上。相比之下，无人机采集影像则不受道路的空间拓扑限制，采集效率优势明显。无人机测图虽然能避免匝道区域的绕程问题，但在缺少高精度控制点和控制网的条件下，高程精度不能稳定的达到移动Lidar测量的精度水平，会出现较大的高程偏差。为了消除这个偏差，在不进行额外的外业控制条件下，需要将移动测量的Lidar点云数据和无人机影像两类测量数据进行联合配准、融合，利用公共重叠区域，将无人机影像生成的三维模型与实际Lidar数据在几何坐标上统一贴合，整体满足导航地图的高程和平面精度要求。
1.2 关键技术研究
本课题项目的核心目标是利用无人机影像与高精度的移动测量LIDAR相配准，实现无控或极少控制下的空间数据融合，从而获得更全面和大范围的测量数据，为后续的测图和建模提供数据。围绕这个目标，需要充分利用无人机影像的自动定向，无人机影像提取点云，影像与LIDAR高精度配准、融合技术，需要研究和实现点云-点云、影像-点云等配准算法和高精度方位参数的联合解算和优化一系列的理论和技术方法。
（1）无人机影像与移动测量LIDAR点云的无控配准方法研究
在无高精度控制点的情况下，仅根据无人机GPS提供的初始方位参数和移动测量LIDAR点云的空间数据分布特征获得自动化的初始匹配是整个项目自动化配准的基础；具体包括：
1）面向移动测量LIDAR点云的空间数据组织，通过对大数据量LIDAR点云的高效组织方法实现，提高配准效率；
2）无人机影像的自动定向(空中三角测量)，获得影像的空间关系，是后期匹配的数据组织基础；
2）POS-LIDAR点云辅助的SFM，通过POS信息和LIDAR点云的辅助构建航摄影像的区域网，改善区域网构建的效率；
（2）无人机影像与移动测量LIDAR点云的非刚性配准方法
1）建立无人机影像基于多层级ICP的无人机点云和LIDAR点云的粗配准，建立初始的配准参数；
2）多特征的非刚性联合配准方法对比研究；
3）刚性配准约束下增量式无人机影像自由网构建；
（31）LIDAR点云与无人机影像联合的高精度方位参数优化
- Lidar点云与无人机高精度配准的实质是无人机影像以Lidar上的控制信息进行方位参数的优化。该步骤需要光束法平差中增加一个成本函数来评估影像三维点和激光点云之间的距离，进行迭代解算，获取新的外方位元素，并进行精度评价，具体包括：
1）车载LIDAR点云控制约束下的影像方位参数精确解算；
2）联合平差的成本函数迭代优化研究，进行精度评价；
3）大矩阵方程的GPU加速方法实现；
1.3 技术路线
本项目研究对象数据源是移动测量LIDAR点云、无人机影像以及相关的空间参数如GPS/IMU数据。基于统一的地理坐标框架下，对于无人机影像，首先需要建立影像的定向网，即每张影像的空间方位分布和关系，如影像模型对，影像定向子网等。影像的定向网的建立，主要通过摄影测量中的空中三角测量和计算机视觉中的SFM（Structure From Motion）。LIDAR数据联合影像定向，要进行多层次配准和解算，LIDAR数据的空间数据组织是影像实际算法的效率的数据因素，需要建立符合移动测量LIDAR的分块组织和快速访问机制。影像的空间网难以通过整体刚性变换求解获得各个位置上较高精度配准，需要将整体影像看成一个非刚性体，即很多刚性变换组元构成的一个非刚性体，利用多元组的非刚性变化。非刚性配准主要是利用LIDAR点云和影像网得到的点云的空间分布特征为基础的ICP配准，同时考虑影像定向网的约束进行精化，获得较高符合度的配准结果。利用多特征联合的光束法平差将通过影像光线交会和点云特征联合约束进行整体优化，得到最终精确配准结果。总体技术路线流程图如图1.所示。
图1. 无人机影像与移动测量LIDAR配准方法研究技术路线总图
1.4 达到的效果和成果技术水平
1）在核心算法的指标上，本课题系统实现了利用点云辅助的无人机影像配准关键技术，在无控条件下无人机影像定向精度高程上达到5CM以下，平面最大误差优于15cm，高程最大误差优于10cm，验证了本课题项目的工程应用达到了预期效果；
2） 数据效率指标上，单机能够实现每小时处理不少于200张影像与点云(数量1亿点以上)的配准处理，实际处理数据无人机影像345张，点云112个点云条带文件，点数量6.2亿，可以一体化处理，配准整体处理时间小于1小时，达到了实用化的要求；
3）研制了无人机影像与移动测量LIDAR点云配准处理系统软件1套，本软件系统将移动测量点云和无人机影像联合处理集成，支持三维可视化实时交互，融合处理的方式属于领先水平；
附典型图表、数据、产品图说明
图2.无人机影像和移动Lidar数据配准系统
经过配准处理后，生成影像三维模型，在模型上选取100个道路点与Lidar点云上的坐标进行比对。经过统计后，结果如表1，表2所示，高程方向上的中误差大约为4CM左右，平面大约在8-9CM左右。
表1.各方向残差均值统计表(单位：厘米)
| X | Y | Z | |
| 均值 | 1.16 | -0.12 | 2.12 |
| 绝对值均值 | 4.81 | 4.61 | 3.71 |
表2 各方向中误差统计表(单位：厘米)
| mxy | mz | mxyz |
| 9.44 | 8.23 | 4.62 |
配准成果应用
将配准后的无人机三维模型导入三维测图系统中进行道路CAD模型绘制，成果如下图所示，当激光点云只采用局部主干道控制时，利用无人机摄影测量三维模型也能够获得完整的道路矢量采集。结果证明，测图成果可以对接测图系统，进行高精度导航地图的后续制作。
(a)
(b)
(c)
图3. 配准后无人机影像三维模型上测图CAD结果 (a),(b),(c)
2、技术创新点
本课题针对高精度导航地图制作技术，将无人机影像摄影测量技术与移动测量技术相结合，其目的是利用无人机影像补充和扩展测量范围，解决车载移动激光扫描在高架桥匝道类型道路的冗余绕程问题，有助于拓展高精度导航地图制作工艺，提高制作效率、降低成本。
1）本课题研究并实现了不同测量设备的多模态数据（无人机影像数据、车载LIDAR点云数据）配准，并使配准精度符合高精度导航地图制图要求，发挥了两类测量数据的互补性，使得在道路测量中大视角偏差的数据融合成为可能。
2）本课题解决了无人机影像和车载Lidar数据配准中的一系列核心算法问题：点云与影像模型的特征基元提取，刚性及非刚性配准，点-面约束条件的整体优化解算，为两类数据配准提供了实用化解决方案。实验结果满足了高精度测图的要求，在高精度地图测制中处于国内外先进的水准。
3）本课题实现了一整套Lidar点云与无人机影像配准融合的三维可视化、交互工具，并形成了应用系统。在具体数据管理中，实现了面向移动测量LIDAR点云的空间数据组织，能实现对Lidar点云海量数据进行管理与查询、编辑更加高效。实现了无人机工程影像的管理，能够进行空间查询，可视化选点，编辑。这些实用化工具能将本课题的技术研究落地，转换成实际的数据加工能力。
- 3、专利/论文/获奖情况
1）专利： 一种利用车载Lidar与无人机联合的高精度测图定位方法
申请号|专利号：202010252893.4?? 已授权
摘要：本发明属于空间数据处理和定位技术领域，公开了一种利用车载Lidar与无人机联合的高精度测图定位方法，获取控制面元，对经过初始定向处理的无人机影像进行特征点提取，并在影像之间进行特征匹配，获取无人机影像之间的同名特征点，再利用稳健估计方法对误匹配点进行粗差剔除；将特征面元与无人机影像上的特征点建立起一对多或者一对一的映射关系；通过光束法平差迭代，对无人机影像和相机外参数进一步精化解算，获得高精度的方位元素和参数。本发明具有速度快，精度高，通过外野控制点检核，将绝对定位精度提高到平面5cm，，高程10cm以内，为无人机与Lidar联合获取高精度地图提供一种低成本的技术解决方案。
2）论文：
Non-Rigid Vehicle-Borne Lidar-Assisted Aerotriangulation. Remote Sensing, 11(10), p.1188. 2019 (SCI索引)
摘要：车载激光扫描系统（VLS）可以方便地对路面进行近距离扫描，获得点云。无人机（UAV）可以拍摄范围更广的地面图像。由于VLS平台与无人机平台的互补性，使两者的结合成为一种更为有效的方法有效的数据采集方法。本文提出了一种非刚体法进行航空三角测量提出了利用车载光探测和测距（LiDAR）点云辅助无人机图像，大大减少了控制点的数量，提高了自动化程度。激光Lidar点云辅助空中三角测量解决了两点云之间的配准问题，不需要复杂的特征提取和点云与图像的匹配。与迭代最近点（ICP）算法相比，更严格的平差模型和更高精度的空中三角测量能较好地解决非刚体问题。实验结果表明，激光Lidar点云的约束保证了高精度甚至在没有控制点的情况下。平面和高程均达到了高精度地面测图1:1000的要求，这验证了该方法的可靠性。作为联合成图的必要条件，本研究基于对VLS和无人机图像在缺少控制点条件按下的联合检测，将大大提高联合测图的效率并降低其成本。
4、成果应用及经济效益预测
1）无人机工程化实施现状
因无人机测绘的成本优势和质量优势，无人机测绘的生产需求规模不段增大，工程化实施初期，中海庭只有1台自购的大疆无人机和2个无人机飞手，目前中海庭拥有2台自购的大疆无人机和多名无人机飞手，同时委托其他航飞单位协助开展无人机数据采集。经过近一年的工程化实施，无人机的生产足迹已经遍布东部大部分省市（如下图），采集里程和区域如下表。
| 序号 | 区域 | 里程（KM） | 匝道条数 | KM/条 |
| 1 | 上海 | 31.8 | 41 | 0.78 |
| 2 | 湖北 | 545.6 | 726 | 0.75 |
| 3 | 安徽 | 441.9 | 499 | 0.89 |
| 4 | 浙江 | 137.3 | 136 | 1.01 |
| 5 | 江苏 | 130 | 136 | 0.96 |
| 6 | 山西 | 704.3 | 827 | 0.85 |
| 7 | 山东 | 214.9 | 258 | 0.83 |
| 8 | 河南 | 439 | 509 | 0.86 |
| 9 | 黑龙江 | 67.8 | 87 | 0.78 |
| 10 | 吉林 | 149.8 | 155 | 0.97 |
| 11 | 内蒙古 | 118.3 | 156 | 0.76 |
| 12 | 河北 | 84.7 | 71 | 1.19 |
| 13 | 宁夏 | 185.9 | 202 | 0.92 |
| 14 | 广东 | 286.4 | 348 | 0.82 |
| 汇总 | 3537.7 | 4151 | 0.85 | |
2）无人机的生产优势
下图是一个典型的JC型立交，除了4条主线外，还剩余8条匝道，需采集里程约8km，而实际采集过程中需从一个入口上主线、从一个出口下主线，从目前中国的道路情况来看，前后行车里程至少有5km，有的区域可能到几十km，实际行车里程为采集里程的10倍以上，无人机采集不受这一条件限制。
通过本课题的工作积累和转化，将无人机影像测图技术引入高精度导航地图的生产中，并针对导航地图的飞行条件、数据处理要求进行了数据采集的流程规整，生产出符合精度要求的导航地图数据，同时对无人机作业流程进行了一定工程化的优化。
3）生产收益
（1）设备资产投入
一台激光移动测量车硬件设备成本约200万，而一台无人机的硬件成本约3万，可以将原本计划用于采集匝道的采集车替换成低成本的无人机，资产投入大幅度降低。
（2）应用软件系统
本项目的无人机与Lidar数据联合配准和融合处理软件(LPRM)能够处理真实的移动测量Lidar数据和无人机影像，提供了较为实用化的软件工具，减少对外部软件的依赖程度，降低了数据处理软件系统的额外投入，同时也提升了数据处理效率。