项目编号： 1735 ?
基于车内外视线聚焦的眼球识别技术预研
Pre-research on eyeball recognition technology based on the focus of sight inside and outside the vehicle
项目研制单位：上海大学 上海汽车集团股份有限公司技术中心
主要研制人员：屠大维 仇林至 胡俊伟 张冀青? 赵其杰? 吴义靖? 赵威驰、李豪杰? 江俊晔? 徐娇
主题词：智能驾驶 眼动跟踪? 注视方向? 视线聚焦
1、研究内容介绍
1.1 研究意义及目的
随着汽车电子技术和信息化技术的发展，汽车的操作性、安全性等各方面都有了很大提高，人们对汽车的安全和驾驶舒适性、智能化有了更高的期待。以“人为中心”的智能驾驶和人-车交互合作成为当前广泛关注的前瞻技术，在交互通道方面语音交互、触觉交互、手势、人眼视线等逐渐走向应用，其中视线具有“所见即所得”的特点，被认为是未来人机交互的“黑科技”。在汽车领域，眼球运动行为的识别将作为判断驾驶员的精神状态（如注意力、是否疲劳等）和辅助通道帮助驾驶员更便捷地操控汽车（如通过视线开关空调、音乐、导航等），从而实现“驾驶员-汽车”智能和行为的融合，对于提高驾驶的安全性、舒适性等具有重要意义。
本项目的目的是以摄像头为硬件基础，利用图像识别技术，动态捕捉人脸图像，识别眼球瞳孔，掌握双眼瞳孔视线聚焦算法，输出眼睛开闭、聚焦点、注视时常、眨眼等关键信息，实现对汽车多媒体等系统的控制，完成原理样机的试制及试验。
1.2 关键技术
由于行车环境光照的复杂性、驾驶员个性的差异性等，视线注视作为一种新的交互技术还有很多挑战。本项研究重点解决的关键技术如下：
（1）针对不同行车环境，采用红外摄像机加红外辅助光源、红外滤镜等开发双目立体相机，建立适合车载应用的视线跟踪及眼动识别硬件台架，使之具有对环境光干扰的适应性。
（2）构建双目3D视觉系统检测驾驶员头部姿态的模型，将3D视觉检测获得的三维信息与2D视觉特征信息进行综合匹配，从而获得包括头部三维运动及眼部2D特征信息，提高系统对驾驶员坐姿及头部姿态等个性差异的适应性。
（3）融合头部姿态、眼动行为等信息，研究“人-车”交互的合理化机制及车内电子设备眼动控制方法，通过眼睛注视目标标签驱动控制模块实现人-车视线交互合作。
1.3 研究方案及技术路线
本项目的基本原理为基于视频图像处理的视线方向检测，考虑到头部和眼睛的运动情况，提出的总体方案如图1所示，建立适合车载的双目立体视觉头部位姿检测及眼动行为分析系统。为适应环境光照情况，采用窄光谱的红外光源+窄带滤色片和红外摄像机的方式实现图像采集。双目3D视觉系统获取头部位姿信息（包括人的头部坐标信息、面部朝向），2D视觉图像处理获取眼部瞳孔坐标位置，最后综合2D、3D信息，确定视线方向，并将检测识别得到的信息作为指令输出，发送给车载控制系统。
图1 系统研究开发方案
技术路线主要包括：基础模块、头眼三维信息检测及分析模块、融合2D和3D信息的视线注视方向检测模块、驾驶员状态监测及疲劳分析模块、信息融合及交互工作机制处理模块、人机界面模块。
1）基础模块是软件运行的基础，硬件方面采用“红外双目+窄带滤光片+红外激光+红外LED辅助光”的车载式3D视线跟踪信息处理模块，实现图像信号的采集、存储，各模块间的通信及与外部设备间的通信功能；
2）头眼三维信息检测及分析模块开发。利用3D相机采集的点云数据、红外图像进行特征提取，通过三维重建及特征匹配实现头部姿态、头部与装置的距离、眼部三维位置的检测和定位，并进行驾驶员状态及意图的初步判断；
3）融合2D和3D信息的视线注视方向检测模块。利用3D相机采集的脸部红外图像进行眼部特征提取（瞳孔中心、眼角、虹膜尺寸、眼睑轮廓），设计算法进行眼睛状态的检测，融合提取的眼部特征和3D检测得到的头部姿态、距离等，通过多层映射模型实现视线注视方向的检测；
4）驾驶员状态监测及疲劳分析模块。利用3D相机采集的点云数据进行头部和眼睛的三维状态检测，获取眼球运动、睁眼/闭眼及眨眼频率等，基于PERCLOS理论建立疲劳检测模型，实现驾驶员疲劳监测；
5）信息融合及交互工作机制处理模块。将各模块的检测信息进行融合处理，开发信息处理的接口软件实现交互指令的传递，设计驾驶员与汽车间合理的协作和交互机制（通过时间参数、语音等协作），开发容错及处理软件逻辑模块，实现较为自然和稳定的人-车交互合作；
6）人机交互界面模块。根据整体任务需求设计人与汽车进行交互的界面模型，将检测的视线注视方向与软件模型进行匹配，关键参数库通过实验获取和机器学习的方式建立，实现人与汽车的沟通对话。
通过本项目的研究，为面向实际行车环境探索软硬件一体化的解决方案，其中采用“红外双目+窄带滤光片+红外激光+红外LED辅助光”模式解决环境光照适应性问题，利用2D/3D视觉融合的方法解决驾驶员个性差异等方面在面向汽车领域具有领先性，并且通过实验验证了可行性。
2、技术创新点
针对驾驶环境复杂和驾驶员个性差异等问题，基于机器视觉、机器学习等理论，提出了解决方案。具体创新如下：
1）考虑到行车环境光照变化干扰和不同驾驶员个性差异，提出一种 “红外双目+红外激光+红外辅助光”的车载式3D视线跟踪红外模块，利用红外辅助照明、窄带滤色片等相互结合，实现对行车过程复杂光照背景干扰的适应性；（申请专利“一种人车交互装置和人车交互方法”）
2）提出采用双目视觉不仅检测跟踪脸部、眼睛的特征，通过双目视觉实现距离测量及头部特征参数精确测量，从而实现对驾驶员行为和姿态的测量，为解决不同驾驶员个体差异提供必要信息；
3）不同于2D相机的信息处理，提出的方法采用“3D+2D”信息融合的方式，通过开发的机器学习算法将头部位姿特征和眼动参数融合，允许头部在一定范围内运动的情况下，实现注视方向与目标的准确映射，不需要频繁标定，提高了系统适应性和视线识别可靠性。
3、专利/论文/获奖情况
申请专利：
[1] 牛凤海，张冀青，胡俊伟，屠大维，赵威驰，赵其杰，李豪杰，一种人车交互装置和人车交互方法，申请日: 2018.08.24，公开（公告）号: CN110857067A。
[2] 牛凤海，张冀青，胡俊伟，屠大维，吴义靖，赵其杰，江俊晔，一种驾驶意图指令生成的装置和方法，申请日: 2018.08.24，公开（公告）号: CN110857064A。
4、成果应用及经济效益预测
国内外在汽车领域，由于行车环境的复杂性和对汽车安全的要求，目前眼球识别技术仍然是一种前瞻性的预研技术，在实际应用中还未曾有过报道，但保时捷、特斯拉等车企均投入巨资研发以人体自然通道与车交互的新技术，其中视线跟踪的交互技术将成为重点，如保时捷在其Mission E电动概念车上已经设计了通过视线操控仪表盘相关功能。实现用眼睛操作车载系统功能， 相比传统汽车， 交互更加自然、简便和智能。另外驾驶者注视点不会离开前方路况，双手也不用离开方向盘，从而确保驾驶的安全，对于减少道路交通事故具有重要意义。
根据研究，结合汽车和交通领域的长远发展，眼动行为识别在汽车领域是有前景的，其经济效益主要体现在该项技术将成为面向未来智能驾驶、智能网联车的核心创新技术，就目前而言在市场中还处于空白，一旦普及应用将产生千亿级别的市场空间，如同Mobileye技术在ADAS方面的应用，视线跟踪作为人-车未来交互应用的前沿性技术，其市场和经济效益是不可限量的。