红外双目 ，让我们离自动驾驶又近了一步
前不久 ，Uber在美国制造了全球首例无人驾驶车辆致行人殒命事故。虽然凭证外地警员局透露 ，受害人是从暗处突然突入无邪车道 ，但事故照旧不可阻止地将自动驾驶推上了舆论的风口浪尖。一周前 ，Uber宣称“在可预见的未来终止在加州的所有无人驾驶汽车测试运动。”
图片泉源网络
“逝者已矣 ，生者如斯”。测试可以阻止 ，手艺生长则不可障碍不前 ，并且要有的放矢 ，事故一出 ，Uber所使用的传感器手艺一时成为了调研的“众矢之的”。
Uber现有的自动驾驶传感器手艺
Uber 的自动驾驶车辆搭载了若干个成像系统 ，如图所示：
1. 激光雷达
Uber 改装的沃尔沃XC90顶部搭载了1台Velodyne的HDL-64激光雷达 ，通过三维激光扫描手艺 ，能对周围静止和移动物体天生3D图像 ，并且激光探测不受光照条件影响 ，探测精度可达厘米级。据Velodyne 官网显示 ，HDL-64探测距离为120米 ，理论上可以阻止事故的爆发。
在这个场景下 ，激光雷达是能够探测到的 ，但它也保存固有的缺陷 ，好比对玄色物体不敏感。Uber事务中 ，由于受害者身穿玄色上衣 ，反射率较低 ，致使激光雷达感知规模大打折扣。其次 ，由于自行车架以管状为主 ，大宗的朴陋使激光雷达的扫射面积大幅镌汰 ，可获取的点云数据十分有限 ，有可能导致激光雷达无法在第一时间对目的举行识别 ，也更无法完成测距和紧迫制动等行动。因此 ，激光雷达不是万能的。
2. 可见光摄像头
Uber在XC90上装置了短焦和长焦光学相机共7台 ，划分以前向、侧向和后向对成像举行实时剖析� ？杉馍阆裢� ，在光照较差的情形下 ，摄像头的目的识别能力将会下降。Uber事故爆发确当晚 ，车辆所行驶的蹊径有一部分被阴影所笼罩。受害者横穿蹊径时恰幸亏阴影区域内 ，摄像头没有实时发明目的。
关于单目摄像头来说 ，要想获得距离信息 ，必需先识别目的。首先要对目的举行框图分类 ，而分类和识别是一体的 ，不识别无法准确分类。图像的分类以特征提取为基础 ，这就需要建设并一直维护一个重大的样本特征数据库 ，若是数据库中缺乏待识别目的的特征数据 ，就无法对这些车型、物体、障碍物举行识别 ，从而导致系统漏报。
图像分类是由一些图像处置惩罚手艺综合而成的。在分类图片时 ，首先判断图像是否需要举行预处置惩罚 ，如去除噪声等。然后提取图像的特征并存储在特征库中 ，使用图像特征训练分类器 ，输出分类效果。这个历程关于前方突然掉落的物体、突然泛起的行人是不适用的。
分类识别后是估算距离 ，单目估算距离主要是凭证目的在图像中的像素巨细 ，这种要领准确度不高。
如上图所示 ，由于距离因素 ，行人3和行人2的像素巨细是很是靠近的 ，但行人2和行人3与车辆距离差别很大 ，在单目看来 ，距离却是完全一样的。
与单目摄像头相比 ，双目在准确度上要高得多。
双目与单目区别有几点 ，首先 ，双目是丈量距离而非估算。双目摄像头的成像原理与人眼相似 ，通过三角测距算法获得视域内恣意目的的距离数据。
双目与单目的第二点区别是双目可以在不识别目的的情形获得深度（距离）数据。双目立体视觉系统就是通过对两幅图像视差的盘算 ，直接对前方景物举行距离丈量（视场规模内） ，而无需判断前方泛起的是什么类型的障碍物。
比照来看 ，单目摄像头本钱低 ，系统结构简朴。其弱点在于必需一直更新和维护样本数据库 ，才华包管系统抵达较高的识别率。而双目视觉系统价钱虽比单目高 ，但与激光雷达计划相比 ，具备一定价钱优势；二是不受识别率限制 ，无需先举行识别再举行测算 ，而是对视域规模内的障碍物实时举行丈量；三是测距精度比单目高 ，直接使用视差盘算距离；四是无需维护样本数据库 ，节约处置惩罚器带宽。
双目立体视觉系统在距离测算上相比单目摄像头具有奇异的优势 ，但受成像器件的限制 ，现有的可见光波段双目立体视觉系统只能应用在光照适当的条件下 ，关于夜间 ，尤其在卑劣的天气条件下就不再起作用。此时 ，我们可用红外热成像手艺来提高系统的识别能力。
红外热成像手艺
红外热成像手艺是一种被动红外夜视手艺 ，是使用自然界物体红外热辐射强度的差别来形成图像 ，并且不受光照、霾、雪、雾等客观条件影响。
图为红外热像仪伪彩效果图
图为红外热像仪灰度成像图
红外热成像手艺与立体视觉手艺的融合 ，将立体视觉的应用规模推广到了红外波段 ，形成了手艺上的强盛协力。
红外双目立体视觉系统
红外双目立体视觉系统是双目立体视觉手艺与红外热成像手艺一体化融合的产品。双目模组能够实时对视域规模内所有物体举行测距和识别 ，从而优化了可见光摄像头需要先识别后测距的数据反响机理 ，缩短了无人驾驶系统从发明目的到紧迫制动的时间。
而集成于双目模组上的两个红外热像仪 ，能够对目的物体散发的红外辐射能量举行捕获 ，再通过光电转化形成热图 ，继而从基础上规避激光雷达对反射率低的目的无法举行有用形貌的短板 ，并且对诸如自行车、栏杆等几何结构上保存大宗朴陋的目的能够举行实时成像；同时 ，热像仪不依赖光源成像的特质 ，使其能够胜任全天时作业使命。
上博智像红外双目立体视觉情形感知系统正是源自这样的设计理念应运而生的。该系统基于FPGA+ARM架构将两个热像仪所成热图像举行畸变校正、视差矫正、立体信息解算中剖析 ，最终获得视域规模内障碍物的距离信息 ，并以点云的形式将数据发送给控制终端 ，以此来增强无人系统对情形的感知能力 ，实现全天时条件下视觉测距、障碍物检测、避障偏向优选等功效。
该系统有用填补可见光摄像头和激光雷达的缺乏 ，使现有的自动驾驶手艺为虎傅翼 ，更好地为行人、车辆和驾驶员保驾护航。
