苏州索亚机器人技术有限公司

网站首页 > 新闻 > 行业动态

激光雷达VS相机:雨中驾驶

激光雷达VS相机:雨中驾驶

在过去的12个月里,我们看到了很多关于激光雷达在雨中不工作的讨论。大部分都是没有数据的推测,就像下面这些评论:

1582444613657067.jpg

这是我们,读着这些推文:

1582444762844819.png


与自动驾驶汽车密切合作,我们知道激光雷达传感器和摄像头在自动驾驶汽车中都扮演着重要的角色。摄像头带来高分辨率,激光雷达传感器带来深度信息。也就是说,在两个传感器中的一个可能会出现性能下降的情况下,比如在下雨的情况下,另一个传感器可以在感知系统中发挥作用。

回到Twitter上的这些评论。他们回避了这样一个问题:有没有人评论过激光雷达在雨中的表现,是否真的从雨中的驱动器中看到了激光雷达数据?我们的谷歌搜索告诉我们答案几乎肯定是否定,所以我们认为最好的方式来表达我们的观点将是一个真正的驱动力。

上个月在旧金山我们迎来了第一次降雨,我们记录了一个并排的摄像头和激光雷达传感器驱动器,以证明降雨对激光雷达数据的影响是最小的,而潮湿的环境是许多场景中的一个,有了这两个传感器,感知系统更安全、更健壮。

在我们的演示中,我们在车顶放了一个GoPro录制的4K视频和一个OS1激光雷达传感器,然后驶进了温和、稳定的雨中。

如果你想自己研究原始数据,这里有一个来自硬盘的2分钟的。bag文件(点击之前提醒:它是一个10GB的文件)

这里还有一个示例配置文件,用于使用visualizer查看数据。

链接:https://github.com/ouster-lidar/ouster_example

降雨对相机的影响比激光雷达传感器更大

在视频的第一个视图中,右上角的三幅图像是由激光雷达传感器输出的结构化数据全景图像,不涉及相机。上图显示了激光雷达传感器捕捉到的环境光(阳光)。第二幅图像显示强度信号(反射回传感器的激光强度),第三幅图像显示由传感器计算出的物体范围。

你可以看到,水并没有掩盖激光雷达信号和距离图像,即使在激光雷达传感器的窗口有水滴。环境图像有点颗粒状,因为云层减少了阳光的数量,但仍然显示没有受到雨水的影响。

3.png


更大的光学孔径

OS1能够透过窗户上的模糊物(这里指的是水滴)看到东西的独特能力之一,是我们的数字激光雷达技术https://ouster.com/blog/how-multi-beam-flash-lidar-works/

使传感器的大光学孔径成为可能。正如我们在前一篇文章https://ouster.com/blog/beam-aperture-and-the-dead-bug-problem/)中所讨论的,大光圈允许光线绕过传感器窗口上的遮蔽物。结果是,传感器的范围略有减少的水,但水不扭曲图象。

大光圈还能让传感器看到周围的雨滴。尽管有稳定的降雨,但传感器几乎没有捕捉到降雨。这一点在视频的后半部分可以看得很清楚。

另一方面,相机的光圈比雨滴的大小小得多。结果,一颗水珠就能模糊视野中可能包含关键信息的大片区域。为了克服这种扭曲,汽车制造商已经开发了清洁解决方案https://www.youtube.com/watch?v=updnPpcXj5Y),以防止水和污垢积聚在相机镜头。

更短的曝光时间(更快的快门速度)


曝光时间是激光雷达传感器和相机之间的另一个重要区别,它会影响下雨时的性能。人类的眼睛和照相机的曝光时间都是千分之一秒,这使得雨滴在图像中呈现出巨大的条纹,而雨滴的密度比实际要大。激光雷达传感器具有超快的曝光速度,测量时间为百万分之一秒,因此在测量过程中雨水被有效地冻结在原地,而且在多个像素上被探测到条纹的可能性很低。

4.png


数字返回处理

最后,我们的数字激光雷达传感器处理返回信息的方式,使它们具有一种优势,可以在雨等特定范围内穿透模糊物。我们的传感器是“距离门控成像仪”。我们的传感器将光子集成到一系列“距离门”中(换句话说,我们创建了一个光子时间序列),而不是像照相机那样将所有从像素方向返回的光进行集成。

从时间序列中,我们只挑选出传感器中每个像素的最强信号返回。这使得我们可以忽略其他范围内的信号,比如雨滴的反射,甚至是潮湿的传感器窗口。

相比之下,照相机无法分辨空气中的雨和它后面的硬物。所有的光都集成到每个像素的单个值中,没有多个信号返回的概念。OS1能够忽略雨滴返回的信号,并从建筑物中提取更强的信号。照相机不是忽略雨滴发出的信号,而是将雨滴发出的信号与雨滴背后建筑物传回的信号结合起来,形成一个综合的信号。这些合并的回报看起来是扭曲的。

由于光圈大小和快门速度,激光雷达传感器的图像失真明显小于相机。也就是说,激光雷达传感器并不是完全不受影响的——在潮湿的条件下,光线会从潮湿的路面反射,这对相机和激光雷达传感器都是一个挑战。

水把道路变成镜面

在潮湿的路面上,水像镜面一样反射光线,与在干燥的路面上反射光线的方式截然不同。这种反射为两个传感器都带来了挑战,为相机创建了令人困惑的反射,并减少了激光雷达传感器的范围。在干燥的路面上,粗糙的柏油路会使光线漫射,使激光反弹到各个方向。但是在潮湿的路面上,水会把路面变成一个不完美的镜面,就像一面镜子反射一部分光线。

1582444935366150.jpg

 对于相机来说,挑战来自于道路上的反射,这可能会产生令人困惑的物体的镜像。在下面的图片中,你可以看到一辆汽车的前灯反射出路面。对于带有物体识别软件的相机,这可能会让系统误认为可能有第二辆车,或者车可能比实际距离更近。

6.png

对于激光雷达传感器,不利的影响是传感器的范围减少了路面。由激光雷达传感器发出的激光的一部分被路面上的水反射并远离传感器。这意味着传感器在远距离看路面的能力较差。也就是说,传感器的范围不受其他物体(汽车、建筑物、树木等)的影响。

你可以在下面的图中看到这种效果,它比较了雨天和晴天的情况。建筑在雨中能见度变化不大,但由于路面的镜面反射,在雨中路面的范围缩小了。

图片关键词

图片关键词


并非所有的激光雷达都是一样的

雨中传感器的强输出性能并不能代表所有的激光雷达传感器。我们的传感器被设计成能够承受商业部署带来的滥用和不可预测的情况——通过暴雨、浸泡在水里、洗车、电动洗衣机、汽车级震动和振动。

9.png

在其他商业化的激光雷达技术中,无论是传统的模拟旋转激光雷达传感器还是MEMS激光雷达传感器,由于孔径较小,往往更难以应对降雨。就像我们在这里演示的相机一样,传统传感器的输出会被小水滴扭曲。此外,没有传统的模拟激光雷达或MEMS单元被评为高于IP67(我们的传感器都被评为IP68IP69K标准),也没有通过标准的汽车级冲击和振动测试,使它们在颠簸的道路上或在潮湿的条件下容易失败。

多样性是关键

这场雨的演示强调了不同的环境条件如何对传感器性能产生不对称的影响。这并不是要抨击或以任何方式暗示摄像头是不必要的。相机提供关键数据,与激光雷达和雷达数据相结合,为自动驾驶车辆感知堆栈提供动力。

然而,降雨显示的情况下,相机性能可能比激光雷达性能更退化。在这些情况下,拥有一组不同的传感器可以降低感知性能出错的风险。传感器的多样性对于确保自动驾驶汽车的安全性和普遍性至关重要。

在未来的一年里,我们将会在艰苦的条件下寻找更多的传感器镜头。

苏州索亚机器人技术有限公司为Ouster公司在中国的代理商,欢迎预定,联系方式:18115550180

原文链接:https://ouster.com/blog/lidar-vs-camera-comparison-in-the-rain/?utm_source=database&utm_medium=email&utm_campaign=rain-128-webinar&utm_content=em-200219-en&_hsenc=p2ANqtz--IJ87duw0wa5hCk_e-89I3LWohd2M528mp1vadvkDfBbrU7VE7N8SBMSPpaLPdlRW2swUeNE6zIpL9YVhDysmK1_hzVw&_hsmi=83654388


Powered by MetInfo 5.3.19 ©2008-2020 www.ooboontoo.cn