麻省理工学院的工程师开发了一种用于自动驾驶汽车的系统，该系统可以感知地面上的阴影的微小变化，以确定拐角处是否有移动物体，例如何时另一辆汽车从停车场的支柱后面驶来。 |学分：麻省理工学院
为了提高自主系统的安全性，麻省理工学院的工程师开发了一种系统，该系统可以感知地面阴影的微小变化，从而确定拐角处是否有移动物体。
自动驾驶汽车 有一天可以使用该系统来避免与另一辆汽车或行人从建筑物拐角处或停放的汽车之间出现的潜在碰撞。将来，可能会在医院走廊上导航以制造药物或运送物品的机器人可以使用该系统来避免打人。
论文（PDF） 研究人员在下周举行的国际智能机器人和系统国际会议（IROS）上进行了介绍，他们描述了在车库周围驾驶自动驾驶汽车和在走廊上驾驶自动轮椅的成功实验。当感应并停下驶近的车辆时，这种基于汽车的系统击败了传统的LiDAR（后者只能检测可见物体）超过了半秒。
研究人员说，这看起来似乎不多，但是在快速移动的自动驾驶汽车上却占了几分之一秒。
“对于机器人在周围有其他移动物体或人的环境中移动的应用程序，我们的方法可以向机器人发出预警，提醒有人即将来临，因此车辆可以减速，调整路径并事先做好准备以避免共同作者，计算机科学和人工智能实验室（CSAIL）主任以及电机工程和计算机科学的Andrew and Erna Viterbi教授合着。 “最大的梦想是为在街上快速行驶的车辆提供各种“ X射线视觉”。”
当前，该系统仅在室内设置中进行了测试。在室内，机器人的速度要低得多，照明条件也更加一致，这使得系统更容易检测和分析阴影。
与Rus一起发表论文的是：第一作者Felix Naser SM ’19，曾任CSAIL研究员； CSAIL研究生Alexander Amini； CSAIL博士后Igor Gilitschenski；刚毕业的克里斯蒂娜·廖19岁；丰田研究院的Guy Rosman；麻省理工学院航空与航天学副教授Sertac Karaman。
扩展ShadowCam
对于他们的工作，研究人员建立在他们的系统上，称为“ShadowCam,”它使用计算机视觉技术来检测和分类地面阴影的变化。麻省理工学院的教授威廉·弗里曼（William Freeman）和安东尼奥·托拉尔巴（Antonio Torralba）并非IROS论文的合著者，他们合作开发了该系统的早期版本，该版本在2017年和2018年的会议上进行了介绍。
对于输入，ShadowCam使用来自摄像机的视频帧序列，这些摄像机针对特定区域，例如拐角处的地板。它可以检测不同图像的光强度随时间的变化，这可能表明某些物体在移开或靠近。这些变化中的某些可能很难用肉眼检测到或用肉眼看不见，并且可以由对象和环境的各种属性确定。 ShadowCam计算该信息，并将每个图像分类为包含静止的对象或动态的运动对象。如果它变成动态图像，它会做出相应的反应。
使ShadowCam适应自动驾驶汽车需要一些进步。例如，早期版本依赖于用称为“ AprilTags”的增强现实标签来衬砌区域，该标签类似于简化的QR码。机器人扫描AprilTags来检测和计算相对于标签的精确3D位置和方向。 ShadowCam将标记用作环境的特征，以在可能包含阴影的特定像素块上归零。但是，使用AprilTags修改现实环境是不切实际的。
研究人员开发了一种结合了图像配准和新的视觉测距技术的新颖方法。图像配准通常在计算机视觉中使用，本质上会覆盖多个图像，以揭示图像中的变化。例如，医学图像配准与医学扫描重叠，以比较和分析解剖学差异。
用于火星漫游者的视觉测距法通过分析图像序列中的姿势和几何形状来实时估算相机的运动。研究人员专门采用“直接稀疏测距法”（DSO），它可以在类似于AprilTags捕获的环境中计算特征点。本质上，DSO在3D点云上绘制环境的特征，然后计算机视觉管线仅选择位于感兴趣区域（例如拐角处的地板）的特征。 （感兴趣的区域是事先手动注释的。）
由于ShadowCam会获取感兴趣区域的输入图像序列，因此它使用DSO图像配准方法来覆盖机器人同一视点上的所有图像。即使机器人在移动，也可以将阴影精确定位在同一像素点上，以帮助其检测图像之间的细微差异。
接下来是信号放大，这是第一篇论文中介绍的技术。可能包含阴影的像素的颜色增强，从而降低了信噪比。这使得来自阴影变化的极其微弱的信号更容易被检测到。如果增强信号达到某个阈值（部分基于其与附近其他阴影的偏离程度），则ShadowCam将图像分类为“动态”。根据该信号的强度，系统可能会告诉机器人减速或停止。
“通过检测到该信号，您可以小心。纳瑟说：“这可能是某些人从拐角处跑来跑去的影子或停着的汽车，因此自动驾驶汽车可能会减速或完全停止。”
无标签测试
在一项测试中，研究人员使用AprilTags和新的基于DSO的方法评估了系统在对移动或静止物体进行分类方面的性能。一辆自动驾驶轮椅转向各个走廊的拐角，而人类则将拐角变成轮椅的路径。两种方法均达到了70％的相同分类精度，这表明不再需要AprilTags。
在另一项测试中，研究人员在停车场的自动驾驶汽车中安装了ShadowCam，在该汽车中，大灯被关闭，模仿了夜间驾驶条件。他们将汽车检测时间与LiDAR进行了比较。在一个示例场景中，ShadowCam检测到汽车绕柱转弯的速度比LiDAR快0.72秒。此外，由于研究人员已针对ShadowCam专门针对车库的照明条件进行了调整，因此该系统的分类精度约为86％。
接下来，研究人员正在进一步开发该系统，以在不同的室内和室外照明条件下工作。将来，可能还会有一些方法可以加快系统的阴影检测速度，并自动为阴影感应标注目标区域的过程。
这项工作是由 丰田研究所.
编辑’s Note: 这篇文章是从 麻省理工学院新闻.
告诉我们你的想法！