TRI致力于可靠，强大的人类辅助机器人的操纵研究-The Robot Report

在您的家中拥有一个可以与您一起工作的机器人，可以用来收拾杂货，折叠衣物，煮晚餐，洗碗并在客人过来之前收拾东西，这会很棒吗？对于我们中的某些人来说，机器人助手（队友）可能只是一种便利。

但是对于其他人，包括我们不断增长的老年人口，像这样的应用可能是居家生活或在辅助护理设施中的区别。做对了，我们相信这些机器人将增强并增强人类的能力，使我们享有更长寿，更健康的生活。

几十年来对未来的预测（很大程度上是由科幻小说和流行娱乐推动的）激发了公众对有一天家用机器人将会出现的期望。多年来，公司一直在努力提供这样的预测，并弄清楚如何安全地将功能更强大的机器人引入非结构化的家庭环境。

尽管当今时代已取得了巨大的技术进步，但迄今为止，我们在家庭中看到的机器人主要是吸尘器和玩具。大多数人不’不能意识到当今最好的机器人能够完成基本的家庭任务有多远。当他们看到工厂大量使用机械臂或YouTube上令人印象深刻的视频显示出机器人可以做什么时，他们可能会合理地期望这些机器人现在可以在家中使用。

将机器人带回家

为什么家用机器人没有像某些人期望的那样迅速实现？一大挑战是可靠性。考虑：

如果您有一个可以为您将碗碟放入洗碗机的机器人，那么如果它每周一次将碗碟弄碎怎么办？
或者，如果您的孩子带回家“第一位DAD！”她在当地艺术工作室画的马克杯，晚餐后，机器人将那个马克杯丢进了垃圾桶，因为它没有认出是真正的马克杯？

将机器人带入家庭的主要障碍是操纵中无法解决的核心问题，这些问题阻碍了可靠性。正如我本周在机器人技术：科学与系统会议，丰田研究所（TRI）正在研究机器人操纵的基本问题，以解决这些未解决的可靠性挑战。我们一直追求在非结构化环境中专注于灵巧任务的机器人功能的独特组合。

与工厂的无菌，可控制和可编程的环境不同，房屋是“狂野的西部”-结构混乱且多样化。我们不能期望实验室测试能够说明机器人将在您家中看到的每个不同对象。这种挑战有时称为“开放世界操纵”，是对“开放世界”计算机游戏的标注。

尽管最近在人工智能和机器学习方面取得了长足的进步，但是要设计一个能够处理家庭环境复杂性并保证其（几乎）始终正常运行的系统仍然非常困难。

TRI解决了可靠性差距

上面的演示视频显示了TRI如何探索鲁棒性挑战，以解决可靠性差距。我们以机器人在洗碗机中装载餐具为例。我们的目标不是设计一个装载洗碗机的机器人，而是将这项任务用作开发工具和算法的一种手段，这些工具和算法又可以应用于许多不同的应用中。

我们的重点不在硬件上，这就是为什么我们在此演示中使用工厂机械臂，而不是设计更适合家用厨房的机械臂的原因。

我们演示中的机器人使用安装在水槽周围的立体摄像机和深度学习算法来感知水槽中的物体。今天有很多机器人可以拾取几乎所有物体— 随机对象清除 已经成为标准的基准机器人技术挑战。在清除杂物时，机器人不需要对物体有太多了解—感知基本几何就足够了。

例如，该算法无需识别物体是毛绒玩具，牙刷还是咖啡杯。鉴于此，这些系统在处理这些对象方面也受到了相对的限制。在大多数情况下，他们只能拿起物体并将它们放到另一个位置。在机器人世界中，有时我们将这些机器人称为“拾放”。

实际上，装载洗碗机要比大多数机器人专家目前演示的要困难得多，并且需要对对象有更多的了解。机器人不仅必须识别杯子，盘子或“杂物”，而且还必须了解每个物体的形状，位置和方向，以便将其准确放置在洗碗机中。

TRI正在进行的工作不仅表明这是可行的，而且可以实现强大的鲁棒性，使机器人可以连续工作数小时而不会受到干扰。

丰田研究所

掌握家务

我们的操纵机器人的手比较简单-两指抓手。手可以很简单地抓住杯子，但是它拿起盘子的能力却比较微妙。板块很大且可以堆叠，因此我们必须执行复杂的“接触丰富”操作，使一个夹爪在板块下方和板块之间滑动，以便牢固固定。这是人类可以轻松实现的敏捷类型的简单示例，但是在健壮的机器人应用程序中很少见到。

银器也可能很棘手—它小巧而有光泽，因此很难用机器学习相机看到。另外，鉴于与较小的水槽相比，机器人的手相对较大，因此机器人有时需要停下来并将银器轻轻推到水槽的中心才能进行拣选。我们的系统还可以检测物体是否不是杯子，盘子或银器，并将其标记为“杂物”，然后将其移动到“丢弃”箱中。

连接所有这些部件非常复杂 任务计划者，它一直在决定机器人下一步应该执行什么任务。该任务计划者决定是否应拉出洗碗机的底部抽屉以装入一些盘子，拉出中间的杯子（用于杯子）或拉出顶部的抽屉（用于银器）。’

像其他组件一样，我们使它具有弹性-如果需要打开抽屉时突然将其关闭，机器人将停止，将物体放到柜台上，然后拉出抽屉以再次尝试。此响应表明此功能与典型的精密重复工厂机器人有何不同，后者通常与人类接触和环境随机性隔离。

模拟是成功的关键

TRI方法的基础是模拟的使用。仿真为我们提供了一种原理性方法来设计和测试如此复杂的系统，具有令人难以置信的任务多样性以及机器学习和人工智能组件。即使我们无法在您的杯子中进行测试，它也可以让我们了解机器人在您的杯子中将具有什么样的性能水平我们发展的厨房。

令人振奋的成就是，我们在使仿真足够强大以应对此洗碗机装载任务的视觉和机械复杂性以及缩小“模拟到实际”差距方面取得了长足的进步。现在，我们能够在仿真中进行设计和测试，并有信心将结果转移到真实的机器人上。最终，我们几乎完成了所有仿真开发工作，这在传统上不是机器人操纵研究的情况。

我们可以在模拟中运行更多测试，并进行更多不同的测试。我们一直在生成随机场景，这些场景将测试碗碟装载的各个组成部分以及端到端性能。

让我给你一个简单的例子。考虑从水槽中取出一个杯子的任务。我们生成了将杯子放置在各种随机配置中的场景，进行测试以查找“拐角情况”，这是我们的感知算法或掌握算法可能会失败的罕见情况。我们可以改变材料特性和照明条件。我们甚至拥有生成随机但合理形状的杯子的算法，可以生成从小咖啡杯到便携式圆柱形咖啡杯的所有内容。

我们整夜进行仿真测试，每天早晨我们都会收到一份报告，其中提供了我们需要解决的新故障案例。

早期，这些故障相对容易发现且易于修复。有时它们是模拟器的故障—模拟器中发生的某些事情在现实世界中不可能发生—有时它们是我们感知或掌握算法中的问题。我们必须修复所有这些故障。