图1：Facebook AI研究院的手臂
拥有双臂的机器人如何去完成像打开瓶盖这样的任务呢？按理说，应该与人类动作流程差不多：它需要先用一只手握住瓶子的底部，然后用另一只手抓住瓶盖并将其拧下来。这种高层次的步骤序列就是我们所熟知的模式，而且它不受操控对象的几何和空间状态影响。另外一个好处是，与旨在通过学习策略来解决任务的强化学习技术不同，模式不需要在数小时、数周甚至数月的学习过程中摄取数以百万计的示例进行训练。
最近，Facebook AI研究院（FAIR）的一个团队试图向两个机器人Sawyer手臂灌输从库中选择适当技能步骤以完成目标的能力。在每个时间步骤里，这两个机器手臂必须决定使用哪种技能以及使用哪些参数(例如施加力的位置、用力程度或移动这些目标的姿势)。尽管涉及到许多复杂的问题，但该团队表示，他们的方法提高了学习效率，使得机器人在经过短短几个小时的培训后就可以获得操纵对象的技能。
Facebook研究团队获得的关键经验是，对于许多任务，学习过程可以分为两个部分：1)学习任务模式；2)学习为不同技能选择适当参数化的策略。他们断言，这种方法会促使机器人获得更快的学习效率，部分原因是来自给定任务的不同版本数据可以用于提高共享技能。此外，这种方法允许在相关任务之间转移学习模式。
图2：Facebook AI研究院的机器人手臂
详细介绍这项研究的论文的合著者解释称：“举例来说，假设我们已经学会了一个很好的模式，可以在模拟过程中拾取一个长条。在那里我们可以了解操作对象的姿势、几何形状以及更多信息。然后，我们可以在相关任务中重复使用该模式，例如在现实世界中仅从原始观察中拾取托盘，即使状态空间和最佳参数化(例如抓取姿势)都有很大不同。由于模式是固定的，因此托盘拾取任务的策略学习将非常有效，因为它只需要学习每项技能的参数。”
研究人员为上述两个机器臂提供了一个通用的技能库，如扭转、举起和伸手，它们必须将这些技能于几个涉及不同对象、几何形状和初始姿势的横向提升、拾取、打开和旋转任务中。通过使用低维输入数据，如几何和本体感受特征(关节位置、关节速度、末端效应器姿势)进行训练，在MuJoCo(模拟环境)中学习模式，然后在模拟和现实世界中将其转换为视觉输入操作。
在实验过程中，Sawyer手臂配备了摄像头，并由Facebook的PyRobot开源机器人平台控制，其任务是操纵9个家庭物品(如滚针、足球、玻璃罐和T形扳手)，这些物品需要两个平行的下颚夹钳才能与之交互。尽管不得不从原始的视觉图像中学习，但他们表示，其AI系统使用2000种技能学习操作大多数对象，在大约4到10个小时的培训中，成功率超过90%。
研究人员写道：“我们已经研究了如何利用与状态无关的技能序列来极大地提高无模型强化学习的样本效率。此外，我们已经在实验中证明，将在模拟中学到的技能序列转移到现实世界的任务中，使我们能够非常有效地解决图像中的稀疏奖励问题，从而使训练真正的机器人执行复杂技能成为可能。”（选自：VentureBeat 作者：Kyle Wiggers 编译：小小）
