李飞飞团队从动物身上get AI新思路

用 DERL，研究人员证明了环境复杂性、形态智能和控制的可学习性之间的几个关系。

　　通过学习和进化来实现的形态智能

　　创建适应性的形态，在复杂的环境中学习操纵任务是具有挑战性的，存在双重困难。

　　第一种，在大量可能的形态组合中进行搜索。第二种，通过终生学习评估适应性所需要计算时间。

　　因此，此前的工作要么在有限的形态空间中进化，要么专注于寻找固定的形态最佳参数，亦或是就在平坦的地形中学习。

　　为了克服这些实质性的限制，本文提出了深度进化强化学习（Deep Evolutionary Reinforcement Learning，DERL）计算框架。文提出了一种高效的异步方法，用于在许多计算元素之间并行化学习和进化基础计算。

　　如图（b）所示，进化的外循环通过突变操作优化机器形态，比如高度、位置、箱子的大小等属性。

　　而内部的强化学习循环则用来优化神经控制器的参数。

　　还引入了一个 UNIMAL，即 UNIversal aniMAL 形态设计空间，如图（d）所示，它既具有高度的表现力，又丰富了有用的可控形态。

　　而复杂环境由三个随机生成的障碍物组成：山丘、台阶和此外，DERL 创建了体现型的模型，不仅可以在较少的数据进行学习，还可以泛化解决多个新任务，从而缓解了强化学习的样本效率低下。

　　DERL 的运作方式是模仿达尔文进化过程中几代模型在形态上的搜索、一生中的神经学习交织在一起的过程，通过智能控制来评估一个给定形态解决复杂任务的速度和效果。

　　总共有 8 个测试任务，涉及了稳定性、敏捷性和操纵性的测试，来评估每个形态

（编辑：开发网_郴州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!