【李善宰和你讨论进化神经科学】第六记

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

写在前面：这一系列的博文只是起到抛砖引玉的作用，希望越来越多的新秀涌入进化神经科学领域的研究与工程实现当中，感兴趣的同僚可以加入我们的QQ群:203360068,共同一起讨论相关知识

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

最近的研究强调了缺乏总体目标的搜索过程的优点，而通过奖励行为新颖性来促进分歧。虽然这种较不客观的搜索范式更具开放性和分歧性，但它仍然与大自然的分歧机制有很大的不同。大自然不是明确地测量新颖性，而是以单一的基本约束为指导：生存足够长的时间才能繁殖。令人惊讶的是，这种简单的约束在迄今为止任何算法无与伦比的连续过程中产生复杂性和多样性。由于与最近的非客观算法相比，本质上相对简单的开放性的启发，本文研究了两个相互影响的群体之间的相互作用受到自身约束或最小标准的影响程度，可以产生两者的结果功能和多样性，甚至没有任何行为表征或新奇档案。为了测试这种新的方法，引入了一个新颖的迷宫导航域，其中演化的代理必须学习导航其结构同时进行组合和复杂性增加的迷宫。其结果是在单次运行中成功实现了一个特征，从而提出了最小标准协同演化的可行性，作为非客观搜索的一种新方法，并向真正的开放式算法迈出了一步。

历史上，微妙的紧张关系在进化计算（EC）的实际导向追求和近年来可能开始褪色的人造生物（alife）的更抽象的问题之间一直存在。欧共体关于解决问题的焦点传统上排除了阿拉伯人更多的哲学问题，如追求开放性[27]（即试图了解继续无限期产生有趣的文物的过程）。
历史上，像自然界那样看到的开放式进化已经被研究为具有生物体的居住者和生态系统的类似地球的域的副作用[19,23]，一个遥远的表亲，为步行或迷宫等问题发展有针对性的解决方案-导航。
然而，随着引入新奇搜索开始的非客观算法的最近兴起，这种二分法已经开始关闭[8,10]。这种新类型的算法集中在分歧上，即将搜索从先前访问的位置移动，这更接近于开放式发现的概念。然而，有趣的是，这种算法可以应用于传统的alife范围之外的领域。
近年来，随着研究人员已经学会如何平衡发散压力与更为客观的适应性对应物来产生称为质量多样性（QD）的过程，在一次运行中同时产生高质量和多样性的同时，这些算法也越来越复杂[22]。 QD算法，如新兴搜索与局部竞争（NSLC）[11]和多维存档的表型精英（MAP-Elites）[17]已经产生了可行的实际结果，如机器人走路策略的一个曲目[29]即使他们将一些对于生命研究的青睐纳入了开放性。
然而，尽管取得了这样的进展，但在本质上，质量保证与开放性之间的任何比喻仍然存在局限性。
首先，到目前为止，QD算法通常需要定义行为表征（BC），其是搜索空间中个体的表型行为（有时是物理特性）的描述符。
这个要求与自然不同，那里没有任何人需要开发形式主义来描述生物体行为，只是为了进化进行。第二，虽然可能是巨大的，BC的描述空间本质上是有限的。
例如，如果一个人的行为是其平均速度和大小，一旦速度和大小的全部谱线被采样，必然性就会显着降低新颖性的压力。
虽然有趣的提示是BC可能有可能随着时间推移[13]，允许行为无限扩张仍然是一个重大的挑战。最后，QD算法通常需要某种归档文件 - 在NSLC中，它实际上是访问过去点的记录，而在MAP-Elites中，它是现有地图中已经访问的点。
在本质上，不需要这样的存档策略。因此，自然就成为寻求开放式发现方式的灵感，而不需要这种机制。为了探索典型农民世界之外的开放性的替代范式，本文追求了严重依赖漂移的策略。迄今为止的QD算法依赖于识别并因此奖励新颖性来促进发散，这导致对BC（描述符）的需要，但原则上也是简单漂移的副产品[12]，但受到最小标准（MC）约束的约束再生产。
然而，虽然研究人员以前已经探索过MCs [9,14]，但很难先验知道MC应该是什么（或者随着时间推移如何改变），以便在长时间内发现有趣的新行为。
本文的主要贡献是表明，协同演化可能有助于解决这个问题，迫使两个互锁人群的MCs相互满足最小标准，即使这两个人群同时逐渐转移。
这种被称为最小标准共演化（MCC）的想法是通过与迷宫导航神经网络的群体进行组合来测试的，其中MC是每个迷宫必须由至少一个神经网络解决，并且每个神经网络必须解决至少一个迷宫。
满足该约束的任何人都可以复制。第一次（据我们所知），不同复杂性的多样化解决方案（和多样化的迷宫）的扩散显示出来，在一个没有任何行为描述或归档的算法的单一运行中。
为了为未来的应用提供指导，MCC的两个变体被测试以揭示产生最佳性能的条件。


EC的领域历来主要集中在基于客观绩效量表选择个体进行再生的思想，并迭代地收敛于解[2]。早在Matiussi和Floreano [15]早些时候就引入了对个人表现的下限的较少的普遍概念，后来作为Maesani等人进一步演变的唯一驱动力。 [14]。 Teir提出的算法称为可行性演化（ViE），引入个体必须满足的一个或多个约束的生存和复制的阈值。在进化开始时，这些阈值或活力边界包含整个群体，然后逐渐收紧，直到算法收敛到满足所有约束的一组个体为止。这种方法的一个好处是，它避免了制定目标函数的经常棘手的技巧，特别是当该功能考虑到必须适当加权的多个目标时。生殖池的另一个有益的特征是通常更大，偏倚较小，允许更多的垫脚石被采样。 MCC从ViE的一般健身无关方式吸取原创灵感，但从根本上不同之处在于它没有融合的动力。像ViE一样，新奇搜索[8,10]和QD算法[11,17,22]已经挑战了客观驱动的进化搜索的传统观点。

通过设计，新奇搜索和QD往往将搜索传播到任何小说。

对这种动态的一个侧面的效果和常见的批评是算法随之而来的易于消耗资源，探索不重要的广泛行为空间领域。为了解决这种低效率，更好地将新奇搜索与自然进化中的选择过程进行比较，引入了最小标准新颖性搜索（MCNS）[9]。 MCNS通过将跨越边界（即MC）的个体标记为不可行的方式来限制行为空间，这意味着他们不符合再现条件。这种方法避免建立主要的人群的新的谱系，主要探索与所需搜索结果正交的行为空间的区域。本文中的MCC保留了MC的概念，但是演示了MC如何（即没有BC，而不缩小可行性边界，而不需要存档）可以有效地产生开放式进化工件，即使在非寿命领域。


2.2

MC和开放性


索罗斯和斯坦利[26]最近提出，MC是对自然进化的一个理性解释，因为制作自己的副本是持续的血统的MC。他们推出了一个名叫Chromaria的al子世界，以突显这一点 - 在Chromaria中，没有明确的健身功能，每个满足MC复制的人都在重现，而进化仍在进行中。实际上，通过MC限制进化而不是明确的适应性有助于避免趋同并促进开放性。然而，Chromaria成功的一个关键因素是生物相互作用以满足MC，这允许随着人口变化，随着时间的推移难以随机变化。这个想法提出了一个有趣的问题：是否可以在传统的阿拉伯世界之外创建类似的开放式动态。


2.3共同演化


欧共体领域的共同演化具有丰富的历史[20]，专注于归因健身，因为通过外在绝对衡量绩效来自我评价个人。传统上，这些类型的情景在竞争共同演化中是分开的，在竞争中，个人根据他们在竞争中的其他个人的表现而得到奖励[3]，而合作共同演变，而健身是衡量个人在合作团队中表现如何的衡量标准其他不断变化的个人[30]。 Coevolution本身激发了对开放性的兴趣，因为这是一场永无止境的军备竞赛的潜力，但在实践中已被证明难以持续维持[3]。目前工作的一个重要贡献是引入一种新的共同演化（最小标准共同演化），它们不完全融入传统的竞争与合作二分法。相反，这个想法是通过MC下的个人的相互作用，而是在一个独立于任何一个总体生存世界的更一般的背景下，引发一种像Chromaria一样的分歧搜索动态。虽然这个想法与以前在共同演进的学习者和测试中的工作有一些相似之处[1]，但一个关键的区别是它不需要非主导学习者的档案，也不需要在解决方案中排名。此外，这项工作的重点不在于强调单一人群的发展背景（即测试），而是在两个人群中产生广泛的功能多样性。



brant_gecco17.pdf (664.94 KB, 需要: 2 个论坛币)

2017-7-13 15:07:30 上传

需要: 2 个论坛币  [购买]

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：李善宰