发帖
雷达卡
本文通过扩展神经演化算法NEAT来结合LSTM单元，即具有门控逻辑的特殊存储器单元，构建了具有存储器的学习代理。对POMDP任务的初步评估表明，通过演进的LSTM获得的内存解决方案胜过传统的RNN。缩放LSTM对深层记忆问题的神经演化是具有挑战性的，因为：（1）适应性景观是欺骗性的，（2）需要优化大量相关参数。为了克服这些挑战，引入了一个新的二次优化目标，使存储在LSTM网络中的信息（Info-max）最大化。网络培训分为两个阶段。在第一阶段（无监督阶段），通过优化info-max目标来演进独立的内存模块。在第二阶段，通过优化任务适应性来训练网络。两个不同内存任务的结果表明，神经演化可以发现强大的基于LSTM的内存解决方案胜过传统的RNN。
天然生物可以记录和处理长时间滞后的顺序信息。黑猩猩和猩猩可以回忆一年多以前发生的事件[16]。长期的社会记忆可以提供显着的生存效益。例如，即使在几十年之后，宽吻海豚也能识别对方的口哨声[7]。这样的能力使海豚能够识别对手以及潜在的狩猎队友。适应行为的第一步是记住过去的事件，并将其用于未来的决策[23]。例如，在狮子鬣狗相互作用期间，一群鬣狗通过基于记忆的情绪调节他们的行为在一段时间内 - 从最初的恐惧转变为后来的风险[27]。记忆是一个关键的认知组成部分，将这种能力纳入人工代理可以使他们更加现实[22]。本文提出了新的方法，可以发展深层序处理网络，以解决具有长时间依赖性的强化学习（RL）记忆任务。需要内存的任务可以被正式描述为POMDP问题。传统上，经常性神经网络（RNNs）一直是此目的的首选。然而，RNN泄漏信息并且无法发现长期依赖性[11]。长期记忆（LSTM）[12]成功克服了RNN的这些局限性。它由具有线性激活的记忆单元组成。信息流入和流出这些信元由相关的输入/输出门控单元控制。虽然LSTM网络已经被用于在监督的序列学习问题中得到很好的结果，如语音识别[10]和机器翻译[2]，但它们在POMDP任务中的成功受到限制[5,4]。可能的原因是难以训练具有弱报酬/适应度信号的LSTM单元（包括其相关联的控制逻辑）。此外，网络中的LSTM单元数是通常手动选择的参数。这种方法证明是低效率的，特别是在内存深度要求不明确的新问题中。在这项工作中，NEAT（增强拓扑的神经演化）[24]算法被扩展到并入LSTM细胞（NEAT-LSTM）。由于NEAT算法可以演进网络拓扑，因此可以发现任务的正确数量的内存单元。 NEAT-LSTM在两个不同的记忆任务中胜过RNN。然而，NEAT-LSTM解决方案不会随着任务内存需求的增加而扩展。为了克服这个问题，使用了使存储在LSTM单元中的信息最大化的次要目标。 LSTM网络首先在预培训阶段进行演变，并采用这种无监督的目标来捕获和存储来自环境的相关功能。随后，在任务适应性优化阶段，利用存储的LSTM特征来解决存储任务。这种方法产生能够解决更深层次的内存问题的LSTM网络。本节介绍六个部分。第2节介绍了NEAT和LSTM的简要背景，并介绍了建筑代理记忆的相关工作。两个内存任务在第3节中定义。这些任务用于比较不同算法的性能。在第4节，NEAT扩展到包括LSTM（NEAT-LSTM），并将其性能与RNN进行比较。还分析了扩展内存解决方案的挑战，并提出了一种新的无监督目标来解决这一问题。将来的方向在第5节讨论，第6节提供了工作的总结。
rawal.gecco2016.pdf
(283.71 KB, 需要: 20 个论坛币)
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
