发帖
雷达卡
你可以将反向传播想象成一个坐在神经网络边缘的小人，他查看网络输出，将其与所需的输出进行比较，然后为网络中的突触指定新的权重。在生物系统中，没有任何机制可以决定任何特定突触的权重。您可能会尝试通过激发突触连接的两个神经元来增加突触的权重，但也没有办法做到这一点。您不能只请求激发神经元 1000 和 1001 以增加它们之间的突触，因为无法激发网络中的特定神经元。
我们确定调整突触权重的唯一机制称为 Hebbian Learning。这种机制经常被异想天开地表达为“一起发射的神经元，连接在一起”。但就像所有生物一样，它并不是那么简单。对“突触可塑性”产生曲线的研究，例如图中的曲线，表明为了加强连接源神经元和目标神经元的突触，源需要在目标之前不久触发。为了减少突触权重，目标必须在源之前不久发射。总体而言，如果一个神经元有助于另一个神经元的放电，那么连接两者的突触应该得到加强，反之亦然。
图表中还有一些问题需要注意。首先，虽然图 B 总结了总体概念，但图 A 显示了观察数据中的大量分散。这意味着将突触设置为任何特定值的能力非常有限，正如模拟所证实的那样。
您还可以观察到，要对突触权重进行任何实质性更改需要多次重复。即使在理论环境中（没有分散），您也可以得出结论，突触值所需的精度越高，设置它所需的时间就越长。例如，如果您希望突触采用 256 个不同值之一，您可以定义每个增强尖峰对将权重增加 1/256。设置权重可能需要 256 个尖峰对（到源和目标）。以生物神经元的悠闲速度，这需要整整一秒钟。
想象一下构建一台计算机，其中一个字节的单个内存写入大约需要一秒钟。此外，想象一下设置 x 值所需的支持电路，为源神经元和目标神经元安排恰好 x 个尖峰。这是假设它以 0 的权重开始，这是另一个问题，因为无法知道任何突触的当前权重。最后，想象一下使用包含这个突触的网络将如何修改突触权重，因此这样的系统无论如何都无法存储准确的值。在特定突触中存储特定值的整个概念是完全不可信的。
还有另一种看待它的方式更有意义。将突触视为值为 0 或 1（或在抑制性突触的情况下为 -1）的二进制设备。现在，突触的比重代表了该突触的重要性以及忘记它所代表的数据位的可能性。如果我们考虑神经元发出尖峰脉冲（可能是 5 个），那么任何超过 0.2 的权重都表示 1，任何低于 0.2 的权重都表示 0。这样的系统可以在一次突发中学习，并且不受记忆中的随机变化的影响内容。这是一个完全合理的场景，但它也与现代机器学习方法完全不一致。
相关帖子DA内容精选
|
京公网安备 11010802022788号
