发帖
雷达卡
一、神经网络是什么？
目前最广泛使用的定义是Kohonen于1988年的描述，神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。
二、神经网络的组成
1、神经元模型
神经元模型，即上述定义中的简单单元。
在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个阈值，那么它就会激活，即兴奋起来。向其他神经元发送化学物质。
我们把上述的这种神经元模型抽象出来，这就是M-P神经元模型：
神经元接受输入x，通过带权重w的连接进行传递，将总输入信号与神经元的阈值进行比较，最后通过激活函数处理确定是否激活。
2、阈值
阈值，又称为bias，其含义有点类似阀门。在计算中，可以将阈值看作一个固定输入为-1的哑节点对应的连接权重。
3、激活函数
理想中的激活函数是阶跃函数，但实际使用中由于阶跃函数不光滑，不连续，我们一般使用sigmoid或者tanh函数，如下：
两者都是将较大范围的输入值挤压到一个小范围内，如(0，1)或者(-1, 1)，即上述的确定神经元是否激活。
三、多层前馈神经网络
两层神经元，即输入层+输出层(M-P神经元),构成感知机。而多层功能神经元相连构成多层前馈神经网络，输入层与输出层之间的一层神经元，称为隐层：
如图所示，每层神经元与下一层神经元互连，神经元之间不存在同层连接，也不存在跨层链接，这样的结构称多层前馈神经网络。
四、误差逆传播
神经网络学习的过程，其实就是根据训练数据，来调整神经元之间的连接权w以及每个功能神经元阈值b的过程。
误差逆传播就是其中一种广为人知的训练方法，其核心的思想非常简单，对于训练数据(x，y)，若当前神经网络的输出为Y，则神经网络的权重：
w = w + *w， 其中*w = n(y - Y)x
从上可以看出，假设训练结果正确，则权重w不会发生改变；假如错误，则会对w进行一定调整，其中n为学习率，对学习速度有影响。多层神经网络从输出层往输入层逆方向传播误差进行权重调整，即所谓的误差逆传播算法。
京公网安备 11010802022788号
