随着不时弹出新的神经网络体系结构,很难跟踪它们。一开始就知道所有缩写(DCIGN,BiLSTM,DCGAN,还有其他人吗?),可能有点不知所措。
因此,我决定撰写一份包含许多架构的备忘单。其中大多数是神经网络,有些是完全不同的野兽。尽管所有这些架构都被呈现为新颖独特,但是当我绘制节点结构时,它们的底层关系开始变得更加有意义。
将它们绘制为节点图的一个问题:它并没有真正显示出它们是如何使用的。例如,可变自动编码器(VAE)看起来就像自动编码器(AE),但是训练过程实际上是完全不同的。训练有素的网络的用例差异更大,因为VAE是生成器,您可以在其中插入噪声以获取新样本。AE只需将其输入的任何内容映射到它们“记住”的最接近的训练样本。我应该补充一点,此概述绝不会阐明每种不同的节点类型如何在内部工作(但这是另一天的主题)。
应该注意的是,虽然通常使用大多数缩写,但并不是全部都被接受。RNN有时指的是递归神经网络,但大多数情况下,它们指的是递归神经网络。但是,这还不止于此,在许多地方,您会发现RNN用作任何循环体系结构的占位符,包括LSTM,GRU甚至双向变体。AE不时遭受类似的问题,其中VAE和DAE等被简称为AE。最后,许多缩写的“ N”数量也有所不同,因为您可以称其为卷积神经网络,但也可以简称为卷积网络(导致CNN或CN)。
由于一直在发明新的架构,因此几乎不可能编写完整的清单。即使已发布,即使您正在寻找它们,仍然很难找到它们,有时甚至只是忽略了一些。因此,尽管此列表可以为您提供一些有关AI世界的见解,但请不要以任何方式将其视为全面的列表。特别是如果您在撰写这篇文章后很长时间阅读了这篇文章。
对于图片中描述的每种架构,我都写了一个非常非常简短的描述。如果您对某些体系结构非常熟悉,但是对特定的体系结构却不熟悉,则可能会发现其中一些有用。
目录
前馈神经网络(FF或FFNN)和感知器(P)
径向基函数(RBF)
递归神经网络(RNN)
长期/短期记忆(LSTM)
门控循环单元(GRU)
双向递归神经网络,双向长期/短期记忆网络和双向门控递归单元(分别为BiRNN,BiLSTM和BiGRU)
自动编码器(AE)
可变自动编码器(VAE)
去噪自动编码器(DAE)
稀疏自动编码器(SAE)
马尔可夫链(MC或离散时间马尔可夫链,DTMC)
Hopfield网络(HN)
玻尔兹曼机(BM)
受限玻尔兹曼机(RBM)
深度信念网络(DBN)
卷积神经网络(CNN或深度卷积神经网络,DCNN)
反卷积网络(DN)
深度卷积逆图形网络(DCIGN)
生成对抗网络(GAN)
液体状态机(LSM)
极限学习机(ELM)
回声状态网络(ESN)
深度残留网络(DRN)
神经图灵机(NTM)
可微神经计算机(DNC)
胶囊网络(CapsNet)
Kohonen网络(KN,也是自组织(功能)地图,SOM,SOFM)
注意网络(AN)

关注 CDA人工智能学院 ,回复“录播”获取更多人工智能精选直播视频!


雷达卡



京公网安备 11010802022788号







