|
J是隐藏层中的神经元数量。要学习的参数是权重(w、\'w和^w)和偏差(b和\'b)项。我们可以看到,这是一个具有两面性的agated神经网络(Sigaud et al.2015):左侧取m,生成j=1。J神经元σ(~bj)-mewj),右侧取τ,产生j=1。J神经元σ(\'bj+τe\'wj)。然后用乘法门将两侧成对的神经元(索引相同)合并。最后,J倒数第二层神经元使用权重^w生成最终预测y。为了验证合理性,我们现在展示了EQ网络。3符合前面列出的合理性条件。softplus的导数是sigmoid函数:σ(x)=σ(x),sigmoid的导数是σ(x)=σ(x)(1- σ(x))。因此,我们可以看出σ(x)、σ(x)、σ(x)和σ(x)=σ(x)都产生正值。请注意,重量为。。。?。。。。。。图1:拟议模型(单个)。请注意,存在偏差项,尽管为了整洁的外观省略了它们。 是输出输入乘积的乘法门。受约束符号:通过施加-通过施加e’wand e^w,ew和右侧和顶层权重为正。我们可以验证等式3满足条件C1-C3,因为ym=JXj=1-e▄wjσ(▄bj- me▄wj)σ(▄bj+τe▄wj)e^wj≤ 0ym=JXj=1e2wjσ(bj- me▄wj)σ(▄bj+τe▄wj)e^wj≥ 0yτ=JXj=1e'wjσ(▄bj- me▄wj)σ(▄bj+τe▄wj)e^wj≥ 0条件C1、C2和C3可以重写为,cK级=猪圈K=Stym级m级K=StymSt公司=ym级≤ 0cK级=ym级K级=ym级m级K=Stym级≥ 0cτ=猪圈τ=Styτ≥ 0条件C4可以很容易地验证为m→ ∞ Whink公司→ ∞, 和σ(¢bj- m时,mewj)=0→ ∞. 因此,y=0,然后▄c=Sty=0。这也解释了为什么顶层没有偏置项。条件C5和C6很难通过网络体系结构设计实现(例如,权重约束或激活功能选择)。
|