发帖
雷达卡
神经网络疯狂！他们现在可以从离散分布中采样！
这篇文章描述了：
什么是Gumbel分布
如何用于从离散分布中采样
如何训练影响分布参数的权重
如何在玩具示例中使用所有这些（带有代码）
在本文中，您将学习Gumbel-softmax技巧。使用此技巧，您可以从离散分布中采样，并使梯度传播到影响分布参数的权重。这个技巧为许多有趣的应用打开了大门。首先，您可以在论文GANS中找到具有Gumbel-softmax Dis ...的离散元素序列的文本生成示例。
Gumbel分布
介绍
训练深度神经网络通常可以归结为定义模型的架构和损失函数，并观察梯度的传播。
但是，有时并不是那么简单：某些架构包含一个随机组件。前向传递不再是输入和权重的确定性函数。随机成分通过从中抽样来引入随机性。
你问什么时候会发生？每当我们想要近似一个难解的总和或积分时。然后，我们可以形成蒙特卡洛估计。变种自动编码器就是一个很好的例子。基本上，它是类固醇的自动编码器：编码器的工作是学习潜在空间的分布。损失函数包含对该分布的难以估计的期望，因此我们从中进行抽样。
与任何体系结构一样，梯度需要传播到模型的权重。一些权重负责将输入转换为我们从中采样的分布的参数。这里我们面临一个问题：梯度不能通过随机节点传播！因此，这些权重将不会更新。
解决此问题的方法之一是重新参数化技巧：将抽样的随机变量替换为无参数随机变量的确定性参数化转换。
如果您不知道这个窍门，我强烈鼓励您阅读它。我将以高斯案例进行说明。对于许多类型的连续分布，您可以执行重新参数化技巧。但是，如果您需要分布在一组离散值上怎么办？
题库
京公网安备 11010802022788号
