发帖
雷达卡
2020/02/01
《百面机器学习-算法工程师带你去面试》读书笔记
《No.31: p298~p312》第13章 生成式对抗网络学习
Q111 简述GANs的基本思想和训练过程
1 生成式对抗网络(Generative Adversarial Networks)
2 GANs主要框架包括生成器(generator)和判别器(Discriminator)两个部份
2.1 生成器用于合成”假”样本
2.2 判别器用于判断输入的样本是真实的还是合成的
3 GANs采用对抗方式进行模型训练。
Q112 GANs的值函数?
书中以双人MiniMax游戏，说明值函数
Q113 GANs如何避开大量概率推断计算?
GANs在做概率生成模型时，不对概率密度函数直接建模，而是通过制造样本间接体现出分布。这样可避开大量复杂的概率计算。
Q114 GANs在实际训练中会遇到?
在实际训练中，早期阶段生成器效果很差，生成的模型样本很容易被判别器识别，使得梯度很小，达不到训练的目的。透过函数转换，让梯度不会太小，而提供有效的梯度。
Q115 GANs的陷阱: 原GANs中存在的哪些问题制约模型训练效果
1 容易出现坍缩模型，无泛化。
2 模型生成器基于JS距离。生成器的JS距离为常数，造成梯度为0，无法训练。
Q116 破解武器: WGAN针对前面问题做了哪些改进? 什么是Wasserstein距离?
1 WGAN改用Wasserstein距离(又称推土机距离)来解决JS距离梯度为0的问题。
2 推土机距离，度量两个分布之间的距离，又叫Wasserstein distance。以最优运输的观点来看，就是分布[公式]能够变换成分布[公式]所需要的最小代价
Q117 WGAN之道: 怎样具体应用推土机距离实现WGAN算法?
1 Wasserstein距离的算法太难求解，改用它的孪生兄弟Wasserstein距离的对偶式，大大降低了求解难度且小小改动就能利用原来的GANs框架求解。
2 此方法用了1-Lipschitz函数，这是限制函数导数的界，可让函数在每个点的变化率不能无限大，因此可以约束梯度的大小。
京公网安备 11010802022788号
