吴帆9.15

学习笔记17

• 今天论文讲解中两个没解决的问题：

  1. 生成对抗网络的输入为什么是噪音？为什么效果比其他生成式网络效果更好？

     • 生成对抗网络的目的就是得到一个生成器，这个生成器可以学习到目的数据的分布特征，最终能生成和真实数据类似的合成数据。如果训练之后可以将随机的噪声分布映射到真实图片上，则体现了生成器确实学习到了这种分布特征。而用噪音作为输入是人为定义的，这个输入可以用符合各种分布的噪声，或者不用噪声，模型的效果和输入是否是噪声无关，根据实际需求而定。
     • GAN网络比其他生成式神经网络效果更好的原因，主要有 a.GAN将传统的生成模型的无监督学习转化成了监督学习； b.GAN中的生成器能够自动学习到样本数据的真实分布，不需要人为定义生成器的损失函数，它的参数更新直接取决于判别器的输出值。而这个输出的值是对生成器输出样本的整体判断。而传统的精心设计的损失函数，实际是对数据分布作出了某种假设，就降低了模型的泛化能力。
     • 以上的结论都是一些可能和推理，没有得到证明。

  2. 后面实验部分的测试样本是一样的吗？

     • 文章有一部分实验，将dropout, random perturbation, 和用FGSM等方法得到的对抗模型效果进行了比较，比较了它们的分类准确率。这里用的测试数据和baseline是一样的，都是真实数据。后面实验部分只说了用的数据是validation samples，读文章的时候不够仔细，没有注意到文章最开始提到这个validation samples实际是从初始的训练样本中划分出来的。所以这一部分的实验设置是没有问题的。

• 最近没怎么看GAN的相关论文，看的论文主要涉及Adversarial Attack，最近看到将两者结合效果很promising。其余时间除了上课，还在按照裘老师的要求在总结各种构造对抗样本的原理。