[关闭]
@wuxin1994 2017-08-12T08:33:32.000000Z 字数 1864 阅读 1060

《Universal adversarial perturbations》论文笔记

PaperNotes Secure


Title:
Universal adversarial perturbations
Authors:
Moosavi-Dezfooli, Seyed-Mohsen; Fawzi, Alhussein; Fawzi, Omar; Frossard, Pascal
Publication:
eprint arXiv:1610.08401
Publication Date:
10/2016
Origin:
ARXIV
Keywords:
Computer Science - Computer Vision and Pattern Recognition, Computer Science - Artificial Intelligence, Computer Science - Learning, Statistics - Machine Learning
Comment:
Accepted at IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017
Bibliographic Code:
2016arXiv161008401M
Citing
Moosavi-Dezfooli S M, Fawzi A, Fawzi O, et al. Universal adversarial perturbations[J]. 2016.

Abstract

论文提出了一种万能且不易察觉的perturbation,它能使目前最好的分类器,在完成图片分类任务时出错。并且提出计算这种万能perturbation的系统化算法。通过这个算法得到的perturbation,在各种神经网络情况下都能取得很好的效果。这揭示了目前分类器分类“判定边界”在高维度上的几何关系。

Introduction

论文示例图片如下:
此处输入图片的描述
文章主要的contribution如下:
1. 证明了针对各种深度神经网络,都有与图片无关的万能perturbation的存在
2. 提出了找到这种万能perturbation的算法
3. 最终得到的万能perturbation在泛化能力上非常显著
4. 证明了这种perturbation不只是在图片上很有用,在各种深度神经网络中效果都很不错,即是 doubly-universal的扰动:对不同图片都有用,同时对不同网络结构也能构成对抗攻击
5. 通过测试神经网络“判定边界”的不同部分的几何关系,论文对上述万能perturbation的存在作了解释和分析

Universal perturbation

万能perturbation的构造算法
算法得到的perturbation需要满足两个条件:
此处输入图片的描述
即第一是扰动的规模要比较小,第二是原来的数据叠加了扰动之后,分类器的输出错误率要大于一个阈值。
整体的算法如下:
此处输入图片的描述
其算法思想是对于图片数据中的每一个点,依次计算能使得最终分类器的输出错误的最小扰动,一直循环知道将整体分类错误的概率大于 1 − δ,其中 δ 为人为定义的分类器准确度。而算法的关键不是为了找到一个能使大多数样本分类错误的最小perturbation,而是用足够小的范数找到这样的一个扰动。这是这个算法计算出的perturbation比较Universal的原因。

Experiment

论文在多个数据集上进行了实验,得到的误判概率如下:
此处输入图片的描述
其中,X是用来计算扰动用到的采样得到的数据集,而validation是验证集,在计算perturbation时没有用到。从图中可以发现,这个universal perturbation产生的扰动,在验证集下也能达到很高的误分类率,因此得到的perturbation是一种在同一网络结构下,各种图片都有效的扰动。
同时,论文将上面得到的perturbation,应用到其他网络结构中,
此处输入图片的描述
证明了这个perturbation对不同网络结构也是universal的。

Explaining the vulnerability to universal perturbations

论文通过将本文中的万能perturbation与其他四种对抗perturbation进行比较来帮助理解。这四种perturbation分别是:随机perturbation、用随机选择的样本计算的对抗perturbation、对数据集X计算的对抗扰动的总和、图片的平均值。比较的结果如下:
此处输入图片的描述
从结果可以发现,Universal Perturbation能以更快地速度,在扰动还比较小的时候就达到比较高的错误分类率,效果更好。

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注