清华大学王奕森：Adversarial Machine Learning: Attack and D

嗨，大家好。这里是学术报告专栏，读芯术小编不定期挑选并亲自跑会，为大家奉献科技领域最优秀的学术报告，为同学们记录报告干货，并想方设法搞到一手的PPT和现场视频——足够干货，足够新鲜！话不多说，快快看过来，希望这些优秀的青年学者、专家杰青的学术报告 ，能让您在业余时间的知识阅读更有价值。

 

 

人工智能论坛如今浩如烟海，有硬货、有干货的讲座却百里挑一。“AI未来说·青年学术论坛”系列讲座由中国科学院大学主办，百度全力支持，读芯术作为合作自媒体。承办单位为中国科学院大学学生会，协办单位为中国科学院计算所研究生会、网络中心研究生会、人工智能学院学生会、化学工程学院学生会、公共政策与管理学院学生会、微电子学院学生会。“AI未来说·青年学术论坛”第六期“机器学习”专场已于2019年6月23日下午在中科院举行。清华大学王奕森为大家带来报告《Adversarial MachineLearning: Attack and Defence》。

 

Yisen Wang obtained his Ph.D. degree from the Department of Computer Science and Technology at Tsinghua University. He is also a visiting scholar at Georgia Tech (USA) and The University of Melbourne (Australia). Dr. Wang's researches mainly focus on tree-based models (Decision Tree, Random Forests and GBDT), robust deep learning with noisy labels and adversarial machine learning. He has published more than 20 top academic papers in thefield, including CCF A (Quasi A) conferences ICML, CVPR, IJCAI, AAAI, ICLR, UAI, etc and journals IEEE Transaction on Neural Network and Learning Systems(TNNLS), etc. He is also the winner of Baidu Scholarship, Microsoft Fellowship Nomination, National Scholarship, Best PhD Thesis Award of Tsinghua University.

 

报告内容：Deep neural networks have achieved great success in a number of fields including computer vision, speech, and natural language processing. However, recent studies show that these deep models are vulnerable to adversarial examples crafted by adding small, human imperceptible adversarial perturbations to normal examples. Such vulnerability raisessecurity concerns about their practicability in security-sensitive applications such as face recognition and autonomous driving. In this talk, I will give an introduction of adversarial machining learning from two aspects: attack and defense. The former focuses on how to generate adversarial examples to attack deep models, and the latter focuses on how to improve the robustness of deep models to adversarial examples.

 

Adversarial Machine Learning: Attack and Defence

 

王奕森博士报告的主要内容包括：对抗机器学习的研究意义，对抗学习中的攻击（Attack）和防御（Defence）的介绍，对抗训练中评价收敛性能的指标FOSC（First-Order Stationary Condition）和动态对抗训练算法，以及总结四个部分。

 

王奕森博士首先以近年来对抗学习相关的研究在机器学习顶会中被评为best paper的现象引入，相关的工作发表在ICML 2018、ICML 2017和KDD 2018等会议上，展现了学术界对于该问题的关注。

 

然后介绍了对抗样本，以图像为例，对抗样本就是在原图像的基础上加一些细小的对抗噪声来实现的。对抗样本对于现有的分类系统、视觉问答系统和自动驾驶系统的影响极大。若系统中存在对抗样本，则很容易出现错误，并以自动监控的视频为例对对抗样本进行了生动形象的解释说明。机器学习系统已经部署到日常生活中的方方面面，若有对抗样本存在，是非常危险的，因为有些领域是不允许出错的，比如自动驾驶领域以及日常的刷脸支付等生物特征识别领域。

 

接着王奕森博士讲到了攻击（Attack）和防御（Defence），攻击是如何生成对抗样本，而防守是如何提高对对抗样本的鲁棒性。这就像一个游戏，更好的攻击需要更好的防守，反过来，更好的防守可以启发更好的攻击。常见的攻击有两种，一种是白盒攻击（White-box Attacks），另一种是黑盒攻击（Black-box Attacks）。其中，白盒攻击可以获得模型的参数和结构，常见的白盒攻击包括有目标的攻击（Targeted Attack）和无目标的攻击（Non-targeted Attack）。有目标的攻击是指误导分类器预测某一个特定的类别，而无目标的攻击是指误导分类器去预测任何不是真实类别的类别。常见的白盒攻击算法包括FGM、BIM和PGD等算法。黑盒攻击不能获得模型的参数和结构，常见的黑盒攻击有零查询攻击（Zero-query attack）和基于查询的攻击（Query-based attack）。通常来说，黑盒攻击的难度要高于白盒攻击的难度。

 

对抗防御的方法可以分为两大类，即检测（Detection）和预防（Prevention）。基于检测的方法包含组合（Ensemble）、归一化（Normalization）、分布式检测（Distributional detection）、PCA检测（PCA detection）和二次分类（Secondary classification）。基于预防的方法主要包含随机（Stochastic）、生成（Generative）、训练过程（Training Process）、结构（Architecture）、再训练（Retrain）和预处理输入（Pre-process input）。虽然现有的防御方法很容易被厉害的攻击手段攻破，但有一种防御算法还没有被完全攻破，那就是对抗训练（adversarial training）。

 

对抗训练本质上是一种数据增强的方法，即使用对抗样本来训练鲁棒的深度神经网络。该方法的求解可以被归纳为min-max的过程，即Inner Maximization和Outer Minimization两个步骤。Inner maximization用于通过最大化分类损失函数来生成对抗的样本，该过程是一个受限的优化问题，一阶方法PGD（Projected Gradient Descent）通常会给出好的求解方法。Outer Minimization用于使用Inner Maximization阶段生成的对抗样本来训练一个鲁棒的模型，而且受Inner Maximization阶段的影响非常大。

 

为了测量Inner Maximization的收敛性能，又引入了一阶平稳条件FOSC，该条件有封闭的解，其值越小代表Inner Maximization有更好的解，等同于对对抗样本有更好的收敛性能。FOSC提供了一种可比较的、一致性的对抗强度测量方法，一般来说，FOSC值越小，则模型的Accuracy值越低，Loss值也越高，相应的攻击强度越大。此外，FOSC可以反映对抗训练过程的一些性质。标准的对抗训练在早期的阶段容易过拟合于强PGD方法生成的对抗样本，在早期阶段使用弱攻击FGSM的方法可以提高模型的鲁棒性，而鲁棒性的提升可以反映在FOSC的分布上。

 

在介绍完FOSC之后，王奕森博士讲到了自己团队所提出的动态对抗训练的方法。与标准的对抗训练的方法相比，该方法有很多优势：可以进行Inner Maximization的动态收敛性控制，逐步增加模型的收敛性能，即逐步减小FOSC值。然后讲解了该方法收敛性的证明过程及其在MNIST和CIFAR10数据库上的实验结果。通过实验结果可以看出，该动态对抗训练的方法除了能取得更好的防御性能外，还在以FOSC所反映的收敛性能上有更精确的控制能力，即在每一个训练阶段有更集中的FOSC分布，在不同的训练阶段有更分散的FOSC分布。

 

最后，王奕森博士对报告的内容进行了三个方面的总结：一是对抗机器学习作为一个新兴的领域正在引起大家的广泛关注，这一点可以从近几年ArXiv和机器学习顶级会议上所接收的该领域的文章的数目看出；二是对抗机器学习领域存在大量的开放性的挑战问题，在攻击和防守方面都可以做很多工作，比如新的攻击方法和新的具有鲁棒性的防守方法；三是除了安全问题之外的鲁棒性和泛化性的问题。更多精彩内容请关注视频分享。