《深度学习框架中的魔鬼：探究人工智能系统中的安全问题》笔记

Secure

1. 看文章《深度学习框架中的魔鬼：探究人工智能系统中的安全问题》
   这篇文章从人工智能安全性的角度，介绍了几个方面的可能威胁。总结如下：

   • 深度学习模型的设计过程中没有考虑到实际场景
      很多对深度学习的讨论都停留在算法和前景展望的层面，对应用场景和程序的输入有很多假设：假设模型处于良性或者封闭的场景。但是在实际应用中，还会有很多来自环境的干扰。比如语音识别任务中的环境噪音，图片识别任务中图片可能是非正常拍摄的照片。
      而且除了针对特定攻击的防御策略研究，很多模型的设计并没有考虑实际应用时的程序出错或者被攻击者劫持等场景。（也就是没有加入防御策略）
      因此在学习模型的开发中，程序设计人员需要考虑输入数据是否可控，监测程序是否正常执行，并验证程序执行结果是否真实反映应用的本来目的。

   • 深度学习框架中的软件实现漏洞
      深度学习的很多借助于深度学习框架实现，比如TensorFlow、Torch和caffe等。
      这些框架本身又依赖于很多组件和基础库。我们在自己搭建模型的时候，可以通过简单地调用框架的接口和方法，很容易实现模型的应用。
      但是，这样做另一方面也有很多弊端：
      a.任何在深度学习框架以及它所依赖的组件中的安全问题都会威胁到框架之上的应用系统。（例如内存访问越界，空指针引用，整数溢出，除零异常等。） b.另外模块往往来自不同的开发者，对模块间的接口经常有不同的理解。当这种不一致导致安全问题时，模块开发者甚至会认为是其它模块调用不符合规范而不是自己的问题。

   • 对抗机器学习的恶意样本生成
     这一部分是以前提到的，很多文章进行了大量研究，设计对抗样本攻击目标网络。即是修改输入数据，根据模型给测试数据增加难以识别的扰动，使模型达不到预期结果。

2. 继续调试代码，把分类模型的代码看懂了，但是运行的时候总有各种异常。打算明天先把代码放一放，继续综述文章的进展。