在注意力空间下扰动的多样性生成 【ICIP2022】提高对抗攻击的迁移性( 二 )


特征多样化
我们在上文中提到过 , 正是由于对抗样本对于源模型过拟合 , 所以才造成了对抗样本的迁移性不高 。作者就想如果我们能够随机地去搜寻整个空间 , 那么我们生成的对抗样本的迁移性就会增加(其实这句话作者没说 , 我是根据作者文中的意思理解的) 。那么这里作者在生成对抗噪声的网络的输入加入了 code , 隐码 。为什么要加入这个呢?我们知道模型一旦训练好了 , 参数就是固定的 , 那么相同的输入得到相同的输出 。因此如果我们想要有不同的输出 , 那么需要用到不同的输入 , 这里经过高斯分布采样的 code是一个不错的选择 。那么现在我们可以看公式5了 , 公式5就是想让给定两个不同 code所形成的对抗样本之间的距离尽可能远 。
整体的损失函数
那么这样整体的损失函数就有了 , 一个是分类本身的损失 , 另外一个是注意力的损失 , 再一个是特征多样性损失 。三个损失加在一起 , 我们生成噪声的目的就是最大化这个损失 。其中注意力损失的权重系数是10 , 特征多样性损失的权重系数是1000 , 分类损失的权重系数是1 。
实验结果
下图中我们可以看到 , 作者提出的方法虽然在白盒攻击没有达到100%(主要是人家主攻迁移性 , 生成的对抗样本不过拟合白盒模型) 。该方法虽然不说碾压其它的对抗攻击 , 但也很强了 , 与FIA做对比也丝毫不慌 。关于FIA方法的介绍 , 在我之前的博客中有写 , 大家可以移步观看基于特征感知的对抗攻击 。
代码
作者目前还没放出代码 , 但是作者说会在会议举行之前把代码给发布 。关于实验的详细内容大家可以去看看原文 , 这里就不过多介绍了 。总而言之感觉这篇论文的思路不错 , 效果也有 。