论文名称：
Adversarial Self-Attention For Language Understanding
论文来源：ICLR 2022
论文链接：https://arxiv.org/pdf/2206.12608.pdf
本文提出了 Adversarial Self-Attention 机制（ASA），利用对抗训练重构 Transformer 的注意力，使模型在被污染的模型结构中得到训练。 尝试解决的问题：大量的证据表明，自注意力可以从 allowing bias 中获益，allowing bias 可以将一定程度的先验（如 masking，分布的平滑）加入原始的注意力结构中。这些先验知识能够让模型从较小的语料中学习有用的知识。但是这些先验知识一般是任务特定的知识，使得模型很难扩展到丰富的任务上。adversarial training 通过给输入内容添加扰动来提升模型的鲁棒性。作者发现仅仅给 input embedding 添加扰动很难 confuse 到 attention maps. 模型的注意在扰动前后没有发生变化。
为了解决上述问题，作者提出了 ASA，具有以下的优势：最大化 empirical training risk，在自动化构建先验知识的过程学习得到biased（or adversarial）的结构。 adversial 结构是由输入数据学到，使得 ASA 区别于传统的对抗训练或自注意力的变体。 使用梯度反转层来将 model 和 adversary 结合为整体。ASA 天然具有可解释性。
