- 论文阅读 -

Syntactic Data Augmentation Increases Robustness to Inference Heuristics

通过语法数据扩增提升推理启发法的鲁棒性

摘要

​ 诸如BERT的预训练的神经模型在微调以执行自然语言推理（NLI）时，常常在标准数据集上展现出了高度准确性，但在受控的挑战集上，它们却表现出对语序敏感度的出奇缺乏。我们假设此问题并不主要因为预训练模型的局限性引起，而是由于缺乏众包的NLI样例引起的，而这些样例可能在微调阶段传递了语法结构的重要性。我们探索了几种方法来扩增标准训练集中语法丰富的实例，这些实例是通过对MNLI语料库的句子应用语法转换而生成的。而表现最好的扩增方法，主语/宾语倒置法，可以在不影响BERT对MNLI测试集性能的情况下，将BERT对受控实例的词序敏感度诊断从0.28提升至0.73。这种改进全面超过了用于数据扩增的特定结构，这表明了扩增可以使BERT学习到抽象语法的表现形式。

Read More

Adversarial Robustness through Disentangled Representations

通过解耦表征实现对抗鲁棒性

摘要

​ 尽管深度学习模型具有优秀的实证性能，但诸多研究已发现了它们对对抗样本的脆弱性。它们易对具有难以察觉的对抗扰动的输入做出易受其影响的预测。尽管最近的研究已明显提升了在对抗训练策略下模型的鲁棒性，但自然准确性与对抗鲁棒性之间的差距依旧显著。为缓解此问题，本文中，我们假设鲁棒性与非鲁棒性表征是整体表征中相互耦合的两个基本成分。为实现对抗鲁棒性，自然与对抗样本的鲁棒表征应与非鲁棒部分分离，鲁棒表征的一致化可弥补准确性与鲁棒性之间的差距。受此启发，我们提出了一种称为深度鲁棒解耦表征网络（Deep Robust Representation Disentanglement Network, DRRDN）的新防御方法。具体而言，DRRDN使用解耦器从对抗样本与自然样本中提取并一致化鲁棒表征。理论分析保证了我们的方法能在具有良好解耦与一致化性能的情况下平衡鲁棒性与准确性。在基准数据集上的实验结果证明了我们方法的实证优势。

Read More