模型解释的调试测试

引用

Adebayo J , Muelly M , Liccardi I , et al. Debugging Tests for Model Explanations[J]. 2020.

摘要

我们研究了事后模型解释对于诊断模型错误（即模型调试）是否是有效的。为了应对解释模型预测的挑战，人们提出了大量解释方法。尽管人们越来越多地使用这些方法，但仍不清楚它们是否有效。首先，我们根据bug的来源，将其分为：数据、模型和测试时污染bug。对于几个解释方法，我们评估了它们的能力：检测虚假的关系产物（数据污染），诊断错误标注的训练样本（数据污染），区分（部分）重新初始化的模型和训练好的模型（模型污染），以及检测分布外的输入（测试时污染）。我们发现，所测试的方法能诊断出一个虚假的背景错误，但并不能确凿地识别错误标注的训练样本。此外，一类修改的反向传播算法的方法对深度网络的高层参数没有影响；因此，其对诊断模型污染无效。我们进行了一项人群受试者研究来补充我们的分析，我们发现受试者未能根据归因来识别有缺陷的模型，而主要依赖于模型预测。综上，我们的结果为从业者和研究者提供了在模型测试时将解释作为工具的指导。

基于深度截图理解的众包测试报告优先级排序

摘要

​ 众包测试在移动应用程序测试中日益占据主导地位，但对于应用开发者来说，审查数量过多的测试报告是很大的负担。已有许多学者提出基于文本和简单图片特征的测试报告处理方法。然而，在移动应用测试中，测试报告所包含的文本较为精简且信息不够充分，图片则能够提供更丰富的信息。这一趋势促使我们在深度截图理解的基础上，对众包测试报告的优先级进行排序。
​ 本文中，我们提出了一种新的众包测试报告优先级排序方法，即DEEPPRIOR。我们首先引入一个新的特征来代表众包测试报告，即DEEPFEATURE，它基于对应用程序截图的深度分析，涵盖了所有组件（widget）及它们的文本、坐标、类型甚至是意图。DEEPFEATURE包括直接描述bug的bug特征（Bug Feature），和刻画bug完整上下文的上下文特征（Context Feature）。DEEPFEATURE的相似度用于表示测试报告的相似度，并被用于对众包测试报告进行优先级排序。我们形式上将相似度定义为DEEPSIMILARITY。我们还进行了一个实证实验，以评估所提技术在大型数据中的有效性。结果表明，DEEPPRIOR性能最佳，以不足一半的成本获得优于其它方法的结果。

索引词 众包测试，移动应用测试，深度截图理解

通过语法数据扩增提升推理启发法的鲁棒性

摘要

​ 诸如BERT的预训练的神经模型在微调以执行自然语言推理（NLI）时，常常在标准数据集上展现出了高度准确性，但在受控的挑战集上，它们却表现出对语序敏感度的出奇缺乏。我们假设此问题并不主要因为预训练模型的局限性引起，而是由于缺乏众包的NLI样例引起的，而这些样例可能在微调阶段传递了语法结构的重要性。我们探索了几种方法来扩增标准训练集中语法丰富的实例，这些实例是通过对MNLI语料库的句子应用语法转换而生成的。而表现最好的扩增方法，主语/宾语倒置法，可以在不影响BERT对MNLI测试集性能的情况下，将BERT对受控实例的词序敏感度诊断从0.28提升至0.73。这种改进全面超过了用于数据扩增的特定结构，这表明了扩增可以使BERT学习到抽象语法的表现形式。

通过解耦表征实现对抗鲁棒性

摘要

​ 尽管深度学习模型具有优秀的实证性能，但诸多研究已发现了它们对对抗样本的脆弱性。它们易对具有难以察觉的对抗扰动的输入做出易受其影响的预测。尽管最近的研究已明显提升了在对抗训练策略下模型的鲁棒性，但自然准确性与对抗鲁棒性之间的差距依旧显著。为缓解此问题，本文中，我们假设鲁棒性与非鲁棒性表征是整体表征中相互耦合的两个基本成分。为实现对抗鲁棒性，自然与对抗样本的鲁棒表征应与非鲁棒部分分离，鲁棒表征的一致化可弥补准确性与鲁棒性之间的差距。受此启发，我们提出了一种称为深度鲁棒解耦表征网络（Deep Robust Representation Disentanglement Network, DRRDN）的新防御方法。具体而言，DRRDN使用解耦器从对抗样本与自然样本中提取并一致化鲁棒表征。理论分析保证了我们的方法能在具有良好解耦与一致化性能的情况下平衡鲁棒性与准确性。在基准数据集上的实验结果证明了我们方法的实证优势。

​ 目前网上的大量教程都是需要安装xfac4或者xubuntu桌面系统才能实现远程连接。因为xrdp支持在13.10之后版本就已经不支持的Gnome了和原生Unity桌面，所以网上很多方法都是安装能够被xdrp支持的第三方xfac4或者xubuntu桌面系统间接达到远程控制Ubuntu。
​ 本文提供如何使用Xrdp访问原生Ubuntu桌面。

又是老问题？（笑