ICLR 2021 | 具有可区分边缘遮罩的NLP解释图神经网络

Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking。图形神经网络(Graph neural networks，GNNs)日渐流行，它能够将结构性归纳偏差整合到NLP模型中。然而，解释它们原理的工作很少，特别是关于理解图的哪些部分（如句法树或共同参照结构）有助于预测。在本文中，作者引入了一种用于解释GNN预测的事后方法，它可以识别不必要的边缘。给定一个训练好的GNN模型，该模型学习一个简单的分类器，对于每层中的每一个边缘，预测该边缘是否可以放弃。作者证明这种分类器可以以完全可分化的方式进行训练，采用随机门，并通过预期的规范鼓励稀疏性。同时，作者同时将他们的技术作为一种归因方法来分析两个任务的GNN模型--问题回答和语义角色标签--并提供了对这些模型中信息流的见解。该工作表明，作者能够在不降低模