耿浩然-Learning Generalizable and Actionable Parts...

我们人类可以在新的物体类别的实例上识别并与零件（如按钮）互动，这表明零件在跨类别的物体感知和操作中起着重要作用。然而，学习这种跨类别的、可泛化的、可操作的物体零件还没有得到充分的探索。为此，我们丰富了PartNet-Mobility数据集，提供了跨类别的零件类定义以及它们的姿势标注，并提出了GAPartNet数据集，该数据集由817个物体组成，涵盖16个物体类别，在8个零件类别中有4860个可操作零件。基于该数据集，我们随后研究了三个跨类别的任务：零件分割、零件姿势估计和基于零件的物体操作。为了在未见过的物体类别上分割零件并缩小泛化差距，我们提出了一个融合了二维和三维的新型网络，并结合了自顶向下和自下而上的方法，其性能大大超过了现有的二维和三维分割方法。此外，零件姿势估计的结果表明，我们的姿势定义使简单的启发式方法能够准确地与物体互动，取得比基于RL的方法高得多的成功率。