Active Learning for Point Cloud Semantic Segmentation via Spatial-Structural Diversity Reasoning

通过空间结构多样性推理进行点云语义分割的主动学习

摘要

众所周知，昂贵的注释成本是点云语义分割技术发展的一个主要制约因素。在本文中，我们提出了一种新的基于主动学习的方法来解决这个问题。我们的方法被称为SSDR-AL，它将原始点云分组为超级点，并选择信息量最大和最有代表性的点来获取标签。我们通过一个考虑到超点的空间和结构多样性的图形推理网络来实现选择机制。为了在更实际的情况下部署SSDR-AL，我们设计了一个噪声感知的迭代标签方案，以应对以前在超点中占主导地位的标签方法所带来的 "噪声注释 "问题。在两个点云基准上进行的广泛实验证明了SSDR-AL在语义分割任务中的有效性。特别是，当标签集很小的时候，SSDR-AL明显优于基线方法，在S3DIS和Semantic3D数据集上，SSDR-AL只需要5.7%和1.9%的注释成本就能达到90%完全监督学习的性能。

1. 简介

随着三维传感硬件的发展，三维点云因其包含丰富的几何结构和物体实例的空间信息而受到前所未有的关注[22]。在过去的几年中，大量用于点云处理的深度学习方法被提出，例如，点云分类[10, 35]，三维物体检测[21, 36]，以及点云语义分割[11,22]。尽管这些先前的工作取得了重大进展，但它们需要大量的注释数据来训练一个准确和稳健的深度模型。不幸的是，三维点云的手工数据收集和注释是耗时和劳动密集型的。图1显示了不同计算机视觉任务之间的注释成本比较，其中三维点级的注释成本远远高于同类任务。

图1. 各种任务中注释成本的说明。(a)-(d)分别报告了微软COCO[18]、微软COCO、Cityscapes[7]和Semantic3D[10]上每个样本的平均注释时间的统计。

为了将研究人员从繁重的注释成本中解脱出来，人们提出了一些主动学习方法，例如[3, 4, 13, 25, 34]。主动学习的目的是从未标记的数据池中逐步选择信息量最大的样本，以减少整体的标注工作量。在二维领域，一些主动学习方法[32,33]遵循不确定性抽样策略[25]，选择和注释最不确定的样本，以最大限度地提高模型。然而，研究人员[3,34]逐渐发现，仅仅基于不确定性的简单获取函数是无法选择最具代表性的样本的，尤其是在遇到具有不平衡类别的复杂场景时[1]。最近，所选样本的多样性已经成为主动学习采样的另一个重要指标。例如，Cai等人[3]利用类平衡抽样策略来增加查询样本的类级多样性，Caramalau等人[4]提出选择离标记样本最远的未标记的样本。

然而，将在二维领域取得成功的主动学习方法应用于点云数据并非易事。原因是多方面的，但不限于：1）先前基于二维区域的方法无法学习反映候选区域代表性的三维空间和结构信息；2）先前的工作很少考虑三维区域之间的内部关系，这可能导致对其多样性的偏颇估计。在这种困境下，点云分割任务迫切需要一种能够推理出候选区域事实上的多样性和代表性的主动学习方法。

在本文中，我们提出了一种新的基于三维区域的主动学习方法，称为SSDR-AL，通过图推理为点云语义分割量身定做。SSDRAL将原始点云分组为超点作为基本的样本单位，并将超点的空间和结构信息投射到一个无向图中，如图2所示。具体来说，我们首先在点云上建立图G = (V, E)，其中节点V对应于具有高不确定性的超级点，而边E = {e(vi , vj )}是通过考虑这些超级点之间的位置距离和倒角距离形成的。然后，我们利用图聚合操作将周围超点的特征合并到目标超点上，使每个目标超点获得周围超点的语义信息。最后，我们采用最远点采样（FPS）方法[16,23,31]对合并后的超点的特征进行筛选，选出最有代表性的超点。通过这种方式，SSDRAL能够充分利用空间几何信息和内部关系来推理出需要标记的最佳超级点候选。

基于超点的分割法的一个缺点是，每个超点可能不可避免地包含多个类别的点，这阻碍了常规的主动学习管道。解决这个问题的一个流行策略是主导标签[3]，它将一个超点中大多数点的类别视为 "真实标签"。然而，主导标签策略很容易给少数人点分配错误的标签，从而导致噪声注释的产生。为了解决这个问题，我们提出了一个简单而有效的噪音识别迭代标签策略。它允许注释者在观察到超点包含混杂区域时，通过"一键"将超点分割成一个子区域集。接下来，这些干净的子区域将被标记，而混杂的区域将被丢弃。

我们的贡献可以概括为以下几点

- 我们提出了一种新的基于区域的主动学习方法，称为SSDR-AL。SSDR-AL可以利用空间几何信息和超点之间的内部关系来推理出需要标记的最佳候选人。

- 我们设计了一个噪声感知的迭代标签策略。由于简单而有效，它改进了以前基于标签的主导方法，这些方法很容易给超点中的少数点分配错误的类别。

- 所提出的SSDR-AL在S3DIS[2]和Semantic3D[10]上取得了最先进的性能，与实现90%完全监督学习的基线相比，分别显著降低了标注成本，最多可降低63.0%和24.0%。

2.相关工作

2.1. 点云语义分割

三维点云语义分割可以大致分为两类：基于图信息传递的方法和基于邻域特征池的方法。在第一类中，LocalSpecGCN[28]利用频谱图CNN来建立每个局部邻域的关联性。GACNet[29]提出了一个图注意网络来动态地学习每个物体的结构。此外，Jiang等人[12]构建了一个包含点分支和边分支的层次化的点-边互动网络。具体来说，点分支负责预测每个节点的类别，而边缘点则是为了计算连接节点的一致性。在第二类中，相邻特征池方法[12, 28, 29]将相邻点的特征聚集到一个中心点，以减少后续计算的复杂性[11,23]。PointNet++[23]首先使用迭代的最远点采样（FPS）来选择一组中心点，然后根据球的查询将邻居点分组到每个中心点。由于FPS的计算复杂度为O(N 2)，Randlanet[11]用更快的随机抽样(O(1))代替了FPS。为了解决随机抽样中关键特征丢失造成的模型性能下降问题，Randlanet[11]提出了一个局部特征聚合模块，逐步增加每个三维点的感受野，从而有效地保留了几何学细节。由于这些优点，我们采用Randlanet[3]作为主动学习的学习器。

2.2. 主动学习

一般来说，主动学习方法可以分为三类，即基于不确定性的方法、基于多样性的方法和混合方法。

1）基于不确定性的方法。不确定性表明准确预测未标记的样本的难度。这些方法[1, 25, 34]首先利用标记样本训练的模型来预测未标记的样本，然后选择那些最难识别的样本。[1, 13, 25]进一步将不确定性抽样策略分为基于熵的抽样、基于边际的抽样和基于最小信心的抽样。此外，MI-AOD[34]将两个分类器的预测差异计算为对象实例的不确定性。

2）基于多样性的方法。一些方法[4, 24]注意到了采样数据的多样性和代表性。以CoreGCN[4]为例，它利用CoreSet技术[24]来选择潜伏特征空间中离标注样本最远的未标注样本，以保证样本特征的多样性。

3）混合方法。混合方法[3,26]的采集功能在采样阶段同时使用样本的不确定性、多样性和代表性。ViewAL[26]在含有较高熵值的候选超像素中选择具有最低视图分歧分数的最具代表性的超像素。ClassBal[3]使用BvSB[13]作为超像素的不确定度。此外，为了保证所选样本类别的平衡分布，ClassBal在类别平衡取样时增加了尾部类别的权重，减少了长部类别的权重。

然而，上述方法不能处理点云的几何信息，并且忽略了未标记样本之间的内部关系。因此，我们为点云语义分割设计了一种新型的主动学习方法，该方法基于ClassBal[3]，但引入了实质性的改进。

3. 方法

在本节中，我们将描述SSDR-AL方法的细节，如图2所示。我们在第3.1节中介绍了包括问题设置、超点生成和基线方法在内的初步情况。我们在第3.2节中详细介绍了我们的超点不确定性估计策略和空间-结构图推理方法。最后，我们在第3.3节中介绍了我们的噪声感知迭代标签策略。

3.1. 前言

问题设置。在介绍我们的方法之前，我们首先正式介绍点云语义分割的主动学习的问题设置。具体来说，我们将所有的点云划分为超级点，作为未标记集的样本。在主动学习的每个迭代中，给定一个标注预算K，1）我们首先从未标注集中选择一个小的超点子集，并对其进行标注，直到预算K用完。2）我们使用标记的超点来训练分割器。3）重复1）和2），直到分割器达到90%完全监督学习的性能。总之，我们的目标是选择信息量最大、最具代表性的超级点，并花费最少的注释工作来达到最佳性能。

超级点。超级点--相当于超级像素的三维特性--有以下三个特性[15]。1）每个超级点是一个点云的子集，只包含一个语义信息，并且不能与其他超级点重叠；2）超级点的形状和轮廓必须清晰，并与物体之间的边界重合；3）点云的每个点将被归入一个超级点。我们采用全局能量模型[9]来产生高质量的超点。

基线。Cai等人[3]认为，基于不确定性的简单获取函数无法查询稀有物体类别的样本，尤其是在类别分布不平衡的数据集中。基于这样的观察，他们提出了类平衡获取函数（ClassBal）[3]，该函数根据类分布给样本分配不同的权重。

以批次t的采样为例，Cai等人[3]使用ClassBal获取函数查询未标记集Ut中信息量最大的超级像素s∗，如下所示：

其中u(s)和Do(s)分别表示超级像素s的不确定度值和主导类（多数点的类标签）。他们简单地将一个超级像素的不确定性视为该超级像素中各点的不确定性的平均值，如下所示：

其中u(x)表示点x的不确定性值，该值是次佳概率和最佳概率的商[13]。在公式1中，w(-)表示一个类别的权重值，它被赋予如下：

其中是批次t的标签集，c是一个类别。

在我们的工作中，我们首先使用ClassBal[3]选择初始超点。接下来，我们基于这些初始超点构建一个超点图，然后利用图的推理选择信息量最大、最具代表性的超点样本，这将在下文中详细介绍。

3.2. 候选超点的取样

基于边际的不确定性估计。SOTA方法ClassBal[3]和ViewAL[26]简单地将超点的不确定性等同于点的平均不确定性值（公式2）。然而，他们忽略了一个事实，即不同的点可能对超点的不确定性有不同的贡献。在点云的情况下，由于一个超点s可能包含多个预测类的点，而采样器通常倾向于具有单一语义信息和大尺寸的超点。因此，我们通过设计以下基于边际的不确定性估计策略，给点分配不同的权重。

其中c类是超点s的主导预测类。l(x)和u(x)分别表示超点s中x点的预测类和不确定性值。方程4中的第一项是主导类的点的不确定之和，它保证了尽可能地选择包含更多点的超点s。第二项是其他类别的点的不确定之和，旨在保证超点s中的点的预测类别尽可能的一致。我们用上述两个和值的差值作为超点的不确定性。这将迫使采样器查询大的和纯的超点。图4报告了基于边际的策略（公式4）和基于平均的策略（公式2）的比较结果。

空间-结构多样性推理。为了选择具有不同结构和形状的代表性超点来丰富样本信息，我们设计了一种基于图的方法来推理超点之间的空间-结构关系。具体来说，我们建立了一个无向加权图G = (V, E)，其节点V对应于ClassBal[3]从未标记的集合中选择的超点。边是通过考虑超级点vi和超级点vj之间的位置距离Dl和倒角距离Dc建立的。节点V可以通过完成聚合操作来访问它们的一跳邻居节点，这迫使每个超级点访问周围超级点的信息。

图2. 拟议的SSDR-AL方法的概述。SSDR-AL由两部分组成：1）使用基于边际的不确定性估计和空间-结构多样性推理对候选超点进行采样（参见第3.2节）。2）使用噪声感知的迭代标签策略，根据点击成本测量对候选超点进行注释（参见第3.3节）。

我们采用简单的加权和聚合器，将相邻超点的特征合并到目标超点中，使其拥有周围超点的上下文信息。图2中所示的图聚合操作被定义为

其中 fi , fi ∗ 表示超点 vi 的原始特征和超点 vi 的周围信息的合并特征。Ni和w(i, j)分别表示超点vi的相邻超点集(包含自身)和边e(vi , vj)的权重值。 fi = P x∈Mi fx/|Mi |，其中fx为超点vi内的点x的特征，Mi表示超点vi内的多数点集。在这项工作中，我们采用位置距离Dl和倒角距离Dc来计算边w(i, j)的权重值，具体如下：

其中Dl(i, j)和Dc(i, j)分别表示超点vi和超点vj之间的位置距离和倒角距离。位置距离Dl是两个超级点的中心点的欧几里得距离。而倒角距离Dc是用来评估两个超点之间结构和形状的差异[17, 20]。

其中p和q是超点vi和vj的点。

如果两个超点有相同的邻居节点，那么两个超点的合并特征将非常相似，因为它们由周围相同的超点的特征信息组成。因此，为了保证所选样本的空间和结构多样性，我们采用最远点抽样（FPS）[16, 23, 31]，根据合并后的特征选择信息量最大、最具代表性的超点。

3.3. 候选超点的标注

在这一节中，我们提出了一种基于点击成本测量的新型标注策略，有效地缓解了传统主导标注[3]所带来的噪声问题。需要注意的是，有时噪声感知的迭代标签策略可能会导致一个超点消耗多次点击，这导致许多候选超点将被退回到没有点击预算的未标签集。

注释成本测量。在实验环境中，研究人员使用样本的地面真实注释来模拟来自神谕的注释[26]。与标注者的预算可以用时间或金钱来衡量不同，以前的工作提出用标注点的数量来替代真实标注成本[3]。目前，随着基于区域的方法[8]的发展，一些方法[3, 6, 19]主张用点击数而不是标注点的数量作为标注成本的更现实的测量。在我们的工作中，我们认为一键操作可以根据传统的优势标注策略[3]来分配一个区域的类别。因此，我们使用点击次数作为主动学习的标注阶段的标注预算。

噪声感知的迭代标注。由于一个超点可能包含多个类别的点，现有的主导标注策略[3]将多数点的类别标注为超点的类别，这可能导致对少数点分配错误的类别。为了解决这个问题，我们提出了一个简单而有效的噪声感知迭代标签策略。具体来说，我们首先将超点s的纯度p(s)设定为超点s中具有相同类别的多数点数量的百分比。如果超点s的纯度p(s)低于阈值θ，我们将根据超点s中点的预测类别将s分割成一个子区域集R。然后，我们计算子区域r∈R的纯度p(r)，并在其纯度高于阈值θ时对其进行标注。否则，子区域r将被丢弃，不会返回到未标注集或添加到标注集。算法1中对noiseaware迭代标签策略进行了深入的解释。

4. 实验

在本节中，我们首先在第4.1节介绍了点云语义分割任务中常用的数据集和评估指标。然后，在第4.2节中提供了实施细节。接下来，我们在第4.3节中对这些数据集与其他方法进行了比较实验。此外，我们在第4.4节和第4.5节设置了消融研究和超参数分析的实验。

4.1. 数据集和评估指标

数据集。拟议的SSDR-AL在两个公共数据集上进行了评估，即S3DIS[2]和Semantic3D[10]。1) S3DIS包含271个房间，分为6个大的区域[11]，每个房间对应于一个包含中等大小的三维点的点云。此外，S3DIS有10个房间类型和13个点类别，可以适应大多数点云语义分割任务。我们所有的测试都是在5区验证集上进行的。2). 为了验证SSDR-AL的强大通用性，我们还在Semantic3D中进行了实验，其中包含15个点云和8个类别用于训练。与S3DIS相比，Semantic3D的每个点云的点数高达108个，比S3DIS的点云大得多。所有的测试实验都是在验证集上进行的，该验证集与训练集是分开的。

评价指标。我们将S3DIS和Semantic3D分别划分为456764和456764个超级点。由于我们使用主导标签策略[3]可以花费一次点击来注释每个超点，因此我们将S3DIS和Semantic3D的总注释点击量分别设定为456764次。因此，我们使用成本点击量和成本点击量的百分比（=成本点击量/456764）作为实现90%完全监督学习性能的评价指标。

4.2. 实施细节

我们采用Randlanet[11]作为主动学习的学习者，并使用全局能量模型[9]将原始点云分组为超级点。我们产生456764个超点，并随机选择0.5%带有标签的超点作为种子样本，在S3DIS[2]上初始化标签集（在Semantic3D[10]上产生456764个超点，随机选择0.8%带有标签的超点作为种子样本）。在每个主动学习周期中，我们首先使用Adam[14]对Randlanet进行优化，β1=0.9，β2=0.999的标签集。Randlanet在S3DIS上以初始学习率0.01训练了30个历时，每个历时后下降16%（在Semantic3D上以初始学习率0.01训练了50个历时，每个历时后下降8%）。其他超参数与默认值一致[11]。在S3DIS上，我们从未标注的集合中选择10k（在Semantic3D上为3k）信息量最大、最具代表性的超级点，然后利用阈值θ=0.9的噪声感知迭代标注策略对其进行标注，直到10k（在Semantic3D上为3k）点击预算用完。被标注的超级点和子区域将被添加到标注集中，而所有被标注或部分标注的超级点将从未标注集中删除。同时，其他的超级点将被返回到无标签的集合中。在图推理模块中，我们将所有节点视为聚合节点，并且只聚合一次。

4.3. 与最新方法的比较

我们将SSDR-AL与图3所示的S3DIS[2]和Semantic3D[10]上的其他最先进的方法进行比较。此外，为了更深入地了解SSDRAL的优势，我们绘制了不同主动学习方法在选定数据上训练的模型的分割结果，如图6所示。

图6. 在S3DIS第5区验证集上与随机、ClassBal和SSDR-AL(Ours)方法的定性分割结果比较。*表示模型是在有42.3千次点击的标注集上训练的。虚线白框表示我们的方法可以准确识别其他方法无法识别的区域。

图3. 比较不同方法在S3DIS（a,b）和Semantic3D（c,d）上的主动学习性能。(a, c) 以点击量为单位，在固定的注释预算量下进行基准测试。(b, d) 绘制与(a, c)相同的结果，以标注的超级点的百分比衡量。LC和BvSB分别表示最小置信度[25]和最佳与次佳差值[13]。最上面的黑色实线和虚线分别表示完全监督学习的最大和90%的性能。

S3DIS。从图3（a）中的这些观察结果，我们得出结论，在S3DIS[2]上，我们的SSDR-AL在以点击量衡量的固定数量的注释预算下，明显优于其他方法，特别是它在每个主动学习周期中都明显处于领先地位，并首次达到90%的完全监督学习的性能，只花费了25.9k（5.7%）的注释点击。表1显示，与基线ClassBal[3]相比，SSDR-AL在实现90%完全监督学习的性能时，降低了高达63.0%的注释成本。此外，SSDR-AL比ReDAL[30]在实现表2中报告的90%的完全监督学习性能时可以少注释1.3%的点。

Semantic3D。在图3（c）中，我们观察到我们的SSDRAL明显优于其他方法。SSDR-AL首先达到了90%的完全监督学习的性能，只花费了8.8k（1.9%）的注释次数，与表1中报告的基线ClassBal[3]相比，注释成本降低了24.0%。此外，图3（d）显示，在相同比例的标注超点，学习者（Randlanet[11]）可以在SSDR-AL选择的数据上取得更好的性能。

表1. 比较不同方法在Semantic3D和S3DIS上达到90%准确率时的成本点击率（=成本点击率/456764）。

表2. 比较不同方法在S3DIS上达到90%准确率的标记点的百分比。 表示结果在原始论文[30]中报告。

4.4. 消融研究

为了更好地理解基于边际的不确定性估计、空间结构多样性推理策略和噪声感知的迭代标注策略的有效性，我们对S3DIS[2]进行了几次消融研究。我们的消融研究结果如图4所示。

图4. 对S3DIS第5区验证集的消融研究。(a) 在以点击量为单位的固定数量的注释预算下进行基准测试。(b) 在以点击量为单位的固定注释预算下，绘制出标记点的百分比。(c) 绘制与(a)相同的结果，以标记的超级点的百分比衡量。Marg, Div, Domi, NoiAw分别表示基于边际的不确定性估计、空间结构多样性推理、主导性标签和噪声感知的迭代标签。

我们观察到，在图4（a）中，基于边际的不确定性估计在第4个主动学习周期带来了额外的1.0% mIoU改进。此外，图4（b）显示基于边际的策略（公式4）比基于平均的策略（公式2）可以覆盖更多的点，这进一步验证了基于边际的策略可以选择大的和信息丰富的超级点。采用基于边际的不确定性估计和空间结构多样性推理来合并结果，比基线提高了1.2%的mIoU，在第4个主动学习周期达到57.9%的mIoU。在进一步采用噪声感知迭代标签策略来缓解主导标签[3]引入的噪声问题后，我们的最终模型达到了59.8% mIoU，比基线方法ClassBal[3]高出3.2%。此外，与图4（c）中的红线和蓝线相比较，可以看出采用噪声感知的迭代标注策略，在每个主动学习周期中，在相同的点击预算下，被标注的超点会更少。红线小于蓝线的超级点是那些有混淆区域的超级点。这进一步强调了使用噪声感知的迭代标注策略的重要性。

4.5. 分析

图5. 对S3DIS第5区验证集的分析实验。(a) 比较图聚合操作的数量和聚合节点的数量对性能的影响。(b) 比较噪声感知迭代标签策略的不同阈值θ对性能的影响。(c) 比较不同阈值θ的噪声感知迭代标注策略对标注超点的影响。

如图5（a）所示，我们进行了几个实验来说明不同数量的图聚合操作和聚合节点对性能的影响。此外，图5（b）比较了噪声感知迭代标签策略的不同阈值θ对性能的影响。

图推理。我们在图5（a）中设置了两组对比实验：相同数量的节点和相同数量的聚合。在聚合节点数量相同的情况下，我们观察到一次聚合比两次聚合和三次聚合要好。在聚合操作次数相同的情况下，我们发现，除了灰线和绿线外，聚合所有节点比取前100个节点要好。基于上述观察，我们采用一次聚合操作，在其他实验的图推理阶段聚合所有节点。

噪声感知的迭代标签。我们在图5（b）中进行了几个不同阈值θ的对比实验。我们观察到，θ=0.9和θ=1.0上的mIoU明显优于θ=0.6。特别是，在第2个主动学习周期，θ=0.9的mIoU比θ=0.6高2.73%。虽然在前两个主动学习周期，θ=1.0的mIoU比θ=0.9的差，但在随后的学习中，θ=1.0略微超过了θ=0.9。在我们的分析中，出现这种情况的原因是，在早期阶段，θ=1.0过滤了许多包含多个类别点的超级点，导致训练数据不足，如图5（c）所示。但是，在后来的主动学习阶段，它的表现优于θ=0.9，具有标记的超点的质量优势。

5. 结论

在本文中，我们针对点云语义分割的主动学习，提出了一种新颖的基于区域的SSDR-AL方法。通过分析超点之间的空间几何信息，我们利用基于边际的不确定性估计和图形推理来选择信息量最大、最具有代表性、规模最大的超点。据我们所知，大型超级点往往包含多个类别的点，因此我们设计了噪声感知迭代标签，以准确地注释干净的区域，并放弃超级点的混淆区域。我们通过系统而全面的实验展示了SSDR-AL在S3DIS和Semantic3D上的有效性。我们的结果有力地强调了未来在标注此类方法时使用基于多样性的采样和噪声感知的迭代标注策略的重要性。