Superpoint-guided Semi-supervised Semantic Segmentation of 3D Point Clouds

超点指导下的三维点云的半监督式语义分割

摘要

三维点云语义分割是计算机视觉领域的一个挑战性课题。文献中的大多数方法都需要大量的完全标记的训练数据，但通过手动标记大量的点云来获得这些训练数据是非常耗时的。为了解决这个问题，我们提出了一个超点引导的三维点云半监督分割网络，该网络联合利用一小部分已标注的场景点云和大量未标注的点云进行网络训练。所提出的网络用其预测的伪标签进行迭代更新，其中引入了一个超点生成模块，用于从三维点云中提取超点，并探索了一个伪标签优化模块，用于在提取的超点的约束下为未标记的点自动分配伪标签。此外，还有一些三维点没有伪标签监督。我们提出一个边缘预测模块来约束边缘点的特征。引入了一个超点特征聚合模块和一个超点特征一致性损失函数来平滑超点特征。在两个三维公共数据集上的大量实验结果表明，我们的方法可以取得比几个最先进的点云分割网络和几个流行的半监督分割方法更好的性能，而这些方法的标签场景很少。

I. 引言

三维点云语义分割在计算机视觉领域引起了越来越多的关注。近年来，大量用于点云语义分割的深度神经网络（DNN）[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]、[13]已经被提出。尽管这些方法在获得点云的语义特征方面有很大的能力，但它们大多需要大量精确标注的三维场景，而手工标注点云是费时费力的。

最近，一些针对三维点云的弱监督分割方法[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21]、[22]、[23]、[24]被提出，根据两种不同的训练数据集，大致可以分为两组。(1）弱监督方法，其训练数据集包含从每个三维训练场景中采样的一小部分标记点；（2）弱监督方法（也叫半监督方法），其训练数据集包含一小部分标记的三维场景。前一组方法[15]、[18]、[21]、[22]、[23]、[24]需要对所有的三维场景进行点采样，从一些密集的三维场景中采样的点云仍然会有一定的密度，分配点标签的劳动成本也不会降低太多。与前一组方法相比，半监督方法[14]、[16]、[17]、[19]、[20]能够显著降低标签成本。因此，我们在本文中重点讨论半监督的点云分割问题。

为了解决三维点云的半监督语义分割问题，一些方法[14]、[16]、[19]、[20]引入了点云的额外信息。专家知识在[14]、[19]、[20]中被利用，Mei等人[16]考虑了扫描流的一致性。此外，方法[14]、[17]所使用的点云是CAD模型，比3D场景简单得多。此外，还有一些方法[25]、[26]、[27]、[28]解决2D图像的半监督分割问题。然而，由于三维点云是一个无序和不规则的结构，这些方法不能直接应用于三维点云。

据悉，现有的一些用于三维点云语义分割的工作[5]、[8]、[18]、[19]、[20]、[21]、[29]利用超级点来提高其性能。在[5]、[18]、[21]、[29]中，通过最小化全局能量函数对点云进行几何分割。Liu等人[20]采用光谱聚类的方法来生成超级点。这些方法没有考虑三维点云的颜色信息，其中一些类别的物体与周围的物体（如窗户和木板）只有颜色上的不同。而且最小化全局能量函数是很耗时的。Landrieu等人[8]将超点的生成制定为一个深度度量学习问题。但是这种划分方法需要三维点云的语义信息。

针对上述问题，我们提出了一个超点引导的三维点云的半监督分割网络。有标签和无标签的点云将被以不同的方式处理。我们使用地面真实标签来监督有标签的点云。而从未标记的点云中预测的伪标签则用于自我训练。由于伪标签并不完全准确，我们利用超级点来优化伪标签。

具体来说，我们提出了一个超级点生成模块，命名为SPG模块，用来结合基于几何和基于颜色的区域生长算法所产生的超级点[30]，以及一个伪标签优化模块，命名为PLO模块，用来修改和删除每个超级点中信心不足的伪标签。有一些三维点没有伪标签监督。我们提出了一个边缘预测模块，命名为EP模块，以约束来自几何和颜色的边缘点的特征。我们引入了一个超点特征聚合模块，即SPFA模块，以及一个超点特征一致性损失函数来平滑每个超点的点特征。

总而言之，本文的主要贡献包括。

- 为了切实有效地解决三维点云的半监督语义分割问题，我们利用基于几何和基于颜色的区域生长算法相结合产生的超点来优化从无标签的点云预测的伪标签。

- 我们提出了一个边缘预测模块、一个超点特征聚合模块和一个超点特征一致性损失函数来约束没有伪标签的点特征。

- 我们提出了三维点云的超点引导的半监督分割网络。在两个三维公共数据集上的实验结果表明，所提出的方法优于几个最先进的分割网络和几个流行的半监督方法，而标注的场景很少。

II. 超级点引导的半监督分割网络

在这一节中，我们提出了用于三维点云的超级点引导的半监督分割网络。首先，我们介绍了所提出的网络的结构。其次，我们分别描述了超点生成模块（SPG模块）、伪标签优化模块（PLO模块）、边缘预测模块（EP模块）、超点特征聚合模块（SPFA模块）和超点特征一致性损失函数的细节。最后，我们得出网络的最终训练损失。

A. 架构

如图1所示，我们的端到端超点引导的半监督分割网络由两个分支组成。一个分支的输入是已标记的点云和它们的地面真实标签，另一个分支是未标记的点云和它们的伪标签。伪标签是由我们的网络从未标记的点云中预测出来的。两个分支都包括一个超点生成模块（SPG模块）、一个基于UNet[31]的特征提取器、一个超点特征聚合模块（SPFA模块）、一个全连接层（FC）和一个边缘预测模块（EP模块）。并且它们的参数是共享的。对于无标签点云的分支，有一个伪标签优化模块（PLO模块）来优化伪标签。基于U-Net的特征提取器由四个编码器层和四个解码器层组成。编码器层是RandLA-Net[9]中的局部特征聚合层，解码器层是MLPs。

B. 超点生成模块

我们提出了一个新颖的超点生成模块，命名为SPG，以有效和高效地生成超点。场景中的各类物体的几何和颜色特征是不同的。有些类别的物体在几何形状和颜色上与周围的物体不同（如椅子和桌子）。但也有一些类别的物体只在几何上与周围的物体不同（如梁和柱），或只在颜色上与周围的物体不同（如窗和板）。一些现有的超点生成方法[5], [18], [20], [21], [29]只能对三维点云进行几何分割，忽略了颜色信息。拟议的SPG模块结合了基于几何和基于颜色的超点，由区域生长算法[30]产生，具有较低的计算复杂性。

基于几何的区域生长算法迭代地产生超点。在每次迭代中，在未分割的点中有一个曲率值最小的点被选为种子，并添加到种子集和超点中。然后，重复以下三个步骤，直到种子集中没有点为止：（1）找到种子的邻接点，测试它们的法线之间的角度，如果这些邻接点的角度小于阈值tang，则将其添加到当前超点中。(2) 如果这些邻接点的曲率小于阈值tcvt，那么这些点将被添加到种子集。(3) 当前的种子被从种子集中删除。如果场景中没有曲率小于阈值tcvt的未分割点，那么迭代的过程就终止。由于曲率阈值tcvt的存在，一些点将不会被聚类为超点。

基于颜色的区域生长算法与基于几何的算法类似。基于颜色的算法有两个主要区别。第一个是它使用颜色而不是法线。颜色阈值为tclr。第二，它使用合并算法进行分割控制。两个相邻的、平均颜色相差不大的集群被合并在一起。基于颜色的区域生长算法没有曲率阈值，所以每个点都可以被聚类。

从基于几何和基于颜色的区域生长算法中获得超点后，我们根据基于颜色的超点对每个基于几何的超点进行叠加，这可以从图2中看出。需要注意的是，由于曲率阈值tcvt的原因，几何边缘点不会被聚类为超点。最终合并的超点S l和S u可以被PLO模块、SPFA模块和超点特征一致性损失函数使用。

C. 伪标签优化模块

由于网络预测的伪标签Y u并不完全准确，而且在大多数情况下，同一超点中的点应该有相同的语义标签，所以我们利用超点来优化伪标签。我们提出了一个新颖的伪标签优化模块，命名为PLO模块，用于修改和删除低置信度的伪标签。

如图3第二行的红圈区域所示，错误的伪标签通常没有几何和颜色规则。所以我们可以通过基于几何和颜色的超点来约束伪标签。具体来说，对于一个有n个点的超点S u i（i = 1,2,...,Mu ），我们首先计算每个语义类别中包含的点的数量 nj（∑ C j=1 nj = n）。然后，我们找到包含最多点数的类别ci，这可以表述为

如果nci>tplo×n，其中tplo是一个比率参数，我们将超点S l i中的所有伪标签修改为ci，否则将删除该超点中的所有伪标签。在基于几何学的Growing Region算法[30]中，我们也会删除那些没有被聚类为超点的点的伪标签。在对无标签点云中的所有超点进行上述操作后，优化后的伪标签¯Y u = {y¯ u 1, y¯ u 2, ..., y¯ u Nu }∈R N u×C。∈R N u×C显示在图3的第二行。

D. 边缘预测模块

基于几何的区域生长算法[30]由于曲率阈值的设置，不包含边缘点。而且预测的边缘点的伪标签通常是不稳定的，这可以从图3第二行的蓝圈内的区域看出。因此，许多边缘点的伪标签在PLO模块后被删除。我们设计了一个边缘预测模块，命名为EP模块，以另一种方式来约束边缘点的特征。我们不仅考虑几何边缘点，而且还考虑颜色边缘点。几何边缘点是由未被基于几何的区域生长算法聚类的点组成。彩色边缘点是那些其相邻的点不属于同一基于颜色的超级点的点。

EP模块由两个FC层组成，将特征通道的数量减少到两个，以预测该点是几何点还是颜色边缘点。第一个功能层的激活函数是Leaky ReLU（LReLU）[32]。第二层的激活函数是Sigmoid。对于未标记的点云X u的特征，EP模块的输出为E u = {e u 1, e u 2, ..., e u Nu } ∈R N u×2，可以表述为：

其中e u i是E u的第i个元素。无标签点云P u的EP模块的标签是

，其中边缘点的值为1，否则为0。

因此，无标签点云的边缘预测损失函数Lossu edge为

其中e u i,c是e u i的第c个通道。标签点云Lossl边缘的边缘预测损失函数也是通过同样的方法得到的。

E. 平滑化超点特征

在PLO模块中，一些超点的伪标签被删除，这些超点的特征不受约束。此外，在大多数情况下，同一超点内的各点应该具有相似的语义特征。因此，我们提出了一个超点特征聚合模块，命名为SPFA模块，以及一个超点特征一致性损失函数来平滑超点特征。

我们首先介绍SPFA模块。对于无标签点云中的第i个聚类点p u i，我们在与p u i相同的超点内随机抽取K个点p u i1，p u i2，...，p u iK，以及它们的高层特征f u i1，f u i2，...，f u iK。点p u i的聚合特征g u i通过以下方式获得：

获得g l i的方式相同。

然后，我们引入超点特征一致性损失函数Lossl sp和Lossu sp，我们用方差函数作为平滑度的度量标准。对于无标签点云X u的特征，损失函数Lossu sp表述为

其中w u i是一个布尔值，表示p u i是否在一个超点内。Lossl sp也是以同样的方式得到的。

F. 训练损失

我们介绍网络的最终训练损失。对于已标记的点云，我们计算Y l和特征X l的Softmax之间的多类交叉熵损失Lossl seg如下

其中y l i,c是y l i的第c个通道。对于无标签的点云，我们计算¯Y u和特征X u之间的加权多类交叉熵损失Lossu seg如下

其中¯w u i是一个布尔值，即p u i在PLO模块后是否有一个优化的伪标签。最终的损失函数被表述为

III. 结论

对于使用大量的未标记的点云，我们提出了一个超点引导的半监督的三维点云分割网络。具体来说，我们将基于几何和基于颜色的区域生长算法[30]产生的超级点结合起来，以优化未标记的点云预测的伪标签。没有伪标签的点的特征受到超点特征聚合模块、边缘预测模块和超点特征一致性损失函数的约束。我们的方法可以学习无标签点云的判别特征，在大多数情况下，在两个具有少量标签场景的三维公共数据集上取得最佳性能。