Semi-supervised point cloud segmentation using self-training with label confidence prediction

Li等人（2021b）

基于伪标签置信度预测的半监督分割方法,额外设计判别网络（discriminator network），该网络目标是区分预测结果和真实标注，并对无标注点云的预测结果输出置信度预测，对判别网络的训练更好地促进了整个网络对无标注数据的分割与预测能力。

为了更好地利用未标记点云，所采用的对抗性架构提出了对未标记点云的标签预测的置信度判别。因此，可以挑选出可靠性较高的未标记点云上的伪标签来参与网络训练，从而进一步提高分割性能。

我们结合了自训练和 GAN 两种思想，提出了一种使用自训练和标签置信度预测的半监督点云分割。所提出的方法由两个子网络组成：分割网络和鉴别器网络。分割网络用于完成点云的分割和标记预测，而鉴别器网络用于判断预测的置信度。在训练过程中，对于标记点云，根据判别结果和期望计算对抗性损失，可用于分割网络和判别器的训练。对于未标记的点云，可以通过判别器获得点云分割预测结果的置信度评估。

因此，可以挑选出未标记点云上具有较高可靠性的伪标签来进一步训练分割网络。而在测试过程中，仅使用分割网络对点云进行分割和标记。

3.方法

为了减轻标记的负担并充分利用未标记的点云，我们提出了一种使用带有标签置信度预测的自训练的半监督点云分割。

3.1.概述

受传统半监督学习中自我训练思想的启发[11,44]，我们在半监督范式中训练点云分割网络。为了实现这一目标，整个分割网络架构由两个子网络组成：分割网络和鉴别器网络，如图2所示。分割网络用于点云的部分预测。判别器网络用于判断预测结果的可靠性，并输出点云部分预测的置信图。我们选择置信度较高的区域，将预测结果转换为伪标签，然后将伪标签作为未标记点云的标准标签。因此，带有伪标签的未标记点云也可以用于训练分割网络。需要注意的是，初始阶段网络训练还不够充分。因此，对未标记点云的预测可能存在较多误差，判别器对预测结果可信度的判断并不准确。因此，在训练的初始阶段仅使用标记的点云。随着时间的推移，训练会逐渐收敛。然后可以添加选定的具有较高置信度的未标记点云来训练网络

3.2.网络架构

为了在半监督范式中训练所提出的网络，网络结构由两个子网络组成：分割网络和鉴别器网络。

3.2.1.分割网络结构

分割网络结构可以采用任何现有的点云分割网络。为了更好地适应我们的对抗性架构并获得更好的分割性能，我们提出了受[4,5]启发的分割网络。

如图3a所示，分割网络由采样层、图卷积层、最大池化层、上采样层和一维卷积层组成。采样层和图卷积层构成特征提取模块。三组特征提取模块实现点特征的分层提取。在图卷积层中，每个采样点被视为一个中心。设置特定的半径以形成空间球体。因此球体内的所有点都被视为中心的邻域点。基于图卷积运算，通过聚合邻域点的加权特征来更新中心点的特征。如图3b所示，我们以采样点为中心点，设置特定的半径，形成球体邻域范围。

然后是无向图G(V, E)是根据中心点及其在球体邻域范围内的空间邻居构建的。其中 V = (xi, x1, x2, ..., xN) 表示球体邻域中的顶点集。而E=|V|x|V|表示G中的边，它是由中心点与其每个邻居点分别连接而成的。基于图卷积运算的中心点特征更新可以定义为：

其中，r是非线性激活函数，权重参数αij考虑两点之间的空间位置距离和法向距离。一般来说，邻域点距离中心点越近，其法线与中心点的法线越一致，它们的属性就越接近。

因此，αij的加入可以提供更可靠的上下文信息。最大池化层用于将提取的点的高级特征转换为点云的全局特征。另外，在手动分割和标注形状部分的过程中，形状类别作为先验知识，在此过程中起到了指导作用。受此启发，我们引入形状的全局信息来指导形状整体的语义或功能分析。本文的具体做法是，将编码器最后一层的全局特征与整个形状的类别标签相结合作为全局约束，并与每个点计算出的高层特征进行级联，形成最终的形状分割网络中的点特征。由于点云分割的任务需要预测每个点的部分标签，因此上采样和图卷积层构成了特征传播模块。上采样层通过插值来传播点特征。另外还增加了skip-connection来补充一些细节信息。点云中每个点的最终特征由三组特征传播模块获得。最后利用两个一维卷积层对每个点进行分类，即可得到点云的分割预测结果。

3.2.2.判别器网络结构

判别器网络用于判断分割预测结果的置信度。受DCGAN[49]的启发，鉴别器网络由五个一维卷积层组成，通道数分别为[1]。每个卷积层后面都有 Leaky ReLu 激活函数 [50]。判别器网络的输入由两部分组成，一部分是具有真实值的点云，另一部分是来自分割网络输出的具有部分预测概率的点云。此外，还添加了整个形状的类别标签和预测标签图作为判别器网络的输入，这使得整个网络结构构成条件对抗网络。需要注意的是，为了匹配分割网络的输出，点云标注的groundtruth需要在输入网络之前进行one-hot编码。判别器的训练旨在更好地区分真实情况和分割预测。因此，分割预测的置信度可以通过以预测结果为输入的判别器网络的输出来体现。

3.3.网络训练

网络训练包括训练分割网络和训练判别器网络。训练数据包括标记点云和未标记点云。在训练的初始阶段，首先使用标记点云训练分割网络和鉴别器网络。然后，随着时间的推移，逐渐添加未标记的点云以进一步训练分割网络。

给定 N 个标记点云 xn 及其地面真实标签 yn 和 M 个未标记点云 xm 的训练集，分割网络的优化目标是最小化 LS

其中

是地面实况 yn 和分割预测之间标记点云的标准交叉熵损失。 S（.）表示分割网络的输出。 c 是形状类别标签。

是鉴别器网络提供的对抗性损失。 D（.）表示判别网络的输出。 kadv 是 Ladv 的权重参数，实际中设置为 0.06。 Luce 是未标记点云提供的自训练损失。特别地，我们选择具有较高置信度的分割预测结果作为未标记点云的伪标准标签。然后可以通过选择的伪标签和分割预测来计算Luce。

在方程式 3中，T是突出可信区域的阈值。 I（.） 是指示函数。 y^n 是未标记点云的伪标签。

与[12]类似，k(t) 的设置缓慢增加，以避免较差的局部最小值。

其中 αf 设置为 0.03，T1 和 T2 分别是epoch 100 和epoch 200。

判别器网络的训练是优化LD

同上，xn 表示标记点云，yn 表示其对应的地面实况。 S（.）和 D（.）分别是分割网络和鉴别器网络的输出。 Rn是判别器网络的期望。当判别器网络的输入为分割预测时，Rn=0；而当输入是点云的groundtruth时，Rn=1。

4.实验

4.1。数据集和指标

本文提出的方法在公共基准上进行评估：ShapeNet 零件数据集 [51]。该数据集包含 16 类物体，总共 16,881 个形状。每个形状被标记为大约 2 到 6 个部分，数据集中总共有 50 个部分。为了便于不同方法之间的公平比较，PointNet [3] 将数据集划分为训练集 validaFig。 3.分割网络及其图卷积层的结构。