acjkVgjDeGbH
PointTransformerV2:GroupedVectorAttentionandPartition-basedPooling NeurIPS2022 Paperlink: https://proceedings.neurips.cc/paper_files/paper/2022/file/d78ece6613953f46501b958b7bb4582f-Paper-Conference.pdf Codelink: https://github.com/Gofinge/PointTransformerV2 摘要： 作为探索3D点云理解的Transforme...
LeveragingLarge-ScalePretrainedVisionFoundationModelsforLabel-Efficient3DPointCloudSegmentation 利用大规模预训练视觉基础模型进行标签高效的3D点云分割 Paperlink: https://arxiv.org/pdf/2311.01989.pdf 摘要：最近，分段任意模型（SAM）和对比语言图像预训练（CLIP）等大规模预训练模型取得了显着的成功，彻底改变了计算机视觉领域。这些基础视觉模型利用其庞大的模型参数，有效地从大规模广泛的数据中捕获知识，使它们能够对以前未见过的数据执行...
PointConv DeepConvolutionalNetworkson3DPointClouds 摘要 与以规则密集网格表示的图像不同，3D点云是不规则和无序的，因此对其应用卷积是很困难的。在本文中，我们将动态滤波器扩展为一种新的卷积运算，命名为PointConv。PointConv可以应用在点云上构建深度卷积网络。我们将卷积核视为三维点局部坐标的非线性函数，由权函数和密度函数组成。对于给定的点，通过多层感知器网络学习权重函数，通过核密度估计学习密度函数。这项工作最重要的贡献是提出了一种用于有效计算权重函数的新的重新表述，这使我们能够极大地扩大网络并显著提高其性能。该卷积核可用于...
PointCloudTransformer 摘要 不规则的领域和缺乏排序使得设计用于点云处理的深度神经网络具有挑战性。本文提出了一个名为PointCloudTransformer(PCT)的新型框架，用于点云学习。PCT以Transformer为基础，Transformer在自然语言处理中取得了巨大的成功，并在图像处理中显示出巨大的潜力。它在处理一连串的点时具有固有的互换不变性，使其非常适合于点云学习。为了更好地捕捉点云中的局部环境，我们在最远点采样和最近邻搜索的支持下加强了输入嵌入。广泛的实验表明，PCT在形状分类、部分分割和正常估计任务上达到了最先进的性能。 1.简介 从点云中直接提取语义...
InterpretableEdgeEnhancementandSuppression Learningfor3DPointCloudSegmentation 用于三维点云分割的可解释边缘增强和抑制学习 摘要 3D点云可以灵活地表示连续的表面，并可用于各种应用；然而，结构信息的缺乏使得点云识别具有挑战性。最近的边缘感知方法主要使用边缘信息作为描述局部结构的额外特征，以促进学习。尽管这些方法表明将边缘纳入网络设计是有益的，但它们普遍缺乏可解释性，使用户不知道边缘到底有什么帮助。为了阐明这个问题，在本研究中，我们提出了扩散单元（DU），它以一种可解释的方式处理边缘，同时提供体面的改进。我们...
HybridCR:Weakly-Supervised3DPointCloudSemanticSegmentationvia HybridContrastiveRegularization HybridCR：通过混合对比正则化进行弱监督的三维点云语义分割 摘要 为了解决大规模点云语义分割中巨大的标签成本，我们提出了一个新的混合对比正则化（HybridCR）框架，在弱监督环境下，与完全监督的同行相比，它获得了有竞争力的性能。具体来说，HybridCR是第一个以端到端方式利用点一致性和采用对比性正则化的框架。从根本上说，HybridCR明确而有效地考虑了局部邻接点和三维类的全球特征之间的语...
AdaptiveHierarchicalDown-SamplingforPointCloudClassification 用于点云分类的自适应分层下采样法 摘要 深度神经网络中无序点云的确定性下采样到目前为止还没有得到严格的研究。现有的方法对点进行下采样，而不考虑它们对网络输出的重要性，并且经常在处理前对原始点云进行下采样。结果，点云中的一些重要的点可能被删除，而价值较低的点可能被传递到下一层。相比之下，所提出的自适应下采样方法通过考虑每个点的重要性来对点进行采样，而每个点的重要性因应用、任务和训练数据而异。在本文中，我们提出了一种新型的确定性、自适应、互变性下采样层，称为关键点层（CPL），...
ACONDITIONALPOINTDIFFUSION-REFINEMENT PARADIGMFOR3DPOINTCLOUDCOMPLETION 用于三维点云完成的条件性点扩散-精炼范式 摘要 三维点云是捕捉现实世界三维物体的重要三维表示。然而，真实扫描的三维点云往往是不完整的，为下游应用恢复完整的点云非常重要。大多数现有的点云完成方法使用ChamferDistance（CD）损失进行训练。CD损失通过搜索最近的邻居来估计两个点云之间的对应关系，这没有捕捉到生成形状上的整体点密度分布，因此很可能导致非均匀的点云生成。为了解决这个问题，我们提出了一种新的点扩散-精炼（PDR）范式来完成点...
SemAffiNet:Semantic-AffineTransformationforPointCloudSegmentation SemAffiNet:用于点云分割的语义-Affine转换 摘要 传统的点云语义分割方法通常采用编码器-解码器结构，其中中间层特征被局部聚合以提取几何信息。然而，过度依赖这些分类的局部几何表征，可能会在外观相似或空间相邻的不同类别的局部之间产生混淆。为了解决这个问题，我们认为中层特征可以用语义信息进一步增强，并提出了语义模糊转换，用特定于类别的仿射参数来转换属于不同类别的中层点的特征。基于这种技术，我们提出了用于点云语义分割的SemAffiNet，它利用Trans...
LearningSemanticSegmentationofLarge-Scale PointCloudsWithRandomSampling 用随机抽样法学习大规模点云的语义分割 摘要 我们研究了大规模三维点云的有效语义分割问题。由于依赖昂贵的采样技术或计算量大的前/后处理步骤，大多数现有的方法只能在小规模的点云上进行训练和操作。在本文中，我们介绍了RandLA-Net，这是一个高效和轻量级的神经结构，可以直接推断出大规模点云的语义。我们的方法的关键是使用随机点采样，而不是更复杂的点选择方法。尽管计算和内存效率非常高，但随机抽样可能会偶然丢弃关键特征。为了克服这个问题，我们引入了一...
GEOMETRICDUAL-DOMAINGRAPHCONVOLUTIONNETWORKFORPOINTCLOUDDENOISING 用于点云去噪的几何双域图卷积网络 摘要 我们提出了GeoGCN，一种用于点云去噪（PCD）的新型几何双域图卷积网络。在传统的PCD智慧之外，为了充分利用点云的几何信息，我们定义了两种表面法线，一种叫做真实法线（RN），另一种叫做虚拟法线（VN）。RN保留了噪声点云的局部细节，而VN避免了去噪过程中的全局形状收缩。GeoGCN是一种新的PCD范式，1）首先在VN的帮助下通过基于空间的GCN回归点的位置，2）然后通过对回归点进行主成分分析来估计初始RN，3）最后通过基...
PrototypicalNetworksforFew-shotLearning 摘要 我们提出了原型网络，用于解决少样本分类问题，在这种情况下，分类器必须对训练集中未见的新类进行归纳，而每个新类只有少量的例子。原型网络学习一个度量空间，在这个空间中，可以通过计算与每个类别的原型表示的距离来进行分类。与最近的少样本学习方法相比，它们反映了一种更简单的归纳偏见，在这种有限的数据制度中是有益的，并取得了很好的效果。我们提供了一个分析，表明一些简单的设计决定可以比最近涉及复杂的结构选择和元学习的方法产生实质性的改进。我们进一步将原型网络扩展到零样本学习，并在CU-Birds数据集上取得了最先进的结果。...
Semi-supervisedpointcloudsegmentationusingself-trainingwithlabelconfidenceprediction Li等人（2021b） 基于伪标签置信度预测的半监督分割方法,额外设计判别网络（discriminatornetwork），该网络目标是区分预测结果和真实标注，并对无标注点云的预测结果输出置信度预测，对判别网络的训练更好地促进了整个网络对无标注数据的分割与预测能力。 为了更好地利用未标记点云，所采用的对抗性架构提出了对未标记点云的标签预测的置信度判别。因此，可以挑选出可靠性较高的未标记点云上的伪标签来参与网络训练，从而进一步提...
3D-LLM:Injectingthe3DWorldintoLargeLanguageModels 3D-LLM：将3D世界注入大型语言模型 摘要 大语言模型(LLM)和视觉语言模型(VLM)已被证明在多项任务上表现出色，例如常识推理。尽管这些模型非常强大，但它们并不以3D物理世界为基础，而3D物理世界涉及更丰富的概念，例如空间关系、可供性、物理、布局等。在这项工作中，我们建议将3D世界注入大型语言模型中，并引入全新的3D-LLM系列。具体来说，3D-LLM可以将3D点云及其特征作为输入，并执行一系列与3D相关的任务，包括字幕、密集字幕、3D问答、任务分解、3D基础、3D辅助对话、导航和很快。...
LocalandGlobalStructureforUrbanALSPoint CloudSemanticSegmentationWith Ground-AwareAttention 利用地面感知注意力对城市ALS点云进行局部和全局结构的语义分割 摘要 机载激光扫描（ALS）点云的解释在地理信息生产中起着显著的作用。作为解释的关键步骤，准确的语义分割可以大大拓宽ALS数据的各种应用。然而，由于遮挡、不同的点密度以及复杂和不完整的物体结构，大多数现有的方法不能提供精确的注释和高稳健性。因此，我们开发了一个专注于ALS点云的语义分割框架。该框架包括来自本地邻域的上下文特征提取、...
WhatMakesforEffectiveFew-shotPointCloudClassification? 怎样才能实现有效的小样本点云分类？ 摘要 由于强大的计算资源和大规模注释数据集的出现，深度学习在我们的日常生活中得到了广泛的应用。然而，目前的大多数方法在处理从未见过的新类时需要大量的数据收集和再训练。另一方面，我们人类可以通过观察少数样本快速识别新的类别，这也是最近机器学习社区中流行的小样本学习（FSL）的动机。目前大多数FSL方法都是在二维图像领域工作的，然而，它在三维感知中的意义相对来说还没有被充分发掘。不仅需要像二维领域那样识别未见过的例子，三维小样本学习还具有无序结构、高类内...
StratifiedTransformerfor3DPointCloudSegmentation 用于三维点云分割的分层变换器 摘要 近年来，三维点云的分割取得了巨大的进展。目前大多数的方法都集中在局部特征的聚合上，但却不能直接模拟长距离的依赖关系。在本文中，我们提出了能够捕捉长距离背景的分层变换器，并展示了强大的泛化能力和高性能。具体来说，我们首先提出了一个新颖的关键采样策略。对于每个查询点，我们以分层的方式对附近的点进行密集抽样，对远处的点进行稀疏抽样，作为其键值，这使得模型能够扩大有效感受野，并以较低的计算成本享受远距离语境。同时，为了应对不规则点排列带来的挑战，我们提出了第一层的点嵌入...
SceneEncoder:Scene-AwareSemanticSegmentationofPointClouds withALearnableSceneDescriptor SceneEncoder:用可学习的场景描述符对点云进行场景感知的语义分割 摘要 除了局部特征，全局信息在语义分割中起着至关重要的作用，而最近的工作通常不能明确地提取有意义的全局信息并充分利用它。在本文中，我们提出了一个SceneEncoder模块，以施加一个场景感知的指导来增强全局信息的效果。该模块预测了一个场景描述符，该描述符学会了表示场景中存在的物体类别，并通过过滤掉不属于这个场景的类别直接指导点级语义分...
Low-ShotPartSegmentationfor3DPointCloudsviaPretrained Image-LanguageModels 通过预先训练的图像语言模型对三维点云进行小样本部件分割 图1.我们提出了PartSLIP，这是一种利用预训练的图像语言模型进行三维点云部件分割的零样本/小样本方法。图中显示了文本提示和相应的语义分割结果（放大查看细节）。我们的方法还支持部件级的实例分割。更多结果见图5和图7。 摘要 在视觉和机器人领域，可通用的三维零件分割非常重要，但也具有挑战性。通过传统的监督方法来训练深度模型需要大规模的三维数据集，其中包括细粒度的部分注释，而这些...
SASA:Semantics-AugmentedSetAbstractionforPoint-based3DObjectDetection SASA:基于点的三维物体检测的语义增强集合抽取 摘要 尽管基于点的网络在三维点云建模中被证明是准确的，但它们在三维检测中仍然落后于其基于体素的竞争对手。我们观察到，目前流行的对点进行下采样的集合抽取设计可能会保留太多不重要的背景信息，从而影响检测物体的特征学习。为了解决这个问题，我们提出了一种新的集合抽取方法，即语义增强的集合抽取（SASA）。从技术上讲，我们首先增加了一个二进制分割模块作为侧面输出，帮助识别前景点。基于估计的点的前景分数，我...