分割|语义相关(7篇)
【1】 ROSS: Radar Off-road Semantic Segmentation
标题：Ross：雷达越野语义切分
https://arxiv.org/abs/2310.13551随着对越野环境中自主导航需求的增加，对了解这些环境的有效解决方案的需求变得至关重要。在这项研究中，我们面对的语义分割在雷达数据越野场景的固有复杂性。我们提出了一种新的管道，利用激光雷达数据和现有的注释越野激光雷达数据集生成雷达标签，其中雷达数据表示为图像。经过真实世界数据集的验证，我们务实的方法强调了雷达技术在越野环境中导航应用的潜力。
【2】 Technical Report for ICCV 2023 Visual Continual Learning Challenge: Continuous Test-time Adaptation for Semantic Segmentation
标题：ICCV 2023视觉持续学习挑战赛技术报告：用于语义分割的连续测试时间适应
https://arxiv.org/abs/2310.13533挑战的目标是开发一种测试时间自适应（TTA）方法，该方法可以使模型适应视频序列中逐渐变化的域，以执行语义分割任务。它是基于一个合成的驾驶视频数据集--ESTA。源模型是在晴朗天气的白天拍摄的图像上训练的。测试时的域变化主要是由不同的天气条件和时间引起的。TTA方法在每个图像序列（视频）中单独评估，这意味着模型在下一个序列之前重置为源模型状态。图像一个接一个地出现，并且必须在每帧到达时进行预测。每个序列由401幅图像组成，从源域开始，然后逐渐漂移到不同的域（改变天气或时间），直到序列的中间。在序列的后半部分，域逐渐移回源域。地面实况数据仅可用于验证分割的数据集，其中只有六个序列以源域开始和结束。我们专门对这些序列进行分析。地面真实数据的测试分裂，开发的TTA方法进行评估的领导板排名，没有公开。 提出的解决方案在一项挑战中获得第三名，并获得了创新奖。与得分更高的解决方案相反，我们没有使用任何外部预训练模型或专门的数据增强，以使解决方案尽可能通用。我们专注于分析分布的变化，并开发一种方法，可以适应不断变化的数据动态，并在不同的场景中推广。
【3】 Segment, Select, Correct: A Framework for Weakly-Supervised Referring Segmentation
标题：分词、选择、更正：一个弱监督指代分词框架
https://arxiv.org/abs/2310.13479参考图像分割（RIS）-通过自然语言句子识别图像中的对象的问题-是一项具有挑战性的任务，目前主要通过监督学习来解决。然而，虽然收集引用的注释掩码是一个耗时的过程，但与全监督学习方法相比，现有的几种弱监督和zero-shot方法在性能上明显不足。为了弥补没有掩码注释的性能差距，我们提出了一种新的弱监督框架，通过将其分解为三个步骤来解决RIS：获得引用指令（段）中提到的对象的实例掩码，使用zero-shot学习来为给定指令选择潜在正确的掩码（选择），以及自举允许修复zero-shot选择的错误的模型（正确）。在我们的实验中，仅使用前两个步骤（zero-shot segment和select）的性能比其他zero-shot基线高出19%，而我们的完整方法在这个更强的基线上进行了改进，并为弱监督RIS设置了新的最先进技术，在某些情况下将弱监督和全监督方法之间的差距从大约33%缩小到14%。代码可在https://github.com/fgirbal/segment-select-correct上获得。
【4】 FLAIR: a Country-Scale Land Cover Semantic Segmentation Dataset From Multi-Source Optical Imagery
标题：FLAIR：一个国家尺度的多源光学影像土地覆盖语义分割数据集
https://arxiv.org/abs/2310.13336我们从Aerospace ImageRy（FLAIR）中介绍了法国的土地覆盖，这是法国国家地理和森林信息研究所（IGN）的一个广泛的数据集，为大规模地理空间分析提供了独特而丰富的资源。FLAIR包含高分辨率航空图像，地面采样距离为20厘米，有200多亿个单独标记的像素，可用于精确的土地覆盖分类。该数据集还集成了来自光学卫星时间序列的时间和光谱数据。因此，FLAIR结合了不同的空间，光谱和时间分辨率的数据在超过817平方公里的收购代表法国的全部景观多样性。这种多样性使得FLAIR成为开发和评估大规模土地覆盖语义分割新方法的宝贵资源，并在计算机视觉，数据融合和地理空间分析方面提出了重大挑战。我们还提供了强大的单传感器和多传感器基线模型，可用于评估算法的性能和下游应用。通过其注释的范围和质量，FLAIR旨在促进监测和理解关键的人为发展指标，如城市增长，森林砍伐和土壤人工化。数据集和代码可访问https://ignf.github.io/FLAIR/
【5】 Weakly-Supervised Semantic Segmentation with Image-Level Labels: from Traditional Models to Foundation Models
标题：基于图像级标签的弱监督语义分割：从传统模型到基础模型
https://arxiv.org/abs/2310.13026深度学习的快速发展推动了图像语义分割领域的重大进展-这是计算机视觉的一项基本任务。语义分割算法通常依赖于像素级标签的可用性（即，对象的掩模），这是昂贵的、耗时的和劳动密集的。弱监督语义分割（WSSS）是一种有效的解决方案，以避免这种标签。它只利用部分或不完整的注释，并提供了一个具有成本效益的替代完全监督的语义分割。在本文中，我们专注于WSSS与图像级标签，这是最具挑战性的形式的WSSS。我们的工作有两部分。首先，我们对传统方法进行了全面的调查，主要关注那些在顶级研究会议上提出的方法。我们根据他们的方法操作的位置将他们分为四组：逐像素、逐图像、跨图像和外部数据。其次，我们调查的视觉基础模型，如段的任何模型（SAM），在WSSS的上下文中的适用性。我们在两个有趣的场景中仔细研究SAM：文本提示和zero-shot学习。我们提供了深入了解与部署可视化基础模型的WSSS，促进在这个令人兴奋的研究领域的未来发展的潜力和挑战。
【6】 Comprehensive Multimodal Segmentation in Medical Imaging: Combining YOLOv8 with SAM and HQ-SAM Models
标题：医学影像综合多模式分割：YOLOv8与SAM和HQ-SAM模型的结合
https://arxiv.org/abs/2310.12995本文介绍了一种综合的方法分割感兴趣的区域（ROI）在不同的医学成像数据集，包括超声，CT扫描，X射线图像。所提出的方法利用YOLOv 8模型的能力进行跨模态的近似边界框检测，以及Segment Anything Model（SAM）和High Quality（HQ）SAM进行全自动和精确的分割。为了生成边界框，使用来自每种模态的100个图像和掩模的有限集合来训练YOLOv 8模型。从我们的方法得到的结果进行了广泛的计算和分析，证明其有效性和潜力，在医学图像分析。各种评估指标，包括精度，召回率，F1分数，和骰子分数，被用来量化的分割结果的准确性。进行比较分析以评估YOLOv 8、YOLOv 8 +SAM和YOLOv 8 +HQ-SAM模型的单独和组合性能。实验结果表明，SAM模型的分割精度和整体性能均优于其他两种模型。虽然HQ-SAM提供了潜在的优势，其增量增益超过标准SAM模型可能无法证明额外的计算成本。YOLOv 8 +SAM模型显示出增强医学图像分割及其临床意义的前景。
【7】 Progressive Dual Priori Network for Generalized Breast Tumor Segmentation
标题：基于递进双先验网络的广义乳腺肿瘤分割
https://arxiv.org/abs/2310.13574为了提高乳腺肿瘤分割模型的泛化能力，以及提高对小尺寸、低对比度、形状不规则的乳腺肿瘤的分割性能，提出一种基于渐进式双先验网络（PDPNet）的乳腺肿瘤分割方法。PDPNet首先使用基于粗分割的定位模块裁剪肿瘤区域，然后通过使用弱语义先验和跨尺度相关先验知识逐步细化乳腺肿瘤掩模。为了验证PDPNet的有效性，我们将其与多中心数据集上的几种最先进的方法进行了比较。结果表明，与次优方法相比，PDPNet的DSC、SEN、KAPPA和HD 95分别提高了3.63%、8.19%、5.52%和3.66%。此外，通过消融实验，我们证明了所提出的定位模块可以减少正常组织的影响，从而提高模型的泛化能力。弱语义先验允许聚焦于肿瘤区域以避免错过小肿瘤和低对比度肿瘤。跨尺度相关先验有利于提高对不规则肿瘤的形状感知能力。因此，将它们集成在统一的框架中改善了多中心乳腺肿瘤分割性能。