二【3D点云】分割算法总结 _云数据

文章目录
提示：本文衔接上一篇文章【3D点云】分割算法总结（一）
十一、-城市场景数据集；B-Seg实例分割（ 2023）
作者：VCC杨国庆博士（深圳大学可视计算研究中心黄惠教授课题组与香港中文大学傅志荣教授合作完成）
论文：: a Large-scalefor Fine- Urban
期刊：国际计算机图形学顶级会议 2023
项目主页：
该工作构建了一个大规模城市场景理解基准测试数据集，提供包括图像、点云以及网格模型（三角网格）在内的海量多模态数据和三维语义标注与建筑物实例标注，可广泛应用于语义分割、实例分割、点云重建、布局规划等多项城市理解任务，为智慧城市前沿技术建设提供重要支撑。同时提供一个面向城市场景点云建筑物实例分割的轻量化模型B-Seg，采用端到端的学习结构，提高处理效率的同时提升模型针对不同城市场景的泛化性能。
0.摘要
用于建筑物实例分割的大规模真实城市场景数据集，共包含6个真实场景，总面积高达10.78 km2，包含3370栋建筑，不仅提供城市场景的常见语义信息以及建筑物单体实例信息，同时提供细粒度的建筑物语义标注信息。是目前唯一一个可用于点云实例分割的大规模的3D真实城市场景数据集。
1. 数据集特点
1.场景面积大：共提供6个城市场景，总面积达到10.76 km2，这也是目前最大的三维真实场景数据；
2.多模态的数据：点云数据，图像以及三角网格数据，类型多样；
3.实例标注数据：语义信息、建筑物实例进行了提取与标注，并且进一步围绕建筑物使用功能提供了细粒度的标签；
4.针对实例分割的基准测试：基于对一些算法在其上的性能表现进行了测试，为新算法设计提供了新的评估基准，建立了首个城市场景实例分割的测试基准。
下表为多种城市场景数据集，UrbanBIS拥有目前最大的面积以及最为丰富的数据类型，并支持多项任务的训练与验证。
1. 7种语义类别：是基于无人机倾斜摄影技术获取图像作为原始数据并基于此采用处理软件进行重建得到的三维模型。重建得到的模型进行了人工标注，确定7种城市场景中常见的语义类别，具体包括地面、水面、船只、植被、桥梁、车辆以及建筑物，如下图所示：

文章插图
各类别的统计：
【二【3D点云】分割算法总结】2.建筑实例划分：除了语义信息，同样对建筑物实例进行了划分：考虑到建筑物的类内差异过大的实际情况，进一步按照使用功能对建筑物进行划分为商业建筑、居住建筑、办公建筑、文化建筑、交通建筑、市政建筑以及临时建筑，各个建筑物示意如下图所示：
3. 多种标注类型：提供了多源数据和丰富的标注信息，可以用于多项视觉与图形学相关任务中，例如：
2.B-Seg实例分割算法
B-Seg的主要流程包含三步：
（1）特征提取：骨干网络提取点云特征，学习到的点云特征将用于后续的三个子任务分支；
（2）生成候选：建筑物候选生成模块，生成实例候选（包括建筑物候选选择、分组以及合并三个子模块）；
（3）实例打分：预测建筑物实例的得分，该模块预测的 score 用于评估建筑物实例的预测质量，同时滤除错误的预测。
下图所示为B-Seg的特征提取网络和三个分支，其中特征提取网络采用3D UNet，而分支采用全连接网络：
语义分割分支
为了获取建筑物实例，本文需要对输入的点云进行前后景分离，得到只包含建筑物类别的前景点
Pb 。具体地，本文使用了由三层线性层构成的感知机和一个函数作为输出层构造语义分割分支子网络，用来学习每个点的语义特征信息，并输出语义类别预测的概率分布S∈RN*C ,其中 C 是类别总数。本文选择最大预测概率的类别作为每个点的语义预测结果。这个过程由语义损失函数进行监督学习：

二 【3D点云】分割算法总结

二【3D点云】分割算法总结