二【3D点云】分割算法总结( 二 ) _云数据

文章插图
其中，si 和s ^ \hat{s} s^i 分别是点 pi 的语义概率预测值以及语义类别标签的真实值。Lce 是传统的交叉熵损失函数，由于城市场景中的数据广泛存在长尾分布问题，为了这种缓解类别不平衡的情况，本文采用了加权交叉熵损失形式，这使得分割网络模型对于场景中数量较少的类别关注度更高。此外，Ldice 是广泛应用于医学图像分割的dice损失函数，衡量了预测样本和真实样本之间的相似度。本文通过引进该损失函数用于解决城市场景中正负样本强烈不平衡的情况，提高建筑物的语义分割精度。
中心偏移分支
为了方便后续建筑物合并的操作，在点云特征提取阶段后，设计了一个子网络用于预测每个点到其建筑物中心的偏移向量。本文使用了由两层线性层构成的感知机学习每个点的中心偏移特征，然后使用一层线性层预测每个点在三维空间中的中心偏移向量 O∈RN*3。该向量指示了每个点到其对应建筑物实例中心的距离和方向，经过中心偏移后每个点会朝着其建筑物实例中心的位置进行靠近。为了达到这个目的，本文使用以下的中心偏移损失函数进行约束：
其中，oi 和o ^ \hat{o} o^i 分别是点 pi 的建筑物中心偏移向量的预测值和真实值，ci 是点 pi 对应的建筑物中心。损失函数限制了预测的中心偏移向量和中心偏移向量真实值之间的距离差异尽可能小。此外本文使用损失函数限制了预测的中心偏移向量与中心偏移向量真实值两者之间的夹角尽可能小。借助这两个损失函数的约束，中心偏移分支可以准确地输出每个点的中心偏移向量。
实例感知分支
为了获得更准确的建筑物实例分割结果，本文从建筑物实例特征嵌入的角度考虑并构建了一个实例感知子网络。本文假设可以通过神经网络将每个点的特征映射到一个新的嵌入特征空间。在这个空间里，不同的建筑物点之间的特征距离尽可能大而相同建筑物点之间的特征距离尽可能小。为了达到这个目的，本文使用了一个由三层线性层构成的感知机学习每个点的建筑物实例感知特征 E∈RN*D，其中第三层线性层的输入拼接了来自中心偏移分支的特征，使得学习得到的实例感知特征包含实例中心位置信息。为了更好学习实例感知特征，本文使用了一个判别式损失函数进行监督训练：
候选生成模块
在点云特征学习以及三个子任务分支之后，为了得到建筑物的实例预测，本文提出了一种建筑物实例候选生成模块，该模块包括了建筑物实例候选选取、建筑物分组、建筑物合并三个部分。
a. 筑物实例中心实例候选选取部分基于语义分割分支的预测结果将输入点云划分前景点（建筑物点）和背景点（非建筑物点）。对于前景点，本文选择简单的点云采样方法算法采样K个点作为建筑物实例候选点。为了使得采样得到的建筑物实例候选点能够均匀地覆盖每个建筑物实例表面上，本文选择FPS进行采样；
b. 由于每个建筑物实例候选点代表的是一个完整的建筑物实例，因此对于剩下的建筑物前景点本文需要对它们进行分组操作，即把每个建筑物前景点划分到对应的建筑物实例候选点，从而产生初始的建筑物实例候选预测。本文根据建筑物实例候选点直接为每个建筑物前景点分配一个唯一的建筑物实例预测标签，基于K 个建筑物实例候选点以及 N’ 个建筑物前景点构造了一个关系矩阵 R∈RK*N‘
。在关系矩阵 R 中，每个元素是由建筑物前景点 pi 与建筑物实例候选点 pj 两者之间的建筑物实例感知特征的特征距离计算得到，代表着这两个点属于同一个建筑物的关系相似性。在特征学习阶段，实例感知分支为每个点学习了其对应建筑物的实例感知特征，该特征具有在同一个建筑物内的特征距离较小，在不同建筑物之间的特征距离较大的特点，因此可选择具有最小特征距离的建筑物候选点 pi 的矩阵列索引 i 作为第个建筑物前景点的建筑物实例预测标签；

二 【3D点云】分割算法总结( 二 )

二【3D点云】分割算法总结( 二 )