Boundary IoU:图像分割新型指标( 三 )


Boundary IoU:图像分割新型指标

文章插图
此外 , 对于较小的对象 ,  IoU十分接近甚至等价于Mask IoU , 这主要取决于参数d 。
Mask IoU vsIoU:敏感性分析
本文对比了Mask IoU和 IoU在面积大于 9 6 2 96^2 962的物体的不同误差类型下的表现:
对于每种误差类型 ,  IoU都能更好的利用0-1的范围
使用的固定的误差严重程度 , 对大小不同的对象使用伪预测 , 以 1 6 2 16^2 162为增量划分区域 , 二者表现如下:
可以看到:
IoU vsIoU
二者具有一定的相似性 ,  IoU将Pred和GT边缘上的像素都考虑了进来 , 这个简单的改进改变了 IoU两点不足 , 一是不对称 , 二见4.2 。
IoU vs F-
F-对轮廓之间使用了硬预测——如果轮廓之间的像素在距离d内那么和都是完美的 , 然而当它们都位于d之外 , 则不会发生任何匹配(见4.3  , 其值会很快的降为0) 。
而 IoU使用一种软分割 , 变化平缓 。
在附录中将会进行详细分析 。
像素距离参数d
上文提过 , 当d足够大时 ,  IoU等价于Mask IoU , 当d过小 ,  IoU则会出现严重惩罚的情况 。
为了选择合适的参数d , 本文在COCO和两个数据集(它们拥有相似的分辨率)上进行实验 , 发现当d为图像**对角线的2%(大约为15个像素)**时 , 两数据集的 IoU的中位数超过0.9 。
对于中更大分辨率的图像 , 作者也建议使用相同的像素距离(15个左右) , 设置d为对角线的0.5%
对于其他数据集 , 作者建议考虑两个因素(没看懂:
将注释一致性将下界设为dD应根据当前方法的性能选择 , 并随着性能的提高而降低 。IoU的局限
IoU不评估距离轮廓超过d的像素 , 例如一个圆形Mask和一个环形Mask:
显然 , 其 Iou值极高为1
为了惩罚这种情况 , 作者建议组合 IoU和Mask IoU , 并取他们的最小值 。
此外 , 在实验中还发现 , 99.9%的情况 IoU都是小于等于Mask IoU的 , 极少数情况如上图会出现 IoU大于Mask IoU 。
应用
如上文所说 , 作者将两种IoU组合 , 取其最小 。
AP for
实例分割任务的目标是用像素级掩码描绘每个对象 , 其评估指标是同时评估多个方面 , 如分类、定位和分割质量 。
本文通过(  ,  , 综合的;合成的 , 人造的 , 结合上下文个人感觉应该取“人造”之意) 合成预测与真实模型来进行实验 。
合成预测
综合预测允许我们单独的评估分割质量 。
真实预测
利用现有的分割模型得到的真实预测进一步实验 , 可以进一步了解 IoU在实例分割任务各个方面的表现 。
PQ
下图为标准PQ的公式
Boundary IoU:图像分割新型指标

文章插图
将其中的Mask IoU替换为Mask IoU与 IoU的组合 , 取其最小值 。
合成预测
Boundary IoU:图像分割新型指标

文章插图
真实预测
总结
? 不同于Mask IoU ,  IoU提供了一个明确的 , 定量的梯度 , 奖励改善边界分割质量 。作者希望 IoU可以鼓励更多人开发高保真Mask预测新方法 。此外 ,  IoU允许对复杂的任务(如实例和全景分割)的分割相关错误进行更细粒度的分析 。在性能分析工具(如TIDE[2])中结合度量可以更好地洞察实例分段模型的特定错误类型 。(直接翻译的)