图像分割概念介绍

在计算机视觉中,术语“图像分割”或简单的“分割”是指根据某些标准将图像划分为像素组 。分割算法以图像为输入,输出一组区域(或段),这些区域(或段)可以表示为
1、如图1所示的轮廓集合 。
2、一种掩码(灰度或颜色),其中每个部分被分配一个唯一的灰度值或颜色来识别它 。一个例子如图2所示 。
图像分割的问题已经被多种不同的方式处理 。有时,它被认为是一个图分割问题 。有时,它被认为是变化框架中的能量最小化问题,而在其他时候,它被表述为偏微分方程的解 。如果最后几行对你来说就像是天书,别担心 。这是这篇文章中唯一几行听起来是这样的! 在这篇文章中,我们将不会进入具体的技术 。我们将重点讨论图像分割中的几个基本定义,这些定义对初学者来说可能有点混乱 。
【图像分割概念介绍】什么是超像素?
当我们根据颜色、纹理或其他低层次原语对像素进行分组时,我们称这些感知群为超像素-Ren和Malik(2003)推广了这一术语 。
图1

图像分割概念介绍

文章插图
超像素算法的输出使用图1中的动画显示 。注意,分割算法只是将颜色和纹理相似的像素分组 。它不是试图将同一对象的部分组合在一起 。
什么是语义分割?
在语义分割中,要做的是对图像中的每个像素分配一个标签(汽车、建筑物、人、道路、人行道、天空、树木等) 。
图2
图2显示了语义分割的结果 。图中的人用红色像素表示,草是浅绿色的,树是暗绿色的,天空是蓝色的 。我们可以通过简单地检查该像素处的颜色是否为红色来判断哪些像素属于“人”类,但我们不能区分出两个红色像素是属于同一个人还是属于不同的人 。
什么是实例分割?
实例分割是一个与目标检测密切相关的概念 。但是,与目标检测不同,输出是包含对象的掩码(或轮廓),而不是包围框 。与语义分割不同的是,我们不会标记图像中的每个像素;我们只对寻找特定对象的边界感兴趣 。
图3
图3显示了一个例子输出的实例,分割算法名为MaskR-CNN 。我们看到每个人的轮廓颜色不同,所以我们可以区分他们 。然而,并不是每个像素都有一个与其相关联的类标签,有的像素并没有处理 。
什么是全景分割?
全景分割是语义分割和实例分割的结合 。每个像素都被分配一个类(例如 。人),但是如果一个类有多个实例,我们就知道哪个像素属于类的哪个实例 。
图4
您可以在图4中看到一个示例 。每个像素都有一个不同的颜色编码标签 。例如,天空被编码为蓝色,树木被编码为深绿色,草地被编码为浅绿色,人们被不同颜色的黄色、红色和紫色分割 。黄色和红色都指向同一个类-人,但指向同一个类的不同实例 。我们可以通过看掩码的颜色来区分不同的人 。
参考连接: