ICIP 2019 开源论文 | 基于注意力网络的RGBD图像语义分割方法 _图像分割

作者丨赵磊
单位丨北京林业大学硕士生
研究方向丨语义分割
本文已经被ICIP 2019(2019 IEEEon Image ) 接收，论文提出了一种全新的方法，基于时下流行的注意力机制，用于室内场景下的 RGBD 图像语义分割——通过利用图像深度信息，获得更好的语义分割效果，在包含 40 个类别的复杂室内场景通用数据集上取得了 SOTA 效果，mIoU 达到了 48.3%，论文主要的贡献在于注意力辅助模块和三平行分支的网络架构。
背景
当下图像语义分割的研究多关注室外场景，为自动驾驶等任务提供支持，而关注室内场景的研究较少，室内场景图像中目标亮度不均且在空间上存在较多的重叠，使用 RGBD 图像相较于 RGB 图像，能够取得较好的分割效果，RGBD 图像即 RGB 图像和深度（Depth）图像的结合，包括 RGB 三个通道和一个代表像素点与相机距离的深度通道共四个通道。
已有的 RGBD 图像语义分割方法有两种思路：一是利用两个编码器分别从 RGB 图像和深度图像中提取特征，结合之后进行上采样；二是在下采样阶段直接将两个特征融合处理。
前者不能将两种特征充分融合，后者没有考虑两种特征对最终结果的贡献程度，对于 RGB 图像信息和深度图像信息可能不充分对等的 RGBD 图像中，都不能取得较好的效果。为此论文提出了集成注意力机制的三平行分支架构的语义分割网络 ACNet，在通用数据集上取得了 SOTA 效果。
【ICIP 2019 开源论文 | 基于注意力网络的RGBD图像语义分割方法】ACNet
ACNet 网络架构如下图所示：
两个基于的独立分支分别用于 RGB 图像和深度图像的特征提取，根据每一层特征所包含的信息量设计的多个注意力辅助模块（ACM，）来平衡特征的分布，使网络更加关注图像的有效区域，一个同样基于的独立分支用于融合 RGB 特征和深度特征，最后经过多次上采样得到分割结果。ACNet 在保持原始 RGBD 特征流的同时充分利用了融合后的特征，最后分几步进行上采样，下面具体来看。
注意力辅助模块-ACM

文章插图
如上图所示，室内场景下的 RGBD 图像中，RGB 图像和深度图像的特征分布完全不同，为了使网络专注于目标的有效区域，论文设计了多个注意力辅助模块 ACMs，单个 ACM 结构如下图所示：
ACM 基于通道注意力机制，假定输入特征图
，首先应用全局平均池化，得到输出
，其中 C 代表通道数，H、W 分别表示特征图的高和宽，特征图的第 k 个通道可以表示为：
之后保持 Z 的通道数不变，通过一个点卷积 (1×1) 层，以挖掘通道之间的联系以确定其权重的分布，接着应用激活方法得到
，与输入特征图 A 进行一次叉乘得到外积 U，一个具有更多有效信息的特征图。该阶段的过程可以表示为：
特征融合架构

文章插图
为了过早或过晚融合 RGB 特征和深度特征，ACNet 设计的第三个独立分支逐阶段的进行特征融合，充分利用浅层和深层的特征，不仅保留了两个独立分支的特征信息，还能有效利用融合特征。
实验
ACM的分析
以时的特征图为例，可视化如下图所示：
不同阶段的 ACM 得到的权重分布：
实验结果
实验结果如下图所示，相比结构更为复杂的 RGBD 图像分割领域的 SOTA 模型 CFN（-152），使用 -50 的 ACNet 在数据集 mIoU 更高，达到了48.3%，在 SUN-RGBD 数据集上取得了与 CFN 相当的实验精度。
总结
论文提出用于室内场景下 RGBD 图像语义分割网络 ACNet，三分支架构和注意力辅助模块较好的平衡了 RGBD 图像中 RGB 图像特征和深度图像特征。在 SLAM 领域之外，利用包含更多的信息 RGBD 图像来提升语义分割效果的方式，同样可以用在室外场景分割中。论文虽然相比 SOTA 模型更为精简，但是仍不能满足实时的要求，这也是论文提出的方法未来的一个优化方向。