语义分割算法性能比较_语义分割江湖的那些事儿——从旷视说起( 三 ) _语义分析

文章插图
这些提速的方法会丢失很多或者牺牲，从而导致精度大幅下降。为了弥补空间信息的丢失，有些算法会采用 U-shape 的方式恢复空间信息。但是，U-shape 会降低速度，同时很多丢失的信息并不能简单地通过融合浅层特征来恢复，如图 10(b) 所示。
图10
总结而言，实时性语义分割算法中，加速的同时也需要重视空间信息。基于这些观察，本文提出了一种新的解决方案（）。
——网络结构——
区别于 U-shape 和结构，尝试一种新的方法同时保持和。所以，我们设计了 Path和 Path两部分。顾名思义， Path使用较多的、较浅的网络来保留丰富的空间信息生成高分辨率特征； Path使用较少的、较深的网络快速来获取充足的。基于这两路网络的输出，文中还设计了一个（FFM）来融合两种特征，如图11所示。
图11
Path 只包含三个
的 Conv+BN+Relu，输出特征图的尺寸为原图的
。为了访存比考虑，此处并没有设计结构。
Path 可以替换成任意的轻量网络，比如，系列，系列。本文主要采用和 -18 进行实验。可以看到，为了准确率考虑， Path 这边使用了类似 U-shape 结构的设计。不过，不同于普通的 U-shape，此处只结合了最后两个 Stage，这样设计的原因主要是考虑速度。此外，和 DFN 类似， Path 依然在最后使用了来直接获取。
最后，文章中提到因为两路网络关注的信息不同，属于Level 的特征，所以文中设计了一个 FFM 结构来有效融合两路特征。
——实验——
本文从精度和速度两个维度，进行了丰富的分析实验。
首先文中分析了Path 这边使用不同变体的 U-shape 结构的速度和精度的对比。
此处，U-shape-8s 就是文中所展示的结构，U-shape-4s 则是普通的 U-shape 设计，即融合了更多 stage 特征。可以看到，U-shape-4s 的速度会明显慢于 U-shape-8s.
文中还对的各个部分进行了消融分析实验。
文中还给出了的、参数量等信息，以及在不同硬件平台不同分辨率下的速度对比。
文中给出了分别与实时性算法和非实时性算法比较的结果。
与实时性算法比较：
虽然是实时性算法，但是它的精度甚至比一些非实时性算法还高。
与非实时性算法比较：
可以看到，是一种很有效的设计。当替换上大模型之后，精度甚至高于等算法。另外，需要注意的是，为了和非实时性算法进行比较，在关注精度这部分实验使用的不同于关注速度部分的，具体细节详见论文。
算法对实时性语义分割算法提出了新的思考，在提升速度的同时也需要关注空间信息。同时，该设计也是一次对的思考，希望设计一个对任务友好的框架，当然现在还存在许多需要改进的地方。此外，该方法不仅仅可应用于实时性语义分割算法，也可应用于其他领域，尤其是在对和同时有需求的情况下。据笔者了解，已有研究将其应用于.
重要的事情?
[1] Peng, C., Zhang, X., Yu, G., Luo, G., & Sun, J. (2017). Large—by. Inand(CVPR), 2017 IEEEon(pp. 1743-1751). IEEE.
[2] Yu, C., Wang, J., Peng, C., Gao, C., Yu, G., & Sang, N. (2018).afor.arXivarXiv:1804.09337.
[3] Yu, C., Wang, J., Peng, C., Gao, C., Yu, G., & Sang, N. (2018, ). :for real-time.on(pp. 334-349). , Cham.
[4] Long, J., , E., & , T. (2015). Fullyfor.of the IEEEonand(pp. 3431-3440).
[5] , O., , P., & Brox, T. (2015, ). U-net:forimage .onimageand - (pp. 234-241). , Cham.
---------解读者介绍-------
余昌黔，华中科技大学自动化系在读博士，旷视科技研究院算法实习生，语义分割算法DFN、第一作者，研究方向涵盖语义分割、全景分割、快速分割、视频分割等，并在上述方向有着长期深入的研究；2018 年，参加计算机视觉顶会 ECCV 挑战赛 COCO+，分获全景分割（）两项冠军，并受邀作现场口头报告。个人网页：