1 ReID网络:MGN网络 - 概述

Start MGN 1. 序言
现代基于感知的信息中,视觉信息占了80~85% 。基于视觉信息的处理和分析被应用到诸如安防、电力、汽车等领域 。
以安防市场为例,早在2017年,行业咨询公司IHS,我国在公共和私人领域安装有摄像头约1.76亿部,至2020年这一数值将激增至6.26亿部 。虽然这一数字值得考量,但网络摄像头、家用安防摄像头以及各行业特定用途摄像头安装数量的逐年增长是无需置疑的,且现存摄像头安装数量应该是一个不小的量级 。围绕各种摄像头,各公司、个人开发了各种各样的智能分析算法,这其中就包括人脸识别、车牌识别以及我们本序列要讲的ReID算法 。
2. ReID概念
行人重识别( Re-也称行人再识别,简称为ReID,是利用计算机视觉技术,通过提取在匹配特征,依次判断图像或者视频序列中是否存在特定行人的技术 。简单点讲,就是跨摄像头、跨区域实现行人的匹配 。
ReID被广泛的认为是一个图像检索的子问题 。给定一个图像输入点的视频所检索到的行人,在其他视频采集点所采集的视频中检索出现过的人 。从另一个角度讲,ReID常被用来作为人脸检测识别的补充 。在一些无法获得高质量人脸图像的场合,整体的人体外观信息就被用来作为检索的依据 。
3. ReID应用
(1) 行人检测与搜索
以往的行人检测与搜索侧重于传统的方法,即首先提取行人视觉特征,然后再进行特征的匹配 。近几年来,行人重识别领域引入了深度学习的方法,即通过深度学习的方法提取视觉特征,然后进行匹配 。
近几年来,ReID技术在行人检测与搜索领域应用非常广泛 。尤其在安防监控、其他智能视频监控(如无人超市)、刑侦(追捕嫌疑人)、交管(追踪车辆等)方面应用尤其突出 。
(2) MOT(多目标跟踪)
MOT全程多目标跟踪,顾名思义,是对多个目标同时执行跟踪的一种技术 。当前MOT领域一种研究方向比较多,但主要的研究方向无非是JDE(协同检测与特征提取)、SDE(分离式检测与特征提取)和JDT(协同检测与跟踪) 。其中JDE与SDE合称TBD( by , 基于检测的跟踪技术) 。无论是JDE还是SDE,均需要析出所有目标特征,然后在不同帧之间进行匹配(关联) 。析出特征并进行前后帧关联的技术,实际上就利用了ReID的理论 。
(3) 其他目标检测与搜索
前面讲到,ReID一般译作行人重识别,同理,在其他类型目标上也同样适用ReID技术(特征析出+匹配/关联) 。如车辆跟踪、无人机跟踪等 。
4. ReID算法分类
前述内容大致带大家谅解了一些关于ReID的知识,接下来我们一同归纳一下ReID的几种方法 。
(1) 表征方法

1  ReID网络:MGN网络 - 概述

文章插图
表征学习又称表示学习,是利用机器学习获取每个实体或关系的向量化表达,以便在构建分类器或其他预测变量时更易提取有用信息的方法 。如图一为表征学习方法的一般图例 。
图一 表征学习
概念有些绕,我们简单理解,表征学习包含以下几个部分 。
a. 首先是通过一个分类网络,对目标进行分类( Loss) 。由于ReID一般是对同一类目标进行重识别,因此这里的分类,更具体的,是一种类内再分类的行为 。不同于传统的目标检测等网络,我们再此处实际上是学习一种学习类内特征、增大类内特征的网络 。
b. 一般情况下,除了分类以外,还需要添加属性判别分支( Loss) 。这里的属性包括性别、头发、衣着等,增强对目标的特征描述能力 。
c. 孪生网络 。表征学习一般情况下,会同时训练两个一模一样的网络,每个网络除了执行分类和属性判别任务以外,网络间还要执行对比,获得对比损失( Loss) 。