行人重识别（re-ID）与跟踪（tracking）有什么区别？

1、摘要

行人重识别是跨摄像头跟踪中解决跨摄像头匹配的最直接的方法，是单摄像头跟踪中的一种非常有效的外观特征。ReID的确可以不基于tracking来做，当做一个图像检索的独立课题来研究。

2、正文

行人重识别（Person ReID）和跨摄像头多目标跟踪（MTMC tracking）是我的博士研究课题，ReID是跨摄像头跟踪中解决目标因为视野丢失（跨摄像头）后再匹配起来的最直接（甚至可以说是唯一）的方法，是单摄像头中多目标和单目标跟踪的一种非常有效的特征（Appearance feature）。简单翻译下就是单摄像头的多目标跟踪可以用ReID来做，但是也有其他的方法可以做，然而在跨摄像头的状况下，基本下ReID是逃不掉。甚至在ReID足够强的话，不用其他任何东西只用ReID的feature就可以达到很好的跟踪性能，俗称“跟踪就靠ReID一把梭”。

主要区别在于ReID更像是一个图像检索的问题，把检测出来的行人图片提取一个feature，根据feature来判断两张图片的相似性，实现检索的目的，如上图出自【1】。而tracking更多的像一个数据关联的问题，利用ReID特征、时空信息、运动信息等来把两个目标给匹配关联起来，跟踪方法其中有一类方法是tracking by detect，而ReID做tracking就属于这一类，主要思想就是先把行人目标检测出来，然后判断detect的bounding boxes是否属于同一个行人，把同一个行人的检测框给关联起来就是tracklet。例如论文【2】就直接使用一个Siamese网络来得到tracking轨迹，这也是一种非常直接暴力的手段。

当然如果想做出更好的tracking，除了ReID以外，时空信息和运动信息等也是很重要的特征，传统的滤波方法如卡尔曼滤波、粒子滤波和贝叶斯滤波等利用时空运动信息就可以做跟踪了。当然随着深度学习的发展，ReID在MTMC跟踪问题上越来越重要，比如论文【3】 利用贝叶斯滤波把ReID和时空信息结合起来做tracking，ReID只是一个appearance model，用来更新滤波器的状态估计。

这里有一篇ICCV17的ReID文章【4】，虽然做的是ReID，但是我个人认为做tracking的潜力很大，主要思想是用attention来生成行人的bounding box，详细内容可以看我写的笔记【论文笔记】Neural Person Search Machines (ICCV2017)

这里顺便打个广告，我们最近公开了我们的ReID文章【5】，首次在ReID问题上超越了人类的准确度，当然这只是在学术的公开数据集上，真实场景下的ReID还有很多未解决的问题，任重而道远，依托于我们强大的ReID模型，我们组的tracking也是很厉害的，欢迎去咨询贵司的相关产品。论文报道【首次超越人类】旷视行人再识别（ReID）突破，人脸识别后创新纪录。这篇论文把ReID的公开数据集刷到了很高，当然这并不是我们的最高准确度，实际是多少保留悬念，文章一出就收到不少同行的私信说，断了很多博士的梦想。不过这大可放心，ReID未解决的问题还有很多，离人脸识别的性能还很远。就算ReID做不下去了，还可以跟我一起来做MTMC tracking嘛~

【1】Zheng L, Yang Y, Hauptmann A G. Person Re-identification: Past, Present and Future[J]. 2016.

【2】Lealtaixe L, Cantonferrer C, Schindler K. Learning by Tracking: Siamese CNN for Robust Target Association[J]. 2016:418-425.

【3】 Beyer L, Breuers S, Kurin V, et al. Towards a Principled Integration of Multi-camera Re-identificationand Tracking Through Optimal Bayes Filters[C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops. IEEE, 2017:1444-1453.

【4】Liu H, Feng J, Jie Z, et al. Neural Person Search Machines[J]. 2017.

【5】AlignedReID: Surpassing Human-Level Performance in Person Re-Identification