论文总结-SportsMOT Track on Multi-actor Tracking, DeeperAction Challenge at ECCV 2022 获奖方案总结

SportsMOT Track on Multi-actor Tracking, DeeperAction Challenge at ECCV 2022 获奖方案总结

1st SportsTrack

🐋作者：

image-20221021164609553
📘论文链接：https://deeperaction.github.io/results/track3_1st.pdf

🍃实现代码：https://github.com/vghost2008/sportstrack

1. 方法与总结

🍂主要工作：

  1. 多级匹配：先所有检测框（高IoU限制），再高分框，再低分框；
  2. 判定待跟踪的目标是不是被遮挡了，如果是被遮挡的目标则可以让一个检测框对应多个被遮挡的目标，弥补检测器漏检；
  3. 对暂时丢失目标进行分类：从边缘丢失和在场景中间丢失。边缘丢失则从同方向，ReID特征相似的新的预备轨迹找回；中间丢失的轨迹通过Byte策略二次关联找回；
  4. 新的预备轨迹在高分框+未匹配的基础上还要与目前已匹配的检测框的IOU阈值小于0.5才行。防止新生成轨迹（基于根据序列的先验知识，目标基本不新增。

⚡ 关联策略：

  1. 获取检测框（YOLOX），执行NMS，同时记录每帧出现重复检测框（IoU > 0.7）次数（不知道用在哪儿？）

  2. 提取检测框的ReID特征

  3. 更新除了“从边缘暂时消失的轨迹”之外的所有轨迹的位置，KF prediction

  4. 处理从边缘暂时消失的轨迹，如果其最近30帧的ReID特征与最近初始化的短轨迹（不超过30帧）的ReID特征有3次及以上距离比较近（cosine dist < 0.2），且出现的方向与之前从边缘消失轨迹的方向一致，则认为是同一个轨迹，把这个轨迹赋予相同id（这样不就是相当于更改了跟踪结果了,不是在线的方法）

  5. 对于活跃的轨迹，先判断他们之间是否存在遮挡（IoU大于0.45），对应被遮挡的轨迹，直接从检测框中选取IoU高于0.6的检测框，存入其候选框

  6. 融合关键点距离+IOU距离+ReID距离对所有轨迹和所有检测框执行高阈值的匈牙利匹配;

  7. 未匹配的检测分为高分和低分框，同样融合之前几种距离度量，对高分框分两次进行阈值不同的匹配

  8. 低分框和未匹配轨迹融合三种距离度量进行较低阈值的匈牙利匹配

  9. 对于仍未匹配的轨迹，如果是遮挡轨迹，同时存在有候选框，则用候选框去更新轨迹位置

  10. 最后未匹配的轨迹分类从边缘暂时消失和从场景中暂时消失，并计算从边缘消失的轨迹的消失方向。

  11. 暂时消失的轨迹最多保留120帧

  12. 未匹配的高分框执行NMS，与之前已匹配的高分框的阈值高于0.45的进行移除

  13. 最后剩下的高分检测初始化为新目标。

用了单独的、较好的HRNET关键点检测网络（已在COCO上预训练）

  1. 模型后处理部分：

    1. 先根据轨迹的ReID方差判定轨迹是不是稳定的轨迹段；

    2. 是稳定的轨迹段，则使用序列ReID相似度阈值超过一定数量的限制要求，超过一半以上轨迹段就说明两段轨迹相似，将轨迹合并；

    3. 轨迹（线性）插值与短轨迹删除；

2nd A Technical Report for SportsMOT Track on Multi-actor Tracking

🐋作者：

image-20221021164624333

📘论文链接：https://deeperaction.github.io/results/track3_2nd.pdf

1. 方法与总结

这篇文章感觉没有什么针对场景的trick，就是强大的检测器加上不同的匹配策略，针对不同的跟踪序列用了两个不同的检测器（篮球排球跟踪：Cascade-RCNN-S101； 足球跟踪：ATSS-SwinL），以及两种不同的关联策略（DeepSORT和级联的OC-SORT），后处理就比较常规了：对于少于40帧的目标以及中间缺失帧少于10帧的轨迹段进行线性插值。直接看消融实验：

image-20221021172037755

3rd Observation Centric and Central Distance Recovery on Sports Player Tracking

🐋作者：

image-20221021164737403

📘论文链接：https://deeperaction.github.io/results/track3_3rd.pdf

1. 方法与总结

文章还是基于OC-SORT，在OC-SORT的Observation-Centric Recovery阶段将轨迹的最后一次观测与未匹配检测之间的度量方式从IoU变为了bbox欧氏距离Central-distance Recovery，防止最后一帧的观测与未匹配的检测之间IoU过小。

论文主要策略还是跟踪结果后处理方面，对于篮球运动员跟踪，限制跟踪的总轨迹数为10，当轨迹数达到10之后便仅通过检测目标与之前轨迹的id-embedding相似度进行关联合并；足球轨迹关联也是通过ReID特征的余弦距离进行缝合，且不同间隔时间对应不同的欧氏距离阈值，以及有不同的轮对应的关联阈值。

最后的消融结果：The original OCSORT has a performance of 67.107 in HOTA, after the incorporation of central-distance recovery, the HOTA improves to 71.764. After the ReID post-processing stage, we achieve 73.968 in HOTA, 63.460 in AssA, 86.316 in DetA, 94.832 in MOTA, 78.271 in IDF1, 2754 in IDS, and 3592 in Frag, showing the effectiveness of our method.