WaspMOT：一种用于赤眼蜂长期多目标跟踪的基准数据集

大家读完觉得有帮助记得关注和点赞！！！

摘要
多目标追踪（MOT）在以短视频序列为主的基准数据集上已取得强劲性能。然而，这些数据集并未充分评估长期身份保持能力，即目标必须在长时间内被一致追踪。我们引入WaspMOT，一个旨在通过受控生态实验中赤眼蜂（Trichogrammawasps）的长时间追踪来解决这一差距的基准数据集。该数据集包含10个序列，每个序列约12,000帧（25 FPS下超过8分钟），具有密集的MOTChallenge格式标注和用于隔离关联性能的先知检测结果。

与现有基准不同，WaspMOT形成了一个闭集追踪场景，其中所有个体在整个序列中始终存在，要求在数千帧中保持一致的身份分配，尽管存在突然跳跃、遮挡和高度相似的外观。我们通过评估五种基于检测的追踪方法（包括ByteTrack、BoT-SORT、C-BIoU、OC-SORT和McByte）在统一协议下建立了一个基准。结果表明，所有方法都存在显著的轨迹碎片化问题，突显了即使使用完美检测结果，长期身份保持仍然困难。一个简单的空间轨迹拼接基线持续提升了性能，表明仍有很大的提升空间。

WaspMOT为研究长期关联提供了一个新的基准，并揭示了当前追踪方法在常规数据集上无法观察到的局限性。该基准将在项目仓库公开发布：GitHub - tstanczyk95/WaspMOT: [AVSS 2026] WaspMOT: A Benchmark for Long-Term Multi-Object Tracking of Trichogramma Wasps · GitHub。

I 引言

多目标追踪（MOT）是计算机视觉中的一个基本问题，应用于视频监控、自动驾驶、机器人和体育分析等领域。其目标是检测目标并随时间保持一致的标识。最近的进展由以人为中心的场景的基准数据集推动，包括行人追踪[19, 9]、体育追踪[8, 7]和人体运动分析[25]。这些数据集使得能够处理遮挡、外观变化和适度运动的鲁棒追踪算法成为可能。

然而，现有的MOT基准以短视频序列为主，通常持续几十秒，轨迹仅跨越视频的一小部分。因此，追踪器主要在短期关联而非长期身份保持上被评估。这限制了研究身份必须在长时间内保持一致性的场景的能力。在生态和生物监测中，这种长期身份一致性对于分析个体行为和相互作用至关重要。

为填补这一空白，我们引入了WaspMOT，一个为实验室控制实验中赤眼蜂长期多目标追踪而设计的数据集。每个序列包含约12,000帧（25 FPS下超过8分钟），所有个体在整个视频中始终存在，形成了一个闭集追踪场景。这种设置使得能够评估跨越数千帧的全长度轨迹的身份保持，这是现有MOT基准未覆盖的领域。

图1： 实验区域内个体的视频样本帧。图像像素尺寸以黑色标示，实际区域尺寸以红色标示。

追踪赤眼蜂带来了独特的挑战。个体经常执行突然的跳跃事件，导致大的位移和从检测中暂时消失。由于相互作用和三维区域结构（黄蜂在地板和天花板表面均可移动），遮挡会发生。此外，个体表现出高度相似的视觉外观，使得基于外观的关联变得困难。这些因素导致即使有完美的检测结果，轨迹碎片化也频繁发生。

为聚焦于身份关联，WaspMOT提供了从MOTChallenge格式[19]的标注真值派生的先知检测结果。这隔离了追踪性能与检测错误，并使得能够对长期关联进行受控评估。我们通过评估五种基于检测的追踪方法建立了一个基准：ByteTrack [30]、BoT-SORT [1]、C-BIoU [29]、OC-SORT [3]和McByte [24]。这些方法在统一协议下使用提供的检测结果进行评估，使得能够对其关联能力进行一致比较。

我们的结果表明，所有被评估的追踪器在此设置下都遭受显著的轨迹碎片化，突显了长期身份保持的困难。为进一步分析可恢复的错误，我们包含了一个简单的空间轨迹拼接基线，该基线基于位置和时间一致性重新连接碎片化的轨迹。该基线持续提升了性能，表明仍有很大的提升空间，并激励了更先进的长期追踪方法的开发。

本文的贡献如下：

• 我们引入了WaspMOT，一个用于长期身份保持的基准数据集，具有闭集追踪场景下的全长度轨迹。
• 我们提供了一个使用先知检测结果来隔离身份关联性能的评估协议。
• 我们对五种追踪算法进行了基准测试，表明即使有完美的检测结果，长期身份保持仍然具有挑战性。
• 我们包含了一个简单的空间拼接基线，展示了可恢复的碎片化并激励了未来的研究。
• 我们将公开发布数据集和代码，以支持长期追踪和生态监测领域的未来工作。

II 相关工作

II-A 多目标追踪数据集

MOT研究主要由行人和以人为中心的基准数据集驱动。MOTChallenge数据集，包括MOT17和MOT20 [19, 9]，提供了具有遮挡和密集交互的拥挤城市场景，但序列通常仅持续短时间。特定领域的数据集如DanceTrack [25]、SportsMOT [8]和SoccerNet-Tracking [7]将评估扩展到人体运动和体育场景，引入了快速运动、交互和相机动态等挑战。

尽管影响深远，现有的MOT数据集主要由持续几十秒的短视频序列组成。如表I所示，它们的平均时长大约在25到100秒之间，而WaspMOT序列超过480秒。时间持续时间的显著增加使得能够评估长期身份保持，这是使用常规数据集难以评估的。

追踪在生态学背景下也已被探索。BEE24数据集[4]提供了一个昆虫追踪基准，但轨迹通常仅覆盖每个序列的有限部分。相比之下，WaspMOT提供了一个闭集追踪场景，所有个体在整个视频中始终存在，使得能够评估全长度轨迹。

II-B 基于检测的追踪方法

基于检测的追踪是主导的MOT范式，其中检测结果在帧间关联以保持身份。大多数方法依赖于使用卡尔曼滤波[14]的运动预测与基于边界框重叠的空间关联相结合。

近期方法主要在如何增强这种基本公式上有所不同。基于IoU的方法如ByteTrack [30]强调使用检测置信度和空间重叠进行鲁棒关联。扩展如BoT-SORT [1]纳入外观特征以补充运动线索，而OC-SORT [3]侧重于通过以观测为中心的更新改进运动建模。其他方法，包括C-BIoU [29]，改进空间匹配策略以更好地处理快速运动。McByte [24]通过纳入时间传播的分割掩码[6, 15]进一步扩展了这一范式，以提高几何一致性并解决模糊关联。

当检测结果外部提供时，这些方法无需额外检测器训练即可操作，使得能够评估纯关联性能。然而，尽管有这些改进，大多数方法依赖于运动连续性假设，并且在突然运动或暂时消失时表现不佳，导致轨迹碎片化。WaspMOT等长持续时间数据集比常规基准更清晰地暴露了这些局限性。

II-C 基于外观的关联

基于外观的方法旨在通过学习目标随时间和视点的判别性表示来改进身份关联[31, 26, 16, 5]。深度模型通常使用训练有身份分类和度量学习目标（如三元组损失[22]）的卷积神经网络来产生特征嵌入[12, 32]。这些嵌入在现代追踪流程中被广泛用于补充基于运动的关联[28, 10, 1]。

然而，它们的有效性取决于独特视觉特征的可用性。在昆虫追踪等场景中，个体小且视觉相似，基于外观的线索固有地受限。这使得身份关联特别具有挑战性，并突显了对强调在此类条件下长期一致性的基准的需求。

III WaspMOT数据集

WaspMOT数据集由实验室记录的赤眼蜂视频组成，以标准MOTChallenge格式标注，并提供先知检测结果以隔离追踪性能。WaspMOT被设计为长期身份保持的基准，其中序列时长和全长度轨迹是主要焦点，而非大规模数据集大小或检测器训练。

III-A 实验设置与数据采集

实验在实验室条件下进行，赤眼蜂维持在气候室中，并在一个3.5厘米×2厘米的封闭实验区域内记录，包含寄主卵，如图1所示。我们考虑两个物种和三个品系：Ostriniae（工业品系）和Brassicae（工业和实验室饲养品系），具有不同的行为，如移动和跳跃。雌性个体因其在寄主卵寄生中的作用[23, 27]而成为主要关注对象。对于每个实验，寄主卵被手动放置在区域中心的5×5网格中，以实现个体移动和相互作用的受控观察[11, 21]。

录制以25 FPS的固定俯视相机进行，每个持续约8分钟，每个视频至少产生12,000帧。相机焦点设置在区域地面，根据黄蜂在三维区域中的位置产生清晰和模糊观察的混合。每个视频的分辨率为3840×2160像素。

表I： WaspMOT与现有多目标追踪数据集的比较。与由短视频组成的常规基准不同，WaspMOT（绿色高亮）包含显著更长的视频，具有密集标注和跨越整个序列持续时间的轨迹。这使得能够评估长期身份保持，这是使用现有数据集无法可靠评估的。'-'表示该信息在来源中未指定。

III-B 数据集组成与标注

WaspMOT包含10个完整标注的视频序列，每个物种5个序列。标注真值以标准MOTChallenge格式[19]的边界框提供，总计120,330个标注帧和2,569,527个标注目标实例。每个序列平均包含21.4个（从15到28不等）个体，这些个体在整个视频时长中始终存在，形成具有全长度轨迹的闭集追踪场景。

与常规追踪数据集[19, 9, 25, 8]不同，WaspMOT提供直接从标注真值边界框派生的先知检测结果，不包含身份标签。这使得能够独立于检测错误进行追踪性能的聚焦评估，如[7]中所述。评估使用TrackEval [13]工具包进行，确保与标准MOT评估协议的兼容性。

WaspMOT与现有MOT追踪数据集之间的统计比较见表I。WaspMOT序列比现有数据集中的序列长约一个数量级，平均每个视频超过480秒。这使得能够评估跨数千帧的身份保持，这是常规基准未捕获的领域。

图2： 每个视频的遮挡和跳跃事件数量。原始视频名称位于每个柱下方。

图3： 每个视频的同时发生跳跃事件数量。原始视频名称位于每个柱下方。

III-C 追踪挑战

追踪赤眼蜂带来了几个独特挑战，使WaspMOT区别于常规MOT数据集。

首先，个体频繁执行突然的跳跃事件，导致大的瞬时位置变化和从检测中暂时消失。当追踪器依赖运动连续性假设时，这些事件会产生轨迹碎片化。跳跃事件的分布如图2所示，包括多个个体同时跳跃的情况（图3），增加了关联模糊性。

其次，由于个体之间和实验区域结构的相互作用，遮挡会发生。因为黄蜂可以在区域地面和天花板移动，即使使用静态相机设置，完全视觉遮挡也是可能的。这些遮挡可能导致暂时身份丢失和错误重新分配。图2说明了每个序列的遮挡事件分布。

第三，个体表现出高度相似的视觉外观，限制了基于外观的区分效果。结合其小尺寸和快速运动，这使得可靠的身份关联特别具有挑战性。

最后，序列的长持续时间要求追踪器在数千帧上保持身份一致性。与常规数据集中轨迹仅跨越序列一小部分不同，WaspMOT要求全长度轨迹重建以实现准确追踪。

这些特征使WaspMOT成为评估长期追踪性能和身份保持的一个具有挑战性的基准。

WaspMOT并非旨在取代具有更广泛场景多样性的MOT大规模数据集。相反，它通过针对一个独特且未被充分探索的评估领域——长持续时间、闭集、全长度轨迹追踪——来补充它们。在这个领域中，主要挑战不是场景多样性或检测器鲁棒性，而是在数千帧中保持身份一致性。

IV 基准协议

IV-A 先知检测设置

为从检测错误中隔离身份关联性能，我们使用直接从标注真值边界框派生的先知检测结果，不包含身份标签。此设置确保了完美的检测精度，并允许评估完全聚焦于追踪组件。所有追踪结果均以MOTChallenge [19]格式生成，并使用TrackEval [13]工具包进行评估。

此设计遵循了关联为主要关注因素场景下的先前实践，并使得能够对长期身份保持进行受控评估。

IV-B 被评估的追踪算法

我们对代表不同关联策略的五种基于检测的追踪方法进行基准测试。

ByteTrack [30] 使用基于卡尔曼滤波器[14]的运动预测和以交并比（IoU）度量的空间重叠来关联检测结果。

BoT-SORT [1] 通过在外观特征与运动和空间线索一起纳入来扩展此方法。外观嵌入按照原始工作中描述的过程进行训练，并适应WaspMOT。

C-BIoU [29] 引入了一种增强的基于IoU的匹配策略，使用扩大的边界框，旨在提高快速移动主体环境中的鲁棒性。

OC-SORT [3] 通过强调以观测为中心的更新来改进运动建模，这增强了非线性运动下的鲁棒性。

McByte [24] 纳入时间传播的分割掩码[6, 15]，以在关联期间提供额外的几何约束。

所有方法均使用先知检测结果和默认参数应用，无需额外调整。此设置使得算法间能够进行一致比较，并将评估聚焦于其固有的关联能力。

IV-C 空间轨迹拼接基线

为分析可恢复的身份碎片化，我们包含了一个作为后处理应用的简单空间轨迹拼接基线。

每个轨迹由其时空端点表示。候选关联通过基于空间邻近性和时间一致性链接一个轨迹的末端与另一个轨迹的开端来形成。当存在多个候选者时，使用匈牙利算法[17]在一对一匹配约束下进行全局分配。

此基线不引入新的建模组件，但用于量化使用简单空间线索可以从碎片化轨迹中恢复多少性能。它为评估更先进长期追踪方法的潜力提供了一个参考点。

V 结果与分析

V-A 评估指标

我们报告三个标准MOT指标：HOTA [18]、IDF1 [20]和MOTA [2]。HOTA通过结合检测和关联质量捕获整体追踪性能，IDF1衡量身份一致性，MOTA反映检测精度和追踪错误。值越高表示性能越好。

V-B 定量结果

表II展示了所有评估方法在有和没有空间轨迹拼接情况下的追踪性能。

所有追踪器都表现出显著的身份碎片化，反映在尽管使用了先知检测结果，IDF1分数仍然相对较低。这证实了即使消除检测错误，长期身份保持仍然具有挑战性。

应用空间拼接在所有方法中持续改善了性能。例如，ByteTrack提升了+3.8 HOTA和+8.8 IDF1，而McByte提升了+2.7 HOTA和+7.2 IDF1。对于BoT-SORT、C-BIoU和OC-SORT也观察到类似的增益。这些结果表明，身份碎片化的很大一部分可以使用简单的空间一致性来恢复。

表II： 被评估方法的追踪性能，在空间轨迹拼接之前和之后。相对于基线的改进显示在括号中。

图4： 一只赤眼蜂执行突然跳跃的示例。暂时消失导致轨迹碎片化，随后被空间轨迹拼接恢复。

由于使用先知检测结果，MOTA在各配置中基本保持稳定，表明性能差异主要由身份关联而非检测质量驱动。值得注意的是，McByte实现了接近完美的MOTA，这可归因于其使用时间传播的分割掩码，有助于解决如重叠等模糊情况。相比之下，IDF1显示了所有算法最大的改进，证实了长期身份一致性从轨迹重建中受益最多。

在所有方法中，McByte [24] 实现了最强的整体性能，表明掩码传播提供的额外空间约束是有益的。然而，即使是表现最好的方法也未能完全解决身份碎片化，突显了长期追踪的困难。

方法的相对排序进一步揭示了基于外观的线索在此设置中并未提供明显优势：尽管纳入了学习到的嵌入，BoT-SORT并未优于如ByteTrack等更简单的基于运动的方法。这表明对于小型、视觉相似的目标，外观特征难以有效利用。总体而言，这些结果强调了运动、几何和长期推理在WaspMOT中的互补作用。

V-C 定性分析

图4说明了由突然跳跃事件引起的典型故障案例，其中个体暂时消失且其轨迹被碎片化。空间拼接成功重新连接了轨迹，证明此类错误并非由于身份模糊，而是由于局部关联机制的局限性。

总体而言，这些结果表明，当前的基于检测的追踪方法难以在长时间内保持身份一致性。使用简单空间拼接获得的一致改进表明仍有很大的提升空间，激励了专门为长期身份保持设计的方法的开发。

VI 结论

我们引入了WaspMOT，一个旨在评估生态监测场景中长期身份保持的多目标追踪基准数据集。该数据集由完全标注的长持续时间序列组成，并提供先知检测结果，使得能够对全长度轨迹上的身份关联进行受控评估。

通过对五种基于检测的追踪方法的基准测试，我们表明，即使在没有检测错误的情况下，当前方法在长时间内保持一致身份方面也存在困难。使用简单空间拼接基线获得的一致改进表明，轨迹碎片化的很大一部分是可恢复的，但也突显了现有关联策略的局限性。

WaspMOT暴露了现代追踪器的一个故障模式，这是常规短持续时间基准无法捕获的，并为长期身份保持的未来研究奠定了基础。数据集和代码将在接收后公开发布，以支持长期追踪和生态监测应用的进一步发展。