Eine konfidenzgesteuerte Multi-Object-Tracking-Methode für Sportvideos unter Verwendung von Jersey-Semantikfusion

Zusammenfassung

Dieses Protokoll beschreibt einen vertrauensbasierten Workflow zur Mehrfachobjektverfolgung in Sportvideos, der Informationen zur Trikotfarbe und Spielernummer integriert, um die Zuordnung von Trajektorien und die Identitätskonsistenz bei Schwankungen des Vertrauens, bei Verdeckungen und optisch ähnlichen Erscheinungsbildern der Athleten zu verbessern.

Zusammenfassung

Die Mehrfach-Objektverfolgung (MOT) in Sportvideos liefert Trajektorieninformationen für taktische Analysen, die Interpretation des Spielerverhaltens und automatisierte statistische Auswertungen. Sportaufnahmen weisen jedoch häufig schnelle Richtungswechsel, abrupte Stopps, häufige Verdeckungen und optisch ähnliche Teamkameraden auf, was zu Schwankungen der Detektionszuverlässigkeit und Identitätsverwirrung bei der Zuordnung zwischen aufeinanderfolgenden Bildern führt. Um diese Herausforderungen zu bewältigen, stellt diese Studie JerseyTrack vor, eine vertrauensbasierte Methode zur Sport-MOT, die auf der semantischen Fusion von Trikotinformationen beruht. Der Arbeitsablauf unterteilt die Detektionsboxen adaptiv in hoch-, mittel- und niedrigvertrauenswürdige Intervalle, basierend auf der Konfidenzverteilung jedes Einzelbilds. Hochvertrauenswürdige Detektionen werden hauptsächlich anhand der Bewegungsähnlichkeit zugeordnet, während mittel- und niedrigvertrauenswürdige Detektionen zusätzlich Trikotfarb- und Spielernummernmerkmale nutzen, die mittels Farbclustering und einem leichten Optical Character Recognition-Modell (OCR) extrahiert werden. Diese semantischen Merkmale werden während der ergänzenden Zuordnung mit Bewegungsinformationen fusioniert, um die Kontinuität der Trajektorien und die Konsistenz der Identitäten zu verbessern. Die Methode wurde auf dem SportsMOT-Datensatz evaluiert. JerseyTrack erreichte eine Multiple Object Tracking Accuracy (MOTA) von 88,9 %, eine IDentity F1 Score (IDF1) von 74,3 % und eine Higher Order Tracking Accuracy (HOTA) von 69,9 %, was eine verbesserte Verfolgungsleistung im untersuchten Szenario der Sportverfolgung belegt. Dieses Protokoll stellt einen reproduzierbaren Arbeitsablauf bereit, um die vertrauensbasierte Zuordnung mit semantischen Trikotinformationen zu integrieren und dadurch die Mehrfach-Objektverfolgung in Sportvideos zu verbessern.

Einleitung

Das Mehrfachobjekt-Tracking (MOT) ermöglicht eine kontinuierliche Lokalisierung von Objekten und die Beibehaltung ihrer Identität in Videosequenzen und unterstützt die Extraktion von Athletentrajektorien, taktische Analysen sowie automatisierte statistische Auswertungen in Anwendungen mit Sportvideos^1,2,3. Zuverlässige visuelle Informationen sind zudem mit sportartspezifischen Entscheidungsprozessen und der Leistungsbewertung in der Sportwissenschaft verknüpft, was den Wert stabiler, aus Videos gewonnener Bewegungsdaten für nachgeschaltete sportliche Analysen weiter unterstreicht⁴. In sportlichen Szenarien hängt die Zuverlässigkeit taktischer Daten von der Kontinuität der Verfolgungstrajectorien und der Konsistenz der Zielidentitäten ab.

Im Vergleich zu allgemeinen MOT-Szenarien enthalten Sportvideos schnelle Richtungswechsel, abrupte Stopps, Sprünge, dichte Interaktionen und häufige Verdeckungen. Diese Faktoren verursachen erhebliche Schwankungen der Vertrauenswürdigkeit der Erkennungsboxen und erhöhen die Häufigkeit von Erkennungen mit geringer Zuverlässigkeit, was die Zuordnung von Trajektorien unterbrechen kann^5,6. Einheitliche Teamtrikots verringern zudem die Unterscheidungsfähigkeit allgemeiner Erscheinungsmerkmale und erhöhen die Identitätsverwirrung zwischen optisch ähnlichen Teammitgliedern^7,8. Wenn Verdeckungen und Ähnlichkeit im Erscheinungsbild in derselben Sequenz auftreten, nimmt die Erkennungszuverlässigkeit ab und die Erscheinungsinformationen des Ziels werden unvollständig, wodurch die Schwierigkeit der Trajektorienzuordnung und der Identitätserhaltung zunimmt^9,10. In der mehrfachen Objektverfolgung (MOT) bezeichnet die Wiedererkennung (Re-ID) den Prozess, bei dem dieselbe Zielidentität über mehrere Bilder, Verdeckungsphasen oder Wiedereintrittssituationen hinweg anhand identitätsbezogener visueller Merkmale zugeordnet wird. In Videos von Mannschaftssportarten können allgemeine Re-ID-Merkmale geschwächt sein, da Athleten derselben Mannschaft oft ähnliche Trikots und Körperformen aufweisen. Die technische Literaturübersicht zeigt, dass Trajektorienbrüche und Identitätsverwirrungen in der Sport-MOT üblicherweise durch zwei komplementäre Ansätze angegangen werden: die Nutzung der Erkennungszuverlässigkeit und die Verbesserung der Identitätsmerkmale. JerseyTrack positioniert sich an der Schnittstelle dieser Ansätze, indem es die Verwendung semantischer Trikotmerkmale je nach Qualität der Erkennung reguliert, anstatt Farb- und Spielernummerninformationen einheitlich auf alle Erkennungen anzuwenden.

Die vorliegende Studie stellt JerseyTrack vor, eine vertrauensbasierte Methode zur mehrfachen Objektverfolgung (MOT) im Sport, die auf der semantischen Fusion von Trikotmerkmalen basiert. Die Methode ist für Videos von Mannschaftssportarten konzipiert, bei denen Athleten sichtbare Trikots tragen und die Detektionsergebnisse Begrenzungsboxen mit Vertrauenswerten liefert. JerseyTrack kombiniert vier Hauptkomponenten: Athletendetektion, vertrauensbasierte Gruppeneinteilung, Extraktion semantischer Trikotmerkmale und kaskadierte inter-frame-Verknüpfung. Die Vertrauenswerte der Detektion werden verwendet, um die erkannten Objekte adaptiv in Gruppen mit hohem, mittlerem und niedrigem Vertrauen einzuteilen, die jeweils mit unterschiedlichen Verknüpfungsstrategien verarbeitet werden. Detektionen mit hohem Vertrauen werden vorrangig über Bewegungsinformationen verknüpft, während bei Detektionen mit mittlerem und niedrigem Vertrauen zusätzlich Trikotfarbe und Spielernummern berücksichtigt werden, um die Identitätssicherung zu verbessern, wenn die visuellen Hinweise schwach sind. Die Methode ist für die Analyse von Sportvideos gedacht, die stabile Athletentrajektorien erfordern, beispielsweise für taktische Analysen oder die Interpretation des Spielerverhaltens.

Der vorgeschlagene Ansatz weist ebenfalls betriebliche Einschränkungen auf. Die semantische Extraktion von Trikots kann durch starke Verdeckung, Bewegungsunschärfe, niedrige Bildauflösung, abnormale Trikotpositionen oder unsichtbare Spielernummern beeinträchtigt werden. In solchen Fällen können die trikotbasierten semantischen Hinweise unvollständig werden, wodurch der Assoziierungsprozess stärker auf Bewegungskonsistenz und Mehrbildverifizierung angewiesen ist. Die Leistungsbehauptungen dieser Studie gelten daher nur für die ausgewerteten Datensätze und experimentellen Rahmenbedingungen. Experimente auf dem SportsMOT-Datensatz zeigen, dass JerseyTrack die bewerteten Tracking-Metriken verbessert und die Anzahl von Identitätswechseln unter den getesteten Sport-Tracking-Bedingungen verringert. Die Hauptschwierigkeit des Mehrfachobjekt-Trackings (MOT) in Sportvideos liegt darin, die Trajektorienkontinuität und Identitätskonsistenz bei schnellen Bewegungen, Verdeckungen und ähnlicher Erscheinung aufrechtzuerhalten. Bestehende Studien im Zusammenhang mit JerseyTrack lassen sich grob in zwei Forschungsrichtungen einteilen: die Nutzung der Detektionszuverlässigkeit für die Trajektorienzuordnung und die Verbesserung von Identitätshinweisen durch sportartspezifische semantische Merkmale.

Die Erkennungskonfidenz wird häufig verwendet, um die Zuverlässigkeit von Erkennungsboxen abzuschätzen und die Trajektorienzuordnung in der Mehrfachobjektverfolgung (MOT) zu steuern. Frühe Verfolgungsmethoden behandelten die Konfidenz meist als binäres Filterkriterium, bei dem Erkennungen unterhalb einer festen Schwelle entfernt wurden, um Falschpositiv-Ergebnisse zu reduzieren^11,12. Diese Strategie verringert verrauschte Erkennungen, kann jedoch auch echte Ziele bei Verdeckung, schneller Bewegung oder geringer Bildqualität verwerfen, was zu einer Fragmentierung der Trajektorien führt^13,14,15. Ähnliche Filterstrategien haben außerdem gezeigt, dass feste Konfidenzschwellen empfindlich gegenüber Szenenvariationen und der Qualität der Erkennung sind^16,17. Um die Nutzung von Erkennungen mit niedriger Konfidenz zu verbessern, führte ByteTrack eine Zuordnungsstrategie ein, die Erkennungsboxen mit niedriger Konfidenz als Kandidaten für eine sekundäre Zuordnung beibehält und sie mithilfe von Bewegungsähnlichkeit und Trajektorienverlauf mit bestehenden Trajektorien verknüpft¹⁸. McByte erweitert diese Zuordnung für Sport-MOT weiter, indem zeitlich fortgepflanzte Segmentierungsmasken als zusätzlicher Hinweis für die Zuordnung integriert werden, wodurch die Robustheit bei schneller Bewegung, Verdeckung und Kameraverschiebung verbessert wird, ohne zusätzliches Training pro Video zu erfordern¹⁹. Verwandte Studien haben ebenfalls die Nutzung von Erkennungen mit niedriger Konfidenz angepasst, um schwache, aber potenziell gültige Ziele während der Zuordnung zu erhalten^20,21,22. Konfidenzadaptive Zuordnungsstrategien haben daraufhin die Zuordnungskriterien basierend auf Bewegungskonsistenz und Erkennungszuverlässigkeit verfeinert^23,24,25. Methoden zur Trajektorienverbesserung, die auf der Regressionsanalyse von Erkennungsboxen und der Optimierung der Trajektorienglättung basieren, wurden ebenfalls eingesetzt, um die Fragmentierung von Trajektorien zu reduzieren^26,27,28. Zusätzliche Verfeinerungsstrategien liefern ergänzende Unterstützung, um die Kontinuität der Trajektorien unter komplexen Bewegungsbedingungen aufrechtzuerhalten²⁹. Der zeitlich kohärente Objektfluss modelliert zudem die objektbasierte zeitliche Konsistenz über mehrere Bilder hinweg und stellt einen weiteren, auf die Zuordnung ausgerichteten Ansatz zur Verringerung von Trajektorienunterbrechungen in komplexen MOT-Szenarien bereit³⁰. Tracker-Fusionsmethoden lernen aus den Ausgaben mehrerer Tracker und nutzen lernbasierte Selektions- oder Fusionsstrategien, um die Robustheit der Verfolgung über verschiedene MOT-Benchmarks hinweg zu verbessern³¹. Insgesamt zeigen diese Studien, dass eine konfidenzbewusste Zuordnung dabei hilft, unterbrochene Trajektorien wiederherzustellen. Allerdings liefern Konfidenz- und Bewegungshinweise nur begrenzte Identitätsinformationen, wenn Spieler derselben Mannschaft ein ähnliches visuelles Erscheinungsbild aufweisen. Obwohl diese Methoden die Trajektorienfragmentierung in allgemeinen Szenarien effektiv verringern, stoßen sie in Sportkontexten an inhärente Grenzen, da Spieler derselben Mannschaft oft ein sehr ähnliches visuelles Erscheinungsbild haben und eine alleinige Orientierung an Konfidenz- und Bewegungsinformationen keine ausreichende Grundlage für die Unterscheidung von Identitäten bietet^32,33,34. Selbst wenn Erkennungsboxen mit niedriger Konfidenz effektiv reidentifiziert werden, kann die Ähnlichkeit der Merkmale weiterhin zu Identitätswechseln führen, was die Erfüllung der strengen Anforderungen an die Identitätskonsistenz in der Sportanalyse erschwert.

Sportartspezifische Identitätsmerkmale wurden ebenfalls verwendet, um die Identitätsdiskriminierung bei der Athletenverfolgung zu verbessern. Semantische Informationen des Trikots, wie Mannschaftsfarbe und Spielernummer, liefern Identitätsmerkmale, die direkter mit Sportzenarien verknüpft sind als allgemeine Erscheinungseigenschaften^35,36,37. Die Trikotfarbe wurde genutzt, um die Unterscheidung auf Mannschaftsebene zu unterstützen und Verwechslungen zwischen Mannschaften zu reduzieren, während die Erkennung der Spielernummer einen feiner abgestuften Identitätsanhaltspunkt bietet, wenn der Nummernbereich sichtbar und lesbar ist^38,39. Bestehende Studien zur Sportverfolgung haben domänenspezifische visuelle Merkmale und die Erkennung von Trikotfarben integriert, um die Zuordnung von Spielern unter überfüllten Sportbedingungen zu verbessern^40,41. Arbeiten zur Erkennung von Trikotnummern und synthetischen Nummerndaten unterstützen zudem die Identitätsmodellierung unter Bedingungen niedriger Auflösung oder teilweiser Verdeckung^42,43. Diese Studien zeigen, dass Trikotsemantik die Identitätsrepräsentation im sportlichen Mehrfachobjekt-Tracking (MOT) stärken kann. Die meisten semantikbasierten Verfolgungsmethoden modellieren jedoch nicht ausreichend den Zusammenhang zwischen Detektionsvertrauen und der Qualität semantischer Merkmale. Detektionen mit hohem Vertrauen enthalten möglicherweise bereits zuverlässige räumliche und visuelle Informationen, wodurch eine wiederholte semantische Extraktion weniger effizient wird. Detektionen mit niedrigem Vertrauen leiden oft unter Verdeckung, Unschärfe, Abschneidung oder niedriger Auflösung, was die Zuverlässigkeit von Farb- und Spielernummernmerkmalen verringert. Diese Einschränkung motiviert ein vertrauensgeleitetes Zuordnungsdesign, bei dem Trikotsemantik entsprechend der Detektionsqualität eingeführt wird, anstatt einheitlich auf alle Detektionen angewendet zu werden. Die ausgewerteten Studien zeigen, dass vertrauensbasierte Zuordnung und semantische Trikotmodellierung unterschiedliche Aspekte des sportlichen MOT adressieren. Strategien basierend auf Vertrauen bestimmen hauptsächlich, ob eine Detektion an der Zuordnung teilnehmen soll und wie sie mit bestehenden Trajektorien abgeglichen werden soll, während semantische Trikotstrategien die Identitätsrepräsentation primär durch sportartspezifische Merkmale verbessern. Diese beiden Mechanismen werden jedoch oft als separate Komponenten konzipiert. Dadurch werden semantische Merkmale nicht immer entsprechend der Detektionsqualität angepasst, und Vertrauensniveaus regulieren nicht direkt die Nutzung von Farb- und Spielernummerinformationen während der Zuordnung. Diese Trennung begrenzt die gemeinsame Bewältigung von Trajektorienbrüchen und Identitätsverwirrung in Videos von Mannschaftssportarten. Die verbleibende Forschungslücke besteht darin, die Bewertung der Detektionsvertrauensqualität mit der semantischen Trikotzuordnung innerhalb desselben Tracking-Workflows zu verknüpfen.

Protokoll

Diese Studie umfasste eine sekundäre Analyse öffentlich zugänglicher Benchmark-Videodatensätze, und zwar SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 und MOT20. Es wurden keine Teilnehmer rekrutiert, es wurde keine Intervention durchgeführt, und es wurden keine neuen Daten an menschlichen Versuchspersonen erhoben. Eine Genehmigung durch einen Ethikausschuss war für diese Studie gemäß den geltenden institutionellen Vorgaben der Bangkok Thonburi University nicht erforderlich.

Das folgende Protokoll beschreibt den Arbeitsablauf zur Reproduktion von JerseyTrack, beginnend mit der Datenaufbereitung bis hin zur Auswertung der Objektverfolgung. Der Arbeitsablauf umfasst die Datensatzvorbereitung, die Vorbereitung des Detektors, die semantische Extraktion der Trikots, die Aufteilung nach Konfidenzniveau, die konfidenzgeleitete Zuordnung, die Verfolgungsanalyse und die Leistungsbewertung, wie in Abbildung 1 zusammengefasst. Die erforderliche Software, Datensätze und Hardwareressourcen sind in der Tabelle der Materialien aufgelistet.

Abbildung 1. Gesamtablauf des JerseyTrack-Verfahrens. Der Ablauf umfasst die semantische Merkmalsextraktion aus Trikots, die anfängliche Objektzuordnung, eine vertrauensbasierte ergänzende Zuordnung sowie die Merkmalsfusion. Trikotfarben- und Spielernummern-Merkmale werden aus erkannten Athletenbereichen extrahiert und in den Zuordnungsprozess integriert, um die Trajektorienzuordnung unter unsicheren Erkennungsbedingungen zu verbessern. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

1. Bereiten Sie die Datensätze und die Verzeichnisstruktur vor

1. Laden Sie die in der Tabelle der Materialien aufgeführten öffentlichen Benchmark-Datensätze herunter. Verwenden Sie SportsMOT als primären Datensatz für die Vorbereitung des Detektors und die Bewertung der Verfolgung. Behalten Sie TeamTrack, SoccerNet Tracking, MOT17 und MOT20 für die Quervergleichung zwischen Datensätzen bei.
2. Speichern Sie alle Datensätze in einem einheitlichen Projektverzeichnis. Stellen Sie sicher, dass der Detektor, das Modul zur semantischen Extraktion, das Verfolgungsmodul und das Evaluierungswerkzeug identische Sequenzbezeichner verwenden.
3. Konvertieren Sie die offiziellen SportsMOT-Anmerkungen mithilfe des in dieser Studie verwendeten Datenvorbereitungsskripts in das Format für das Training des Detektors. Führen Sie den folgenden Befehl aus:
   ..\venv\Scripts\python.exe scripts\prepare_data.py --config configs\datasets.local.json --dataset SportsMOT --out data\processed\SportsMOT_yolo --splits train val.
4. Das Datenvorbereitungsskript (scripts/prepare_data.py) ist im JerseyTrack-Quellcode-Repository verfügbar (https://doi.org/10.5281/zenodo.21274352). Die erforderlichen Softwareabhängigkeiten sind in der Datei environment.yml angegeben, einschließlich Python 3.12, PyTorch 2.11.0 und OpenCV 4.10 oder höher. Richten Sie die Softwareumgebung mit dem folgenden Befehl ein: conda env create -f environment.yml. Führen Sie das Datenvorbereitungsskript mit dem folgenden Befehl aus: python scripts/prepare_data.py --config configs/datasets.local.json --dataset SportsMOT --out data/processed/SportsMOT_yolo --splits train val.
5. Überprüfen Sie, ob die Konvertierung die Konfigurationsdatei für das Training des Detektors erzeugt: data\processed\SportsMOT_yolo\data.yaml sowie das Konvertierungsprotokoll: data\processed\SportsMOT_yolo\conversion_manifest.csv.
   HINWEIS: In dieser Studie enthielt der konvertierte SportsMOT-Trainings- und Validierungsdatensatz 90 Sequenzen, 55.544 Bilder und 608.152 annotierte Objekte.
6. Untersuchen Sie repräsentative Sequenzen, um sicherzustellen, dass die Reihenfolge der Bilder, die Koordinaten der Begrenzungsboxen und die Identitätskennungen mit den ursprünglichen Benchmark-Anmerkungen übereinstimmen.
7. Behalten Sie die konvertierten Anmerkungsdateien unverändert während der gesamten Vorbereitung des Detektors, der Verfolgungsinferenz und der Evaluierung bei, sodass alle Methoden dieselbe Datensatzpartition und dasselbe Evaluierungsprotokoll verwenden.
   HINWEIS: Das erwartete Ergebnis dieses Abschnitts ist ein standardisiertes SportsMOT-Detektor-Trainingsverzeichnis, das die konvertierten Anmerkungen, das Konvertierungsprotokoll und die Dateien zur Aufteilung des Datensatzes enthält, die für die Vorbereitung des Detektors und die Evaluierung der Verfolgung erforderlich sind.

2. Vorbereiten der Detektorausgänge

1. Feinjustieren Sie den Objektdetektor mithilfe des vorbereiteten SportsMOT-Trainingssplits. Optimieren Sie den Detektor unter Verwendung des Klassifizierungsverlusts und des Begrenzungsbox-Regressionsverlusts, die in Gleichung 1 definiert sind. Verwenden Sie die im Implementierungsaufbau sowie in der Tabelle der Materialien angegebenen Parameter für die Eingangsauflösung des Detektors, die Batchgröße, die Lernrate, die Anzahl der Trainingsepochen und andere Trainingsparameter.
   L_det = L_cls + L_box   (1)
   Hierbei bezeichnet L_det  den gesamten Detektorverlust, L_cls den Klassifizierungsverlust und L_box  den Begrenzungsbox-Regressionsverlust.
   HINWEIS: Der im Hauptexperiment verwendete Detektor-Checkpoint (interner Experiment-Identifier e3) wurde mit dem Ultralytics-YOLO-Framework unter Verwendung der SportsMOT-YOLO-Datensatzkonfiguration (data/processed/SportsMOT_yolo/data.yaml) trainiert. Führen Sie das Training des Detektors mit dem folgenden Befehl durch: yolo detect train data=data/processed/SportsMOT_yolo/data.yaml model=yolo11x.pt epochs=80 imgsz=960 batch=16 lr0=0.01 project=outputs/formal name=checkpoints/detector device=0. Verwenden Sie nach Abschluss des Trainings den resultierenden leistungsstärksten Checkpoint, um mit dem folgenden Befehl Detektor-Ausgaben für die Validierungssequenzen zu generieren: python scripts/formal_detect_yolo.py --dataset-root datasets/SportsMOT/dataset --split val --model outputs/formal/checkpoints/detector/weights/best.pt --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --imgsz 960 --conf 0.05 --device 0 --batch 16.
2. Speichern Sie nach dem Training den trainierten Detektor-Checkpoint, die zugehörige Metadatendatei und das Trainingsprotokoll.
   HINWEIS: In dieser Studie wurde der für die formalen Experimente verwendete Detektor-Checkpoint unter folgendem Pfad gespeichert:
   outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.pt. Die entsprechende Metadatendatei wurde unter folgendem Pfad gespeichert: outputs\formal\checkpoints\detector\sportsmot_yolo11x_i960_e3_best.json. Das für die Hauptvalidierungsexperimente mit SportsMOT verwendete Ausgabeverzeichnis des Detektors war: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections.
3. Führen Sie den trainierten Detektor auf jeder Validierungssequenz aus, um Begrenzungsboxen und Konfidenzwerte für Athleten zu generieren. Exportieren Sie pro Sequenz eine Detektionsdatei, die den Frame-Index, die Koordinaten der Begrenzungsbox, die Detektionskonfidenz und die Klassenbezeichnung enthält.
   HINWEIS: Bei der für die Hauptexperimente verwendeten SportsMOT-Validierungslauf wurde mit einem Konfidenzschwellenwert von 0,05 eine Gesamtanzahl von 343.990 Athletendetektionen erzielt.
4. Überprüfen Sie das Ausgabeverzeichnis des Detektors vor der Tracking-Inferenz. Stellen Sie sicher, dass jeder Sequenz eine entsprechende Detektionsdatei zugeordnet ist, dass die Frame-Indizes mit der vorbereiteten Bildsequenz übereinstimmen und dass jeder Detektionsdatensatz einen Konfidenzwert enthält.
   HINWEIS: Das erwartete Ergebnis dieses Abschnitts ist ein vollständiges Ausgabeverzeichnis des Detektors, das als Eingabe für die semantische Extraktion der Trikots, die Aufteilung nach Konfidenzniveau und die Tracking-Zuordnung dient.

3. Extrahieren Sie semantische Merkmale des Trikots

1. Verwenden Sie die Ausgabedateien des Detektors, um die Athletenbereiche aus jedem Videobild auszuschneiden. Speichern Sie jedes zugeschnittene Athletenbild mit seinem Sequenzkennzeichen, Bildindex und Detektionsindex. Schließen Sie ungültige Ausschnitte mit fehlendem Bildinhalt oder Begrenzungsrahmen, die außerhalb der Bildgrenze liegen, aus. Behalten Sie die Verknüpfung zwischen jedem Ausschnittdateinamen und seinem ursprünglichen Detektionsdatensatz bei, sodass die extrahierten semantischen Merkmale während der Verfolgungsverknüpfung den entsprechenden Detektionen zugeordnet werden können.
2. Extrahieren Sie die Trikotfarbmerkmale aus den zugeschnittenen Athletenbildern mithilfe des im vorliegenden Studie verwendeten semantischen Extraktionsskripts.
   HINWEIS: Die Skripte zur semantischen Merkmalsextraktion (scripts/extract_fast_color_semantics.py und scripts/formal_extract_semantics.py) sind im JerseyTrack-Quellcode-Repository verfügbar (https://doi.org/10.5281/zenodo.21274352). Es ist keine separate Konfigurationsdatei erforderlich; alle Laufzeitparameter werden über Befehlszeilenargumente bereitgestellt.
   Generieren Sie Trikotfarbdeskriptoren mit dem folgenden Befehl: python scripts/extract_fast_color_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color. Generieren Sie semantische Merkmale der Spielernummer mithilfe des OCR-Modells mit dem folgenden Befehl: python scripts/formal_extract_semantics.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --frames-root datasets/SportsMOT/dataset/val --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_ocr. Die generierten Trikotfarbdeskriptoren und die Wahrscheinlichkeitsausgaben für die Spielernummer werden über den Sequenzkennzeichner verknüpft und zu den semantischen Merkmalsdateien kombiniert, die während der Verfolgungsverknüpfung verwendet werden.
3. Konvertieren Sie jedes zugeschnittene Athletenbild in den Farbraum Hue, Saturation, Value (HSV). Extrahieren Sie Vordergrundpixel aus dem Trikotbereich und fassen Sie die dominante Trikotfarbe mittels K-Means-Clustering mit K = 3 zusammen. Normalisieren Sie den resultierenden Farbdeskriptor vor dem Merkmalsvergleich mittels L2-Normalisierung.
4. Trainieren Sie den Zweig zur Erkennung der Spielernummer mithilfe zugeschnittener Athletenbilder mit einer Eingabegröße von 128 × 64 Pixeln. Generieren Sie Pseudokennzeichnungen für die Spielernummer mithilfe des im vorliegenden Studie verwendeten schwach überwachten Kennzeichnungsverfahrens. Schließen Sie Ausschnitte mit unsichtbaren, unlesbaren, stark verdeckten oder niedrigen Konfidenzbereichen für die Spielernummer von der Berechnung des Optical-Character-Recognition-(OCR)-Verlusts aus.
5. Optimieren Sie den OCR-Zweig mithilfe des in Gleichung 2 definierten Kreuzentropieverlusts.
   (2)
   Hier bezeichnet L_ocr den OCR-Verlust, y_i  bezeichnet die überwachte Spielernummernkennzeichnung und bezeichnet die vorhergesagte Spielernummernkategorie.
6. Optimieren Sie das Modul zur semantischen Merkmalsextraktion mithilfe des adaptiven Optimierers, der Lernrate, der Batchgröße, des Gewichtsverfalls und der Trainingsdauer, die in der Tabelle der Materialien aufgeführt sind. Kombinieren Sie den Detektorverlust und den OCR-Verlust mithilfe des in Gleichung 3 definierten gesamten Trainingsziels.
   L_total = L_det + γL_ocr   (3)
   Hier bezeichnet L_total den gesamten Trainingsverlust, L_det bezeichnet den in Gleichung 1 definierten Detektorverlust, L_ocr bezeichnet den in Gleichung 2 definierten OCR-Verlust und bezeichnet den benutzerdefinierten Gewichtungskoeffizienten für den OCR-Verlust.
7. Wenden Sie den trainierten OCR-Zweig auf jedes zugeschnittene Athletenbild an. Speichern Sie die vorhergesagte Spielernummernkategorie oder den Wahrscheinlichkeitsvektor für jeden Ausschnitt. Wenn die Spielernummer nicht sichtbar ist oder die OCR-Konfidenz unterhalb des in der Implementierung definierten Schwellwerts liegt, vermerken Sie das Spielernummernmerkmal als nicht verfügbar, anstatt eine Vorhersage zu erzwingen.
8. Kombinieren Sie den Trikotfarbdeskriptor und die Spielernummernausgabe zur semantischen Merkmalsdatei, die vom Verfolgungsmodul verwendet wird.
   HINWEIS: Im Hauptvalidierungslauf von SportsMOT verarbeitete das semantische Extraktionsskript 343.990 Detektionen ohne fehlende Bilder oder ungültige Ausschnitte. Im aktuellen Überarbeitungspaket meldete die semantische Extraktionszusammenfassung eine Gesamtgenauigkeit der Extraktion semantischer Merkmale aus Farbe und OCR von 86,7 % unter den evaluierten SportsMOT-Bedingungen. Das erwartete Ergebnis dieses Abschnitts ist eine semantische Merkmalsdatei, in der jeder gültige Detektionsdatensatz mit einem Trikotfarbdeskriptor, einer Spielernummernausgabe (falls verfügbar) und einer Kennzeichnung verknüpft ist, die angibt, ob semantische Informationen für die Verfolgungsverknüpfung verfügbar sind.

4. Konfidenzniveaus für die Partitionserkennung

1. Laden Sie die Detektor-Ausgabedatei für jede Videosequenz. Sammeln Sie die Konfidenzwerte aller Athleten-Detektionen in jedem Einzelbild.
2. Teilen Sie die Konfidenzwerte auf Ebene der Einzelbilder in Intervalle mit hoher, mittlerer und niedriger Konfidenz mithilfe von K-Means-Clustering mit K = 3 auf, gemäß dem im Abbildung 2 gezeigten konfidenzgeführten Assoziierungsworkflow. Bestimmen Sie die adaptiven Konfidenzschwellwerte, indem Sie die Varianz innerhalb der Cluster gemäß Gleichung 4 minimieren.
     (4)
   Hier bezeichnet s_d den Konfidenzwert der Detektion d; D₁, D₂ und D₃ bezeichnen die Intervalle mit hoher, mittlerer und niedriger Konfidenz; μ₁, μ₂ und μ₃ bezeichnen die mittleren Konfidenzwerte der drei Intervalle; und τ₁ sowie τ₂ bezeichnen die aus den K-Means-Clustering-Ergebnissen abgeleiteten adaptiven Konfidenzschwellwerte.
   HINWEIS: Das Skript zur Konfidenzpartitionierung (scripts/formal_partition_confidence.py) ist im JerseyTrack-Quellcode-Repository verfügbar (https://doi.org/10.5281/zenodo.21274352). Das Konfidenzpartitionierungsmodul verwendet ein eindimensionales K-Means-Clustering-Verfahren auf Basis von NumPy mit K = 3. Es ist keine separate Konfigurationsdatei erforderlich; das Eingabe- und Ausgabeverzeichnis sowie der Clustering-Parameter werden über Befehlszeilenargumente angegeben. Führen Sie die Konfidenzpartitionierung mit folgendem Befehl aus: python scripts/formal_partition_confidence.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --k 3. Die erforderlichen Softwareabhängigkeiten, einschließlich der NumPy-Version, sind in environment.yml angegeben.
3. Führen Sie die Konfidenzpartitionierung mit dem Verzeichnis der Detektor-Ausgabe als Eingabe durch.
   HINWEIS: In dieser Studie war das Verzeichnis der Detektor-Ausgabe: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\detections. Das Ausgabeverzeichnis der Konfidenzpartitionierung war: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_threshold_sweep\t005\confidence. Die generierten Ausgabedateien enthielten pro Sequenz die Konfidenz-CSV-Dateien, _confidence_frame_summary.csv und _confidence_runtime.csv.
4. Weisen Sie jeder Detektion eine Konfidenzstufen-Bezeichnung zu. Kennzeichnen Sie Detektionen mit hoher Konfidenz für die bewegungsbasierte Assoziierung, Detektionen mit mittlerer Konfidenz für die bewegungssemantische Assoziierung und Detektionen mit niedriger Konfidenz ausschließlich für die Trajektorienrekonstruktion. Bewahren Sie den ursprünglichen Konfidenzwert zusammen mit der zugewiesenen Konfidenzstufen-Bezeichnung auf.
5. Überprüfen Sie die Verteilungen der Konfidenzwerte und repräsentative Einzelbilder, wie in Abbildung 3 veranschaulicht. Stellen Sie sicher, dass Detektionen mit hoher Konfidenz vorwiegend vollständigen und zuverlässigen Begrenzungsrahmen der Athleten entsprechen, während Detektionen mit mittlerer und niedriger Konfidenz hauptsächlich unvollständige, verdeckte, unscharfe oder schwache Detektionen enthalten.
   HINWEIS: Das erwartete Ergebnis dieses Abschnitts ist eine Konfidenzpartitionierungsdatei, die den Detektionsindex, den ursprünglichen Konfidenzwert, die zugewiesene Konfidenzstufe und die adaptiven Konfidenzschwellwerte auf Ebene der Einzelbilder für jede Detektion enthält.

Abbildung 2. Konfidenzgeleitete Zuordnungsstrategie. Der Arbeitsablauf unterteilt die Detektionskonfidenz mithilfe einer adaptiven Konfidenz-Clustering-Methode in hohe, mittlere und niedrige Konfidenzintervalle. Detektionen mit hoher Konfidenz werden anhand von Bewegungsähnlichkeit zugeordnet, Detektionen mit mittlerer Konfidenz anhand einer Kombination aus Bewegungs- und Trikot-Semantikähnlichkeit, und Detektionen mit niedriger Konfidenz dienen der semantikunterstützten Trajektorienrekonstruktion mit Mehrfrahmenverifikation. Das rechte Panel fasst die mathematische Formulierung zusammen, die für die Konfidenzunterteilung und -zuordnung verwendet wird. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 3. Verteilung der Erkennungskonfidenzwerte. Das Histogramm zeigt die Anzahl der Erkennungsboxen für Athleten innerhalb von fünf Konfidenzintervallen für die Sequenzen von Fußball, Basketball und Volleyball im SportsMOT-Datensatz. Die Verteilung veranschaulicht Unterschiede in der Erkennungskonfidenz über die ausgewerteten Sportkategorien hinweg. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

5. Führen Sie eine vertrauensgeleitete Assoziation durch

1. Laden Sie die Detektor-Ausgabedatei, die Datei mit semantischen Merkmalen und die Datei mit den Konfidenzpartitionen für jede Videosequenz. Initialisieren Sie den Tracker mithilfe der ersten gültigen Detektionen und verwalten Sie einen Trajektoriezustand für jeden verfolgten Athleten. Für jeden nachfolgenden Frame prognostizieren Sie die Position jeder bestehenden Trajektorie unter Verwendung des Bewegungsmodells des Kalman-Filters.
2. Berechnen Sie die Bewegungsähnlichkeit zwischen jeder prognostizierten Trajektorie und der Kandidatendetektion unter Verwendung des Mahalanobis-Abstands, wie in Gleichung 5 definiert.
     (5)
   Hierbei bezeichnet die I-te Trajektorie im Frame k, den Kalman-prognostizierten Trajektoriezustand, d_j die Kandidatendetektion, die inverse Kovarianzmatrix des prognostizierten Trajektoriezustands und S_mot den Bewegungsabstand zwischen der prognostizierten Trajektorie und der Detektion.
   HINWEIS: Der Kern des Assoziierungsworkflows ist in jerseytrack/formal_tracker.py implementiert und wird über scripts/formal_track.py ausgeführt, beides verfügbar im JerseyTrack-Quellcode-Repository (https://doi.org/10.5281/zenodo.21274352). Es wird keine separate Konfigurationsdatei benötigt. Alle Laufzeitparameter, einschließlich der Konfidenzschwellen, maximale Track-Alter, Bewegungsgewichtskoeffizienten und Zentralabstandsgewichtung, werden über Kommandozeilenargumente übergeben. Der vollständige Ausführungsbefehl und die Parameter sind in Schritt 6.2 angegeben. Die Implementierung verwendet den linearen Summenzuweisungsalgorithmus von SciPy für das ungarische Matching und NumPy für die kostenbasierte Assoziation.
3. Führen Sie den Tracking-Workflow unter Verwendung der Detektor-Ausgabedatei, der Datei mit semantischen Merkmalen und der Konfidenzpartition-Datei als Eingaben aus.
   HINWEIS: In dieser Studie wurde der Kern-Tracker in jerseytrack\formal_tracker.py implementiert, und der Tracking-Workflow wurde mit scripts\formal_track.py ausgeführt.
4. Assoziieren Sie Detektionen mit hoher Konfidenz mit bestehenden Trajektorien unter Berücksichtigung der Bewegungskonsistenz. Aktualisieren Sie die passenden Trajektorien und initialisieren Sie neue Trajektorien nur, wenn ungepaarte Detektionen mit hoher Konfidenz die Kriterien für die Trajektorieninitialisierung erfüllen.
5. Überprüfen Sie die in Abbildung 4 dargestellten Ergebnisse der semantischen Merkmalsextraktion aus den Trikots und erstellen Sie für jede Detektion den semantischen Merkmalsvektor des Trikots, indem Sie den Teamfarb-Deskriptor und das Spielernummern-Merkmal gemäß Gleichung 6 kombinieren.
   f_sem = [f_col;f_id] (6)
   Hierbei bezeichnet f_sem den fusionierten semantischen Merkmalsvektor, f_col den Teamfarb-Deskriptor und f_id das vom OCR-Zweig generierte Spielernummern-Merkmal.
6. Assoziieren Sie Detektionen mit mittlerer Konfidenz, indem Sie Bewegungsähnlichkeit mit der semantischen Trikot-Ähnlichkeit kombinieren. Berechnen Sie die fusionierte Matching-Bewertung gemäß Gleichung 7.
   (7)
   Hierbei bezeichnet S_sem die Kosinus-Ähnlichkeit zwischen den semantischen Merkmalsvektoren der Trajektorie und der Kandidatendetektion, S_mot den in Gleichung 5 definierten Bewegungsabstand und λ den adaptiven Fusionskoeffizienten, der die Terme für Bewegungs- und semantische Ähnlichkeit ausbalanciert.
7. Berechnen Sie den adaptiven Fusionskoeffizienten gemäß Gleichung 8.
   (8)
   Hierbei bezeichnet λ₀ den initialen Bewegungsgewichtskoeffizienten, σ_sd die Standardabweichung der Detektionskonfidenzwerte im aktuellen Frame und σ_max die maximale Standardabweichung der Konfidenzwerte, die zur Normalisierung verwendet wird.
8. Verwenden Sie Detektionen mit niedriger Konfidenz ausschließlich zur Trajektorienwiederherstellung. Verbinden Sie Detektionen mit niedriger Konfidenz nur mit unterbrochenen Trajektorien, wenn semantische Informationen verfügbar sind und die Wiederherstellungskriterien erfüllt sind. Wenden Sie eine Mehr-Frames-Verifizierung an, bevor Sie eine Trajektorienidentität wiederherstellen, und verwerfen Sie Detektionen, die die Verifizierung nicht bestehen.
   HINWEIS: Wenn das Merkmal der Spielernummer nicht verfügbar ist, führen Sie die Assoziation unter Verwendung der verfügbaren semantischen Informationen und der Bewegungskonsistenz durch, anstatt eine Spielernummer-Übereinstimmung zu erzwingen. Das erwartete Ergebnis dieses Abschnitts ist eine Frame-für-Frame-Tracking-Aufzeichnung, die Trajektorienidentitäten, Bounding-Boxes, Konfidenzstufen, Bewegungskosten, semantische Informationen und endgültige Assoziierungsentscheidungen enthält. Im Überarbeitungsnachweis-Paket wurden die Tracking-Ergebnisse unter: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2\age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1\tracking gespeichert.

Abbildung 4. Extraktion semantischer Merkmale aus Trikots. Dargestellte Spielererkennungen sind mit den extrahierten Beschreibungen der Teamfarben sowie der Spielernummern versehen, die vom Modul zur semantischen Trikotmerkmalsextraktion generiert wurden. Die extrahierten semantischen Merkmale werden anschließend in die datenbasierte Zuordnung unter Berücksichtigung der Zuverlässigkeit integriert. Bitte klicken Sie hier, um eine vergrößerte Darstellung dieser Abbildung anzusehen.

6. Führen Sie die Bewegungserfassung durch und exportieren Sie die Ergebnisse

1. Führen Sie die Verfolgungsinferenz für jede Videosequenz unter Verwendung der vorbereiteten Dateien mit Detektorergebnissen, semantischen Merkmalen und Konfidenz-Partitionsdateien durch. Verarbeiten Sie die Videobilder in chronologischer Reihenfolge, damit die Zustände der Trajektorien, die semantische Historie und die Entscheidungen zur Trajektorienwiederherstellung während der gesamten Sequenz konsistent aktualisiert werden. Verwenden Sie für alle ausgewerteten Sequenzen dieselbe Inferenzkonfiguration, sofern nicht ausdrücklich eine datensatzspezifische Einstellung angegeben ist.
   ANMERKUNG: Die Verfolgungsinferenz wurde mithilfe des Skripts formal_track.py ausgeführt, das im JerseyTrack-Quellcode-Repository verfügbar ist (https://doi.org/10.5281/zenodo.21274352). Es ist keine separate Konfigurationsdatei erforderlich. Führen Sie die Verfolgungsinferenz mit dem folgenden Befehl aus: python scripts/formal_track.py --detections-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/detections --semantic-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_t005_color --confidence-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_threshold_sweep/t005/confidence --out-dir outputs/formal_runs/sportsmot_val_yolo11x_i960_e3_center_motion_sweep_round2/age45_h0p95_m0p94_l0p58_mw0p65_lw0p5_va0p25_hsp0p0_cdw0p1/tracking --max-age 45 --high-threshold 0.95 --medium-threshold 0.94 --low-threshold 0.58 --medium-motion-weight 0.65 --low-motion-weight 0.5 --velocity-alpha 0.25 --center-distance-weight 0.1. Alle nicht angegebenen Parameter behielten die Standardwerte, die im archivierten Quellcode festgelegt sind.
2. Wenden Sie nach der Inferenz die primäre Nachbearbeitungssequenz mit den folgenden Befehlen an: python scripts/merge_tracklets.py und python scripts/sweep_track_filter.py --min-len 95.
3. Exportieren Sie die Verfolgungsergebnisse im vom Evaluierungswerkzeug benötigten Format. Schließen Sie den Bildindex, die Trajektorienidentität, die Begrenzungsboxkoordinaten und alle vom Benchmark-Evaluierungsformat geforderten Felder ein. Speichern Sie für jede Sequenz eine einzelne Ergebnisdatei unter Verwendung einer einheitlichen Benennungskonvention, sodass jede Ergebnisdatei der entsprechenden Ground-Truth-Anmerkungsdatei zugeordnet werden kann.
4. Wenden Sie ausschließlich die in dieser Studie verwendeten Nachbearbeitungsschritte an. Führen Sie das Zusammenführen von Tracklets und das Filtern von Spuren mithilfe der in dem Überarbeitungspaket beschriebenen Nachbearbeitungsskripte durch.
   ANMERKUNG: In dieser Studie wurde der folgende Nachbearbeitungsworkflow verwendet:
   ⋅ scripts\merge_tracklets.py
   ⋅ scripts\sweep_track_filter.py
   ⋅ scripts\correct_identity_swaps.py
   ⋅ scripts\sweep_identity_swap_correction.py
   ⋅ scripts\interpolate_tracks.py
   ⋅ scripts\sweep_track_interpolation.py
5. Überprüfen Sie die exportierten Verfolgungsergebnisse vor der quantitativen Auswertung. Stellen Sie sicher, dass die Trajektorienidentitäten innerhalb jeder Sequenz numerisch und konsistent bleiben, dass keine Bildindizes fehlen und dass alle Begrenzungsboxen innerhalb der Bilddimensionen liegen.
   ANMERKUNG: Das erwartete Ergebnis dieses Abschnitts ist ein vollständiger Satz von sequenzbasierten Verfolgungsergebnisdateien, die zur quantitativen Evaluierung bereitstehen.

7. Bewertung der Verfolgungsleistung

1. Werten Sie die exportierten Tracking-Ergebnisdateien mithilfe des im Materialverzeichnis aufgeführten Evaluierungstools aus. Ordnen Sie jede Tracking-Ergebnisdatei der entsprechenden Ground-Truth-Anmerkungsdatei und Datensatz-Aufteilung zu. Verwenden Sie für alle zu vergleichenden Methoden dieselbe Evaluierungskonfiguration, um sicherzustellen, dass sich Leistungsunterschiede aus den Tracking-Ergebnissen und nicht aus den Evaluierungseinstellungen ergeben.
2. Führen Sie die Auswertung mit dem folgenden Befehl durch
   \.venv\Scripts\python.exe evaluation\trackeval\scripts\nun_mot_challenge.py --GT_FOLDER datasets\SportsMOT\dataset\val --RESULTS_DIR outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine
   _round1\minlen95 --OUTPUT_FOLDER outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
   round1\minlen95\trackeval --TRACKERS_TO_EVAL JerseyTrack_i960_e3_center_motion_minlen95 --BENCHMARK SportsMOT --SPLIT_TO_EVAL val
   HINWEIS: Die Evaluierung wurde mit der standardmäßigen TrackEval-Metrikimplementierung (Version 1.3.0) durchgeführt, die im Reproduzierbarkeitspaket von JerseyTrack archiviert ist. Es wurden keine Änderungen an den Implementierungen der Higher Order Tracking Accuracy (HOTA), CLEAR oder Identity-Metriken vorgenommen. Das Repository enthält die MOTChallenge-artige Ausführungsumgebung unter evaluation/trackeval/scripts/run_mot_challenge.py, die die Pfade für Datensatz und Ergebnisse konfiguriert und die standardmäßigen TrackEval-Evaluierungsmetriken aufruft.
3. Notieren Sie die in der Publikation angegebenen Evaluierungsmetriken, darunter Multiple Object Tracking Accuracy (MOTA), IDentity F1 Score (IDF1), Higher Order Tracking Accuracy (HOTA), Detektionsgenauigkeit (DetA), Assoziierungsgenauigkeit (AssA), falsch positive (FPs), falsch negative (FNs) sowie Identitätswechselereignisse. Exportieren Sie die Evaluierungszusammenfassung als Tabelle und bewahren Sie die pro Sequenz vorliegenden Evaluierungsdateien zur Überprüfung auf.
4. Vergleichen Sie JerseyTrack mit Baseline-Methoden unter Verwendung derselben Datensatz-Aufteilung, derselben Detektor-Ausgaben und derselben Evaluierungskonfiguration für alle Methoden. Dokumentieren Sie Datensatz, Quelle der Detektor-Ausgaben, Konfiguration des Evaluierungstools sowie die Metrikwerte für jeden Vergleich.
5. Überprüfen Sie die Evaluierungs-Logs, um sicherzustellen, dass alle Sequenzen erfolgreich ausgewertet wurden und keine Tracking-Ergebnisdateien fehlen.
   HINWEIS: In dieser Studie wurde die primäre TrackEval-Zusammenfassungsdatei gespeichert unter: outputs\formal_runs\sportsmot_val_yolo11x_i960_e3_center_motion_filter_fine_
   round1\minlen95\trackeval\JerseyTrack_i960_
   e3_center_motion_minlen95\pedestrian_summary.txt. Das erwartete Ergebnis dieses Abschnitts ist eine vollständige Zusammenfassungstabelle der Evaluierung sowie die pro Sequenz vorliegenden Metrikdateien, die die berichteten Ergebnisse unterstützen und eine nachträgliche Überprüfung ermöglichen.

Ergebnisse

Dieser Abschnitt berichtet über die quantitativen und qualitativen Ergebnisse, die aus den evaluierten Experimenten zum Mehrfachobjekt-Tracking im Sport gewonnen wurden. Die Ergebnisse konzentrieren sich auf die Verfolgungsgenauigkeit, die Erhaltung der Identität, die Qualität der Zuordnung und die Robustheit unter den getesteten Datensatzeinstellungen. Leistungsansprüche beschränken sich auf die evaluierten Methoden, Datensätze, Detektorergebnisse und die Konfiguration des Evaluierungstools, die im Protokoll und der Implementierungseinrichtung beschrieben sind.

Experimenteller Aufbau und Evaluationsdesign

Datensatz und Vorverarbeitung:

SportsMOT wurde als primärer Benchmark für die Vorbereitung des Detektors, die Tracking-Inferenz und die quantitative Bewertung verwendet. Der Datensatz enthält 240 Videosequenzen und mehr als 150.000 Bildframes aus Szenarien des Fußballs, Basketball und Volleyball (Abbildung 5). Bei der offiziellen Bewertung wurden die Hauptergebnisse von SportsMOT unter Verwendung des Validierungssplits sowie der im Protokoll beschriebenen Detektor-Ausgaben, Tracking-Konfiguration und TrackEval-Einstellungen berechnet. Die Bewertung über Datensätze hinweg wurde auf TeamTrack, SoccerNet Tracking, MOT17 und MOT20 durchgeführt, um die Übertragbarkeit der Leistungsfähigkeit auf verschiedene Datensatztypen zu untersuchen, anstatt direkte Vergleiche auf metrischer Ebene zwischen den Datensätzen anzustellen.

Abbildung 5. Repräsentative Datensätze zur Evaluierung. Beispielbilder zeigen repräsentative Sequenzen aus Fußball, Basketball und Volleyball, die für die experimentelle Evaluierung verwendet wurden. Die Abbildung verdeutlicht Unterschiede in der Kameraperspektive, der Spielerdichte und der Szenenkomplexität zwischen den evaluierten Datensätzen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Die SportsMOT-Daten wurden gemäß der offiziellen Datensatzstruktur organisiert und in das im Protokoll beschriebene Format für das Training des Detektors umgewandelt. Die konvertierten SportsMOT-Trainings- und Validierungsdaten enthielten 90 Sequenzen, 55.544 Bilder und 608.152 annotierte Objekte. Die Trainingspartition wurde zur Vorbereitung des Detektors und zur Anpassung der Parameter verwendet, während die Validierungspartition für die formale Verfolgungsbewertung genutzt wurde, die in dieser Studie berichtet wird. Alle Eingabebilder wurden entsprechend der im Protokoll und in der Tabelle der Materialien angegebenen Detektor-Konfiguration skaliert. Derselbe Vorverarbeitungsschritt wurde während der Detektorvorbereitung, der semantischen Merkmalsextraktion, der Verfolgungsinferenz und der TrackEval-Bewertung angewandt, sodass die berichteten Unterschiede hauptsächlich auf die Strategie der Verfolgungszuordnung und nicht auf Unterschiede in der Datenverarbeitung zurückzuführen waren.

Evaluationsindikatoren:

Die Verfolgungsleistung wurde mithilfe eines mit MOTChallenge kompatiblen Evaluierungsprotokolls bewertet, das mit dem im Materialverzeichnis aufgeführten Evaluierungstoolkit implementiert wurde. Die angegebenen Metriken beschreiben drei Aspekte der Verfolgungsleistung im Sport: die Gesamtgenauigkeit der Verfolgung, die Identitätserhaltung sowie die Qualität von Detektion und Zuordnung. Als primäre Evaluierungsmetriken wurden MOTA, IDF1 und HOTA verwendet^44,45. MOTA fasst falsch positive Ergebnisse, falsch negative Ergebnisse und Identitätswechsel in einer Gesamtbewertung für die Verfolgungsgenauigkeit zusammen. IDF1 misst die Konsistenz zwischen vorhergesagten Trajektorien und den tatsächlichen Identitäten. HOTA bewertet gemeinsam die Genauigkeit der Detektion und die Genauigkeit der Zuordnung und charakterisiert somit das Gleichgewicht zwischen Zielpositionierung und Trajektorienzuordnung. DetA und AssA wurden als ergänzende Metriken angegeben. FPs, FNs und Identitätswechsel (IDs) dienten zur Beschreibung der Fehlerquellen im Zusammenhang mit falschen Detektionen, verpassten Detektionen und Identitätsänderungen. Bei Vergleichen zwischen Methoden auf SportsMOT wurden dieselben Detektorausgaben und dieselbe Konfiguration des Evaluierungstoolkits verwendet, um den Einfluss von Unterschieden zwischen Detektoren und Evaluierungseinstellungen zu reduzieren. Bei Vergleichen über verschiedene Datensätze hinweg wurden die Metrikwerte als innerhalb eines Datensatzes erzielte Evaluierungsergebnisse interpretiert, nicht als Beleg für eine absolute Leistungsüberlegenheit über verschiedene Datensätze hinweg.

Experimentelles Umfeld und Parameterkonfiguration:

Die Experimente wurden unter Verwendung der in der Tabelle der Materialien aufgeführten Hardware- und Software-Ressourcen durchgeführt. Derselbe rechnerische Rahmen, Detektoransatz, Detektorausgaben und Evaluierungskit wurden in allen primären SportsMOT-Experimenten verwendet, um Konsistenz während der Detektorvorbereitung, der Tracking-Inferenz und der Leistungsbewertung zu gewährleisten. Der in der Tabelle der Materialien angegebene Detektoransatz wurde mit einer Batch-Größe von 16, einer anfänglichen Lernrate von 0,01 und 80 Trainingsepochen trainiert. Im Modul zur semantischen Extraktion der Trikots wurde zur Farbclustering K-Means mit K = 3 verwendet, und der OCR-Zweig verwendete ein leichtgewichtiges faltendes rekurrentes neuronales Netzwerk mit einer Eingabegröße von 128 × 64 Pixeln. Der OCR-Zweig wurde mithilfe des in der Tabelle der Materialien aufgeführten adaptiven Optimierers optimiert, mit einer Lernrate von 1 × 10⁻³, einer Gewichtsreduzierung (weight decay) von 1 × 10⁻⁵, einer Batch-Größe von 64 und 40 Trainingsepochen. Während des Trainings des Moduls zur semantischen Merkmalsextraktion wurde kein zusätzliches Lernraten-Scheduling verwendet. Der Gewichtungskoeffizient für den OCR-Verlust (γ) wurde als benutzerdefinierter Hyperparameter behandelt und basierend auf der Leistung auf dem Validierungsdatensatz ausgewählt. Die stratifizierte Aufteilung nach Konfidenzniveau verwendete eine adaptive K-Means-Partitionierung, bei der τ₁ und τ₂ aus der Verteilung der Detektionskonfidenz jedes Einzelbildes berechnet wurden, anstatt vor der Inferenz manuell festgelegt zu werden.

Verfolgungsleistung über verschiedene Sportarten und Szenariokomplexitäten hinweg

Quantitative Leistung unter verschiedenen Sport- und Szenenbedingungen:

Die Verfolgungsleistung wurde anhand zweier Gruppierungsfaktoren bewertet: Sportart und Szenenkomplexität. Die Analyse nach Sportart umfasste Sequenzen aus Fußball, Basketball und Volleyball. Die Analyse der Szenenkomplexität berücksichtigte den Grad der Verdeckung, die Bewegungsgeschwindigkeit und die Ziel-Dichte, wobei dieselben Gruppierungskriterien für alle bewerteten Sequenzen angewandt wurden. Die angegebenen Metriken folgten dem Evaluierungsprotokoll, das im Abschnitt 7 des Protokolls beschrieben ist.

Abbildung 6 fasst die Ergebnisse der quantitativen Verfolgung unter verschiedenen Sportkategorien und Bedingungen der Szenenkomplexität zusammen. Abbildung 6A zeigt MOTA und DetA für Sequenzen aus Fußball, Basketball und Volleyball. Abbildung 6B zeigt die Variation von MOTA unter verschiedenen Grad der Verdeckung, Bewegungsgeschwindigkeit und Ziel-Dichte. Abbildung 6C zeigt aufsummierte FP- und FN-Zählungen für jede Dimension der Szenenkomplexität.

Abbildung 6. Verfolgungsgenauigkeit über Sportkategorien und Szenenbedingungen hinweg. (A) Genauigkeit der Mehrfachobjektverfolgung (MOTA) und Erkennungsgenauigkeit (DetA) für Fußball, Basketball, Volleyball und den Gesamtdurchschnitt. (B) MOTA über repräsentative Szenenbedingungen mit unterschiedlichem Grad an Verdeckung, Spielerdichte und Bewegungskomplexität. (C) Anzahl der falsch positiven (FPs) und falsch negativen (FNs) Ergebnisse über die evaluierten Szenenbedingungen hinweg. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

In den drei Sportkategorien erzielte JerseyTrack eine durchschnittliche MOTA von 88,9 % und eine durchschnittliche DetA von 80,2 %. Der Unterschied in der MOTA zwischen den Sportkategorien betrug 1,3 Prozentpunkte, wobei die höchste MOTA bei Volleyballsequenzen (89,2 %) und die niedrigste bei Basketballsequenzen (87,9 %) beobachtet wurde. Die niedrigere MOTA bei Basketballsequenzen steht im Einklang mit der höheren Häufigkeit naher Interaktionen und starker Verdeckung in den ausgewerteten Sequenzen. Unter weniger komplexen Szenenbedingungen, einschließlich leichter Verdeckung, geringer Bewegungsgeschwindigkeit und spärlicher Zielverteilung, erreichte die MOTA jeweils 91,8 %, 93,1 % und 93,8 %. Unter komplexeren Szenenbedingungen sank die MOTA auf 84,9 % bei starker Verdeckung, 83,6 % bei schneller Bewegung und 83,1 % bei dichter Zielverteilung. Diese Ergebnisse zeigen, dass die Verfolgungsleistung abnahm, wenn die Szenenkomplexität zunahm, jedoch innerhalb des berichteten Bereichs über alle ausgewerteten Sportzenarien hinweg blieb.

Verfolgung der Konsistenz über repräsentative Sport-Szenarien hinweg:

Abbildung 7 zeigt repräsentative Verfolgungsbeispiele, die die zeitliche Konsistenz von JerseyTrack unter drei anspruchsvollen Sport-Szenarien veranschaulichen: dichte Spielerinteraktionen, längere teilweise Verdeckungen und schnelle Richtungswechsel. In diesen repräsentativen Sequenzen behielt der Tracker trotz häufiger Überlappung der Athleten und dynamischer Bewegungen konsistente Trajektorien-Identitäten bei. Identitätsfragmentierung trat hauptsächlich bei starker Verdeckung oder vorübergehendem Fehlen der Trikot-Informationen auf; die vertrauensgeleitete Zuordnungsstrategie ermöglichte jedoch die Wiederherstellung der Trajektorien, sobald zuverlässige Detektionen erneut erschienen. Diese repräsentativen Beispiele unterstützen qualitativ die quantitativen Ergebnisse aus Abbildung 6, indem sie eine stabile Erhaltung der Identitäten unter den evaluierten Bedingungen der Sportverfolgung demonstrieren.

Abbildung 7. Repräsentative Verfolgungsergebnisse, erzeugt von JerseyTrack. Aufeinanderfolgende Einzelbilder aus Sequenzen von Basketball, Fußball und Volleyball veranschaulichen die Beibehaltung der Identitäten und Trajektorien der Athleten während der Verfolgung. Farbige Begrenzungsrahmen stellen die verfolgten Identitäten dar, die über aufeinanderfolgende Videobilder hinweg beibehalten werden. Bitte klicken Sie hier, um eine vergrößerte Ansicht dieser Abbildung einzusehen.

Ergebnisse der Ablation zur Erhaltung der Identität:

Eine Ablationsanalyse wurde durchgeführt, um die Beiträge der konfidenzgeleiteten Assoziationsstrategie und des Trikot-Semantik-Fusionsmoduls zur Identitätserhaltung zu untersuchen. Vier Modellvarianten wurden verglichen: V0, die Baseline ohne konfidenzgeleitete Assoziation oder Trikot-Semantik-Fusion; V1, die Variante mit ausschließlicher Verwendung der konfidenzgeleiteten Assoziation; V2, die Variante mit ausschließlicher Verwendung der Trikot-Semantik-Fusion; und V3, die vollständige JerseyTrack-Konfiguration, die beide Komponenten integriert. Die Bewertung konzentrierte sich auf identitätsbezogene Metriken, einschließlich IDs, IDF1, Identitätspräzision (IDP) und Identitätsrückruf (IDR). Die repräsentativen Muster der Identitätserhaltung sind in Abbildung 8 dargestellt.

Abbildung 8. Ablationsanalyse der konfidenzgeleiteten semantischen Trikotzuordnung. (A) Gesamtanzahl der Identitätswechsel (IDs) und der ID-F1-Wert (IDF1) für die evaluierten Modellvarianten. (B) Vergleich der IDs zwischen dem vollständigen Modell (V3) und der Basiskonfiguration (V0) unter repräsentativen, herausfordernden Verfolgungsszenarien. (C) IDF1, ID-Präzision (IDP) und ID-Recall (IDR) des vollständigen Modells über verschiedene Verfolgungsszenarien hinweg. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

In der gesamten SportsMOT-Validierungskonfiguration erzielte die vollständige V3-Konfiguration die geringste Anzahl an IDs und den höchsten IDF1-Wert unter den vier Modellvarianten. V3 verzeichnete 2.768 IDs, was 477 weniger Identitätswechsel als bei V0 entspricht, und erreichte einen IDF1-Wert von 74,3 %, was einer Steigerung um 7,1 Prozentpunkte gegenüber V0 entspricht. Diese Ergebnisse zeigen, dass beide Module gemeinsam zur Erhaltung der Identität unter den evaluierten Sportverfolgungsbedingungen beigetragen haben. Der Vergleich der Einzelmodulvarianten mit der vollständigen Konfiguration zeigte darüber hinaus, dass die beiden Module unterschiedliche Quellen von Verfolgungsfehlern beeinflussten. Die konfidenzgeleitete Assoziationsstrategie verringerte Matching-Fehler, die mit instabiler Detektionskonfidenz und Lokalisierungsunsicherheit verbunden waren, während das Trikot-Semantik-Fusionsmodul zusätzliche Identitätsinformationen bereitstellte, wenn alleinige Bewegungsinformationen unzureichend waren. Die vollständige V3-Konfiguration erzielte eine bessere leistungsbezogene Identitätsleistung als jede der Einzelmodulvarianten, was darauf hindeutet, dass die beiden Module komplementäre und nicht redundante Beiträge leisteten.

Ergebnisse auf Szenenebene zeigten größere Unterschiede unter anspruchsvolleren Bedingungen zur Identitätserhaltung. Während langer Verdeckungsphasen verzeichnete V3 215 Identitäten im Vergleich zu 482 bei V0. In dichten Szenarien mit Spielern derselben Mannschaft, die 6–10 Spieler umfassten, verzeichnete V3 328 Identitäten im Vergleich zu 615 bei V0. Bei schnellen Richtungswechseln verzeichnete V3 482 Identitäten im Vergleich zu 960 bei V0. Diese Reduktionen stimmen mit der beabsichtigten Nutzung semantischer Hinweise während Verdeckungen und dichter Interaktionen sowie mit einer konfidenzgeleiteten Zuordnung bei schwankender Detektionszuverlässigkeit während schneller Bewegungen überein. Die Trends bei IDP und IDR, die in Abbildung 8C dargestellt sind, zeigen, dass die Verringerung der Identitäten nicht mit einem erheblichen Rückgang der Identitätsgenauigkeit oder des Identitätsabrufs einherging. Die vollständige Konfiguration hielt IDF1-Werte über 71 % in allen untersuchten anspruchsvollen Szenarien aufrecht, wobei niedrigere Werte bei dichten Interaktionen innerhalb derselben Mannschaft und bei schnellen Richtungswechseln beobachtet wurden. Diese Ergebnisse deuten auf eine verbesserte Konsistenz der Identität unter den untersuchten Bedingungen hin und identifizieren dichte Interaktionen sowie schnelle Bewegungen als die wichtigsten verbleibenden Quellen für Leistungseinbußen.

Ergebnisse der Querschnittsauswertung zwischen Datensätzen:

Die Querdatensatz-Evaluation wurde durchgeführt, um zu untersuchen, ob das auf SportsMOT beobachtete Verfolgungsverhalten unter unterschiedlichen Datensatzbedingungen aufrechterhalten werden kann. Die Evaluation umfasste zwei sportartspezifische Datensätze, SoccerNet Tracking und TeamTrack, sowie zwei allgemeine MOT-Datensätze, MOT17 und MOT20. Ziel dieses Experiments war es, die Übertragbarkeit der Leistung zwischen verschiedenen Datensatztypen zu prüfen. Die Ergebnisse wurden nicht verwendet, um eine direkte Überlegenheit auf metrischer Ebene zwischen den Datensätzen zu behaupten, da sich die Annotationsschemata, Szenenzusammensetzungen, Kameraperspektiven und Zielkategorien unterscheiden.

Tabelle 1 fasst die Ergebnisse der Querdatensatzauswertung zusammen. Auf den sportartspezifischen Datensätzen wies JerseyTrack im Vergleich zur Hauptvalidierungskonfiguration SportsMOT relativ stabile MOTA- und IDF1-Werte auf. Dieser Trend deutet darauf hin, dass die vertrauensgeleitete Assoziationsstrategie und die trikotbezogenen semantischen Hinweise weiterhin wirksam waren, solange die Verfolgungsszenen die visuellen Merkmale von Mannschaftssportarten beibehielten, einschließlich wiederholter Trikots, dichter Athleteninteraktionen und häufiger Verdeckungen. Auf den allgemeinen MOT-Datensätzen erzielte die Methode wettbewerbsfähige MOTA- und DetA-Werte, während der IDF1-Wert niedriger war als bei den sportartspezifischen Datensätzen. Dieses Muster entspricht dem Fehlen von Trikotfarb- und Spielernummernhinweisen in MOT17 und MOT20, die vom semantischen Fusionierungsmodul genutzt werden. Unter diesen Bedingungen blieb die vertrauensgeleitete Assoziationskomponente anwendbar, während der semantische Zweig weniger identitätsspezifische Informationen beisteuerte als bei Videos von Mannschaftssportarten. Insgesamt zeigen diese Ergebnisse, dass JerseyTrack effektiver auf Datensätze übertragen wurde, die sportartspezifische visuelle Semantik enthalten, im Vergleich zu allgemeinen Fußgänger-Verfolgungsdatensätzen. Die Querdatensatzauswertung stützt daher die beabsichtigte Anwendung der Methode als sportorientierter Verfolgungsalgorithmus und identifiziert gleichzeitig das Fehlen expliziter Trikotsemantik als limitierenden Faktor für nicht-sportliche MOT-Datensätze.

Datensatz	MOTA↑	IDF1↑	DetA↑	FPS↑
SoccerNet Tracking	86,8	71,3	77,9	32,1
TeamTrack	86,2	70,7	77,3	32,8
MOT17	84,7	69,5	76,1	33,9
MOT20	84,1	68,9	75,3	33,2

Tabelle 1: Ergebnisse der Querdatensatzauswertung. Die Verfolgungsleistung von JerseyTrack, bewertet anhand von vier öffentlichen Benchmark-Datensätzen. Es werden die Genauigkeit der Mehrfachobjektverfolgung (MOTA), die ID-Identitäts-F1-Score (IDF1), die Erkennungsgenauigkeit (DetA) und die Verarbeitungsgeschwindigkeit in Bildern pro Sekunde (FPS) angegeben. Höhere Werte zeigen eine bessere Leistung bei MOTA, IDF1, DetA und FPS an.

Robustheit unter kontrollierten Störbedingungen

Kontrollierte Störungsversuche wurden durchgeführt, um die Stabilität von JerseyTrack unter häufig auftretenden visuellen Störungen und Qualitätsminderungen bei der Erkennung in Sportvideos zu untersuchen. Die evaluierten Störungen wurden in drei Kategorien eingeteilt: semantische-Merkmal-Störung, Erkennungsbox-Störung und Umweltstörung. Zu den semantischen-Merkmal-Störungen gehörten die Verdeckung der Spielernummer, Bildunschärfe, Auflösungsverlust und ähnliche Trikotfarben. Zu den Erkennungsbox-Störungen zählten Verschiebungen der Begrenzungsbox, Schwankungen der Erkennungssicherheit und falsche Erkennungsboxen. Umweltstörungen umfassten regenartiges Rauschen, nebelartige Verschlechterung, starke Beleuchtung und Schatteninterferenzen. Abbildung 9 fasst die Verfolgungsleistung unter diesen Störbedingungen zusammen. Bei semantischen-Merkmal-Störungen nahm die Verfolgungsleistung ab, je stärker die Sichtbarkeit der Spielernummer und die Qualität des Ausschnitts abnahmen. Wenn 40 % des Bereichs der Spielernummer verdeckt waren, sank die MOTA um 3,2 Prozentpunkte und die IDF1 um 5,3 Prozentpunkte gegenüber der Bedingung ohne Störung, während die Genauigkeit der semantischen Extraktion bei 86,7 % verblieb. Diese Ergebnisse zeigen, dass die Trikotfarbe und die Spielernummer komplementäre Informationen bereitstellten, wenn ein semantisches Merkmal weniger zuverlässig wurde. Bei Erkennungsbox-Störungen zeigte die Methode eine moderate Leistungsminderung statt eines plötzlichen Versagens. Wenn die Erkennungsboxen um ±10 Pixel verschoben wurden und die Konfidenzwerte durch Gaußsches Rauschen gestört wurden, blieb der Rückgang der MOTA unter 3 Prozentpunkten und der Anstieg der IDs innerhalb von 16 %. Dieser Trend stimmt mit der konfidenzgeleiteten Zuordnungsstrategie überein, bei der Erkennungen mit mittlerer und niedriger Konfidenz unter zusätzlichen Zuordnungsbeschränkungen verarbeitet werden, im Gegensatz zur Strategie für hochsichere Erkennungen.

Abbildung 9. Bewertung der Robustheit unter kontrollierten Störungen. (A) Änderungen der Genauigkeit bei der Verfolgung mehrerer Objekte (MOTA), der ID-Identitäts-F1-Werte (IDF1) und der Identitätswechsel (IDs) mit zunehmender Verdeckung der Trikotnummer. (B) Leistungsabnahme unter repräsentativen Störbedingungen. (C) Zunahme der IDs bei verschiedenen Störungsarten. (D) Genauigkeit der semantischen Extraktion der Trikotnummer unter den evaluierten Störbedingungen. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Unter Umweltstörungen blieben die Abnahmen der primären Tracking-Metriken unter den untersuchten Bedingungen unter 5 Prozentpunkten, und die Genauigkeit der semantischen Extraktion lag bei 87,2 %. Die Verwendung von HSV-basierten Farbdeskriptoren verringerte die Empfindlichkeit gegenüber Beleuchtungsänderungen, während der OCR-Teil brauchbare Spieler-Nummerninformationen für eine Teilmenge unscharfer oder degradierter Bildausschnitte beibehielt. Diese Ergebnisse zeigen, dass das semantische Modul unter den untersuchten Störbedingungen weiterhin verwendbar war, obwohl seine Zuverlässigkeit weiterhin von der Sichtbarkeit der Trikots und der Qualität der Bildausschnitte abhing. Insgesamt zeigten die kontrollierten Störungsversuche, dass JerseyTrack unter den untersuchten semantischen, detektionsqualitäts- und umweltbedingten Störungen eine messbare Tracking-Leistung beibehielt. Diese Befunde sollten im Rahmen des getesteten Störungsbereichs interpretiert werden. Systematische Wiedererkennung nach längerem Verlassen des Sichtfelds, starke Hintergrundunordnung und langfristige vollständige Verdeckung wurden in diesem Experiment nicht separat untersucht und werden in der Diskussion als Limitationen erörtert.

Modulbeitrags- und Merkmalsdiskriminanzanalyse

Der Modulbeitrag und die Merkmalunterscheidung wurden weiter analysiert, um zu untersuchen, wie die beiden vorgeschlagenen Komponenten die leistungsbezogene Verfolgung der Identität beeinflussten. Bei der Analyse des Modulbeitrags kamen die vier im Ablationsversuch definierten Modelle zum Einsatz, während bei der Analyse der Merkmalunterscheidung traditionelle Re-ID-Merkmale, nur farbbasierte Merkmale, nur spieler-nummernbasierte Merkmale sowie fusionierte semantische Trikotmerkmale verglichen wurden. Das Verhältnis von interklassen- zu intraklassen-Abstand wurde zur Beschreibung der Trennbarkeit der Merkmale verwendet, wobei größere Werte auf eine stärkere Trennung zwischen verschiedenen Identitäten im Vergleich zur Variation innerhalb derselben Identität hinweisen. Tabelle 2 fasst die Analyse des Modulbeitrags zusammen. In der Gesamtbewertung betrug der geschätzte Beitrag der konfidenzgeleiteten Assoziationsstrategie 41,7 %, der geschätzte Beitrag der semantischen Trikotfusion 47,6 % und die verbleibenden 10,7 % wurden der kombinierten Nutzung beider Komponenten zugeschrieben. Diese Werte zeigen, dass beide Komponenten zur beobachteten Leistungssteigerung beigetragen haben, wobei die vollständige Konfiguration von ihrer gemeinsamen Nutzung profitiert, anstatt von einer einzelnen Komponente allein. Das Beitragsmuster variierte je nach Szenentyp. Bei starker Verdeckung stieg der geschätzte Beitrag der semantischen Trikotfusion auf 69,4 %, was mit der verringerten Zuverlässigkeit von Bewegungshinweisen übereinstimmt, wenn Athleten teilweise oder zeitweise verdeckt waren. Bei schneller Bewegung erreichte der geschätzte Beitrag der konfidenzgeleiteten Assoziation 44,3 %, und der kombinierte Gewinn betrug 20,6 %, was darauf hinweist, dass die Aufteilung nach Konfidenzniveau relevanter wurde, wenn die Detektionskonfidenz aufgrund schneller Bewegung oder Lokalisierungsunsicherheit schwankte.

Modellvariante	Testszenario	MOTA↑	IDF1↑	IDs↓	Modulbeitrag	Synergetischer Gewinn
V0 (Baseline)	Gesamtszene	83,5	67,2	3245	–	–
	Stark verdeckte Szenen	77,8	61,5	3862	–	–
	Szene mit Hochgeschwindigkeitsbewegung	77,1	62,3	3689	–	–
V1 (Konfidenzgeleitete Zuordnung)	Gesamtszene	86,3	70,9	2893	41,7	–
	Stark verdeckte Szenen	80,9	65,9	3415	29,8	–
	Szene mit Hochgeschwindigkeitsbewegung	81,4	67,9	3024	44,3	–
V2 (Semantische Trikotzuordnung)	Gesamtszene	85,2	71,8	2937	47,6	–
	Stark verdeckte Szenen	82,7	72,8	2753	69,4	–
	Szene mit Hochgeschwindigkeitsbewegung	80,1	66,8	3157	35,1	–
V3 (Vollständiges JerseyTrack)	Gesamtszene	88,9	74,3	2768	–	10,7
	Stark verdeckte Szenen	84,9	75,6	2689	–	0,8
	Szene mit Hochgeschwindigkeitsbewegung	83,6	71,5	2842	–	20,6

Tabelle 2: Ablationsanalyse der Modulbeiträge. Leistungsvergleich verschiedener JerseyTrack-Modellvarianten unter Gesamt-, stark verdeckten und Hochgeschwindigkeitsbewegungsszenarien. Die Genauigkeit der Mehrfachobjektverfolgung (MOTA), die IDentitäts-F1-Score (IDF1) sowie die Anzahl der Identitätswechsel (IDs) werden zusammen mit dem geschätzten Modulbeitrag und dem synergetischen Gewinn angegeben. Höhere Werte zeigen eine bessere Leistung bei MOTA, IDF1, Modulbeitrag und synergetischem Gewinn an, während niedrigere Werte eine bessere Leistung bei IDs anzeigen.

Tabelle 3 fasst die Merkmalsdiskriminierungsanalyse zusammen. Das fusionierte semantische Merkmal des Trikots erreichte ein Verhältnis von Inter-Klassen- zu Intra-Klassen-Distanz von 5,63 im Vergleich zu 1,82 für traditionelle Re-ID-Merkmale, was einer relativen Verbesserung des Distanzverhältnisses um 209,3 % entspricht. Alleinige Farbmerkmale und alleinige Spielernummernmerkmale verbesserten ebenfalls die Merkmalstrennbarkeit im Vergleich zu traditionellen Re-ID-Merkmalen, obwohl jedes einzelne Merkmal weiterhin anfällig für spezifische Fehlerquellen blieb, darunter ähnliche Teamfarben, Verdeckung der Spielernummer, Bewegungsunschärfe und unlesbare Trikotbereiche. Unter den evaluierten Merkmalsrepräsentationen erzielte die fusionierte semantische Repräsentation die höchste Merkmalstrennbarkeit und korrelierte mit dem höchsten IDF1-Wert sowie der niedrigsten ID-Anzahl in der Ablationsanalyse. Diese Ergebnisse untermauern die Verwendung trikotspezifischer semantischer Hinweise als ergänzende Identitätsinformation für die Multi-Objekt-Verfolgung im Sport (MOT), wenn Athleten ähnliche Erscheinungsbilder aufweisen und alleinige Bewegungsinformationen nicht ausreichen. Diese Beobachtungen gelten ausschließlich für das evaluierte SportsMOT-Szenario und sollten nicht als Beleg dafür interpretiert werden, dass Trikotsemantik alle Identitätsunsicherheiten in jedem Sportvideo beseitigt.

Merkmalsart	Verhältnis Inter-Klassen/Intra-Klassen-Abstand	Relative Verbesserung (%)	IDF1↑	IDs↓
Traditionelle Re-ID-Merkmale	1.82	–	65.7	3482
Teamfarben-Merkmale	3.17	74,2	69,8	3125
Spieler-Nummern-Merkmale	3.49	91,8	70,5	3018
Gemischte semantische Trikot-Merkmale	5,63	209,3	74,3	2768

Tabelle 3: Diskriminanzanalyse verschiedener Merkmalsdarstellungen. Vergleich der Merkmalstrennschärfe unter Verwendung traditioneller Wiedererkennungsmerkmale (Re-ID), Trikotfarbmerkmale, Spielernummernmerkmale und fusionierter semantischer Merkmale. Es werden das Verhältnis von Zwischenklassen- zu Intraklassenabstand, die relative Verbesserung der Merkmalstrennschärfe, die IDentitäts-F1-Score (IDF1) sowie die Anzahl der Identitätswechsel (IDs) angegeben. Höhere Werte deuten auf eine bessere Leistung für das Abstandsverhältnis, die relative Verbesserung und die IDF1 hin, während niedrigere Werte eine bessere Leistung für die IDs anzeigen.

Vergleich der Leistung mit bestehenden MOT-Methoden

Ein Benchmark-Vergleich wurde durchgeführt, um JerseyTrack mit repräsentativen MOT-Methoden unter denselben SportsMOT-Validierungseinstellungen zu vergleichen. Die verglichenen Methoden umfassten QDTrack, DeepSORT, ByteTrack, FairMOT, Deep OC-SORT und MOTR. Alle Methoden verwendeten dieselben Detektor-Ausgaben, die durch den im Materialverzeichnis aufgeführten Detektor-Algorithmus generiert wurden, sodass der Vergleich auf der Leistung der Verfolgungsassoziation und nicht auf Unterschieden der Detektoren basierte. Die Auswertung verwendete die in Protokollabschnitt 7 definierten Metriken. Die primären Bewertungsmetriken umfassten MOTA, HOTA und IDF1. Zu den sekundären Metriken gehörten DetA, AssA, FPs, FNs und IDs. Tabelle 4 fasst den quantitativen Vergleich auf dem SportsMOT-Validierungssplit zusammen, und Abbildung 10 zeigt einen visuellen Vergleich der Verfolgungsgenauigkeit, der Inferenzgeschwindigkeit und der HOTA-Verteilung über die ausgewerteten Sport-Szenen hinweg. JerseyTrack erzielte unter den verglichenen Methoden den höchsten MOTA-Wert mit 88,9 %. Dieser Wert lag 1,1 Prozentpunkte über dem von Deep OC-SORT (87,8 %) und 2,5 Prozentpunkte über dem von ByteTrack (86,4 %). JerseyTrack erreichte somit unter der ausgewerteten SportsMOT-Validierungseinstellung die höchste Gesamtverfolgungsgenauigkeit aller verglichenen Methoden. Bei HOTA erzielte JerseyTrack 69,9 % im Vergleich zu 64,4 % bei Deep OC-SORT und 62,8 % bei ByteTrack. Diese Unterschiede entsprechen Verbesserungen von jeweils 5,5 und 7,1 Prozentpunkten und deuten auf eine bessere Balance zwischen Detektions- und Assoziationsleistung unter derselben Evaluationsbedingung hin.

Methode	MOTA↑	HOTA↑	IDF1↑	DetA↑	AssA↑	FP↓	FN↓	IDs↓
QDTrack	75,9	53,7	51,6	65,6	39,7	96.324	89.871	8.216
DeepSORT	77,6	54,1	53,2	67,3	44	76.228	86.319	6.836
ByteTrack	86,4	62,8	67,7	73,8	50,9	33.752	78.698	4.192
FairMOT	84,1	54,7	62,5	77,8	47,8	45.187	83.620	4.817
Deep OC-SORT	87,8	64,4	69,9	78,2	52,1	25.012	74.385	3.211
MOTR	82,9	57,2	58,4	68,9	46,1	54.931	85.063	5.137
JerseyTrack	88,9	69,9	74,3	80,2	54,3	21.953	67.160	2.768

Tabelle 4: Leistungsvergleich von JerseyTrack mit repräsentativen Methoden zur Mehrfachobjektverfolgung auf dem Validierungsdatensatz SportsMOT. Vergleich von JerseyTrack mit repräsentativen Methoden zur Mehrfachobjektverfolgung (MOT) auf dem Validierungsdatensatz SportsMOT. Berichtete Metriken umfassen die Genauigkeit der Mehrfachobjektverfolgung (MOTA), die genaue Verfolgung höherer Ordnung (HOTA), die ID-Identitäts-F1-Score (IDF1), die Erkennungsgenauigkeit (DetA), die Assoziationsgenauigkeit (AssA), falsch positive Ergebnisse (FP), falsch negative Ergebnisse (FN) sowie die Anzahl der Identitätswechsel (IDs). Höhere Werte zeigen eine bessere Leistung für MOTA, HOTA, IDF1, DetA und AssA an, während niedrigere Werte eine bessere Leistung für FP, FN und IDs anzeigen.

Abbildung 10. Leistungsvergleich mit repräsentativen Methoden zur Mehrfachobjektverfolgung. (A) Vergleich der Genauigkeit bei der Verfolgung mehrerer Objekte (MOTA) und der Bilder pro Sekunde (FPS) für JerseyTrack und repräsentative Methoden zur Mehrfachobjektverfolgung, bewertet am SportsMOT-Datensatz. (B) Verteilung der Higher Order Tracking Accuracy (HOTA) über die bewerteten Verfolgungsmethoden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Bezüglich der Erhaltung der Identität erreichte JerseyTrack einen IDF1-Wert von 74,3 %, verglichen mit 69,9 % für Deep OC-SORT und 67,7 % für ByteTrack. JerseyTrack verzeichnete außerdem 2.768 Identitäten, weniger als die 3.211 Identitäten von Deep OC-SORT und die 4.192 Identitäten von ByteTrack. Diese Beobachtungen stimmen mit den Ablationsresultaten überein, die in Abbildung 8 und Tabelle 2 dargestellt sind, wobei die vollständige JerseyTrack-Konfiguration im Vergleich zu den Basismodellvarianten zu einer geringeren Identitätswechselhäufigkeit führte. Hinsichtlich der Qualität von Detektion und Zuordnung erreichte JerseyTrack eine DetA von 80,2 % und eine AssA von 54,3 %. Gegenüber Deep OC-SORT verbesserte JerseyTrack die DetA um 2,0 Prozentpunkte und die AssA um 2,2 Prozentpunkte. JerseyTrack erzeugte zudem weniger FP und FN als die anderen in Tabelle 4 genannten Vergleichsmethoden, mit 21.953 FP und 67.160 FN. Insgesamt zeigte der Benchmark-Vergleich, dass JerseyTrack unter der SportsMOT-Validierungskonfiguration die höchsten Werte für die primären Metriken des Trackings unter den evaluierten Methoden erreichte. Diese Ergebnisse stimmen mit den beobachteten Verbesserungen bei der Erhaltung der Identität und der Stabilität der Zuordnung überein, die durch die konfidenzgeleitete Assoziation und die semantische Fusion der Trikotinformationen erzielt wurden. Der Vergleich beschränkt sich auf die gemeinsam genutzten Detektor-Ausgaben und die in dieser Studie verwendete SportsMOT-Validierungskonfiguration.

Ergebnisse zur Parameterempfindlichkeit

Es wurde eine Parameter-Sensitivitätsanalyse durchgeführt, um zu untersuchen, wie Schlüssel-Implementierungsparameter die Verfolgungsleistung unter der SportsMOT-Validierungskonfiguration beeinflussten. Drei Parameter wurden evaluiert: der Gewichtungskoeffizient des OCR-Verlusts (γ), die Anzahl der hierarchischen Cluster auf Konfidenzebene (K) und die Lernrate des OCR-Netzwerks (η). Tabelle 5 fasst die unter verschiedenen Parametereinstellungen erzielten Werte für MOTA, IDF1, HOTA und IDs zusammen.

Parameter	Wert	MOTA↑	IDF1↑	HOTA↑	IDs↓
OCR-Verlustgewichtung (γ)	0,2	84,7	69,4	66,2	2.944
	0,4	86,3	71,5	68,2	2.893
	0,6	87,9	73,1	68,9	2.815
	0,8 (optimal)	88,9	74,3	69,9	2.768
	1	88,2	73,8	69,3	2.792
Anzahl der Konfidenzcluster (K)	2	86,7	72,1	68,5	2.876
	3 (optimal)	88,9	74,3	69,9	2.768
	4	88,1	73,6	69,7	2.803
	5	87,3	72,8	69,2	2.851
OCR-Lernrate (η)	1 × 10⁻⁴	85,9	70,8	67,3	2.934
	5 × 10⁻⁴	87,6	72,7	68,7	2.832
	1 × 10⁻³ (optimal)	88,9	74,3	69,9	2.768
	5 × 10⁻³	87,8	73,2	69	2.817
	1 × 10⁻²	86,5	71,6	68,7	2.889

Tabelle 5: Parameter-Sensitivitätsanalyse. Verfolgungsleistung bei Verwendung unterschiedlicher Parametereinstellungen für JerseyTrack. Die Genauigkeit der Mehrfachobjektverfolgung (MOTA), die ID-Identitäts-F1-Score (IDF1), die Verfolgungsgenauigkeit höherer Ordnung (HOTA) sowie die Anzahl der Identitätswechsel (IDs) werden für verschiedene Werte des Gewichtungskoeffizienten für den Optical Character Recognition (OCR)-Verlust (γ), der Anzahl der Konfidenzcluster (K) und der OCR-Lernrate (η) angegeben. Die als optimal identifizierten Parametereinstellungen entsprechen den in den berichteten Experimenten verwendeten Einstellungen. Höhere Werte zeigen eine bessere Leistung bei MOTA, IDF1 und HOTA an, während niedrigere Werte eine bessere Leistung bei IDs anzeigen.

Für den OCR-Verlust-Gewichtungskoeffizienten (γ) wurde die beste bewertete Leistung bei γ = 0,8 erzielt. Unter dieser Einstellung erreichte JerseyTrack eine MOTA von 88,9 %, eine IDF1 von 74,3 %, eine HOTA von 69,9 % und 2.768 IDs. Als γ auf 0,2 reduziert wurde, sanken MOTA, IDF1 und HOTA auf 84,7 %, 69,4 % bzw. 66,2 %, während die Anzahl der IDs auf 2.944 anstieg. Bei Erhöhung von γ auf 1,0 verringerten sich die Leistungskennzahlen im Vergleich zu γ = 0,8 leicht, mit einer MOTA von 88,2 %, einer IDF1 von 73,8 %, einer HOTA von 69,3 % und 2.792 IDs. Diese Ergebnisse zeigen, dass unzureichende OCR-Überwachung die Unterscheidung der Spielernummern beeinträchtigte, während eine Erhöhung des OCR-Verlust-Gewichtungsfaktors über das evaluierte Optimum hinaus unter den getesteten Bedingungen keine Verbesserung der Verfolgungsleistung bewirkte.

Für die hierarchische Clusteranzahl auf Vertrauensniveau (K) wurde die beste Leistung bei K = 3 erzielt. Diese Einstellung entspricht der in der Methode beschriebenen Strategie mit hoher, mittlerer und niedriger Zuverlässigkeit. Bei K = 2 war die Aufteilung nach Vertrauensstufen weniger differenziert, und MOTA, IDF1 sowie HOTA sanken auf 86,7 %, 72,1 % bzw. 68,5 %. Bei Erhöhung von K auf 4 oder 5 nahm die Leistung im Vergleich zu K = 3 ebenfalls ab, was darauf hindeutet, dass eine übermäßige Aufteilung die Detektionen in zu enge Vertrauensgruppen unterteilt und die Stabilität der Zuordnungsstrategie verringert. Diese Ergebnisse untermauern die Verwendung von drei Vertrauensstufen in der evaluierten JerseyTrack-Konfiguration.

Für die Lernrate (η) des OCR-Netzwerks wurde die beste bewertete Leistung bei η = 1 × 10^-3 erzielt. Bei einer niedrigeren Lernrate von 1 × 10^-4 sanken MOTA, IDF1 und HOTA auf 85,9 %, 70,8 % bzw. 67,3 %, während die Anzahl der IDs auf 2.934 anstieg. Bei einer höheren Lernrate von 1 × 10^-2 verringerten sich MOTA, IDF1 und HOTA auf 86,5 %, 71,6 % bzw. 68,7 %, während die Anzahl der IDs auf 2.889 anstieg. Diese Ergebnisse zeigen, dass der OCR-Zweig empfindlich gegenüber der Auswahl der Lernrate war, wobei 1 × 10^-3 unter den evaluierten Bedingungen das beste Gleichgewicht zwischen der Erkennung der Spieleranzahl und der Identitätserhaltung bot.

Insgesamt zeigt Tabelle 5, dass die Parameterkombination γ = 0,8, K = 3 und η = 1 × 10^-3 die höchsten bewerteten MOTA-, IDF1- und HOTA-Werte zusammen mit der geringsten Anzahl an IDs erzielte. Die Sensitivitätsanalyse zeigte außerdem, dass moderate Abweichungen von diesen Parameterwerten messbare, jedoch keine sprunghaften Veränderungen in der Verfolgungsleistung zur Folge hatten. Daher wurden diese Parametereinstellungen für den Vergleichstest und die primären SportsMOT-Validierungsexperimente verwendet, die in dieser Studie berichtet werden.

Datenverfügbarkeit

Die Rohauswertungszusammenfassungen, endgültigen Tracking-Ergebnisse, Umgebungsaufzeichnungen, Datensatz-Zuordnungsdateien und Zwischensummarisierungsdateien, die die Ergebnisse dieser Studie unterstützen, sind in einem öffentlichen Repository unter https://doi.org/10.5281/zenodo.21274353 verfügbar. Die ursprünglichen öffentlichen Benchmark-Datensätze, die in dieser Studie verwendet wurden, einschließlich SportsMOT, TeamTrack, SoccerNet Tracking, MOT17 und MOT20, sind von ihren jeweiligen Anbietern erhältlich und werden nicht im Repository erneut verbreitet.

Diskussion

Diese Studie evaluierte einen vertrauensbasierten Sport-MOT-Workflow, der die Aufteilung nach Erkennungsvertrauen mit semantischen Trikotmerkmalen kombiniert. Vertrauensbasierte Zuordnung und semantische Merkmalsfusion wurden als komplementäre Strategien zur Verbesserung der Datenzuordnung beim Mehrfachobjekt-Tracking untersucht^{12,20,23,24,46}. Die Ergebnisse zeigen, dass die vollständige JerseyTrack-Konfiguration die Identitätserhaltung und die Stabilität der Zuordnung unter den evaluierten SportsMOT-Validierungseinstellungen verbesserte. Das Hauptresultat der SportsMOT-Validierung erreichte eine MOTA von 88,9 %, eine HOTA von 69,9 %, eine IDF1 von 74,3 %, eine DetA von 80,2 % und eine AssA von 54,3 %. Diese Werte sollten im Kontext der im Protokoll beschriebenen Detektor-Ausgabedatenquelle, Datensatz-Aufteilung und TrackEval-Konfiguration interpretiert werden.

Ein entscheidender Schritt im Workflow ist die Aufteilung nach Zuverlässigkeitsstufen, die es ermöglicht, je nach Zuverlässigkeit der Detektor-Ausgaben unterschiedliche Assoziierungsstrategien anzuwenden^20,22,23,24. Indem die Detektionen in Gruppen mit hoher, mittlerer und niedriger Zuverlässigkeit unterteilt werden, wendet JerseyTrack unterschiedliche Assoziierungsregeln auf Detektionen mit verschiedenen Zuverlässigkeitsgraden an. Detektionen mit hoher Zuverlässigkeit werden hauptsächlich über Bewegungskonsistenz assoziiert, während bei mittlerer Zuverlässigkeit Bewegung und Trikotsemantik kombiniert genutzt werden. Detektionen mit niedriger Zuverlässigkeit dienen nicht zur Initialisierung neuer Trajektorien und werden nur während der Trajektorienwiederherstellung berücksichtigt. Diese Gestaltung verringerte das Risiko, dass schwache Detektionen oder Fehlalarme instabile Identitäten erzeugen, und ermöglicht gleichzeitig, dass teilweise Detektionen zur Wiederherstellung beitragen können, wenn zusätzliche semantische Hinweise verfügbar sind^8,11,20. Der zweite entscheidende Schritt ist die Extraktion der Trikotsemantik. Teamfarb-Merkmale liefern eine Einschränkung auf Teamebene, während Spielernummern-Merkmale einen feineren Identitätshinweis bieten, wenn der Nummernbereich sichtbar und lesbar ist^35,41,42,43. Die Abationsstudien zeigen, dass diese Hinweise besonders in dichten Interaktionen innerhalb eines Teams und bei Verdeckungen nützlich sind, wo die alleinige Bewegungsassoziierung weniger zuverlässig ist. Trikotsemantik sollte jedoch als unterstützender Beleg betrachtet werden, nicht als vollständiger Ersatz für die Bewegungsassoziierung. Spielernummern können bei Unschärfe, Abschneidung, Rückenansicht, starker Verdeckung oder niedriger Bildauflösung unlesbar sein. Teamfarb-Merkmale können Athleten desselben Teams ebenfalls nicht unterscheiden, wenn keine Nummerninformation verfügbar ist^35,42,43. Die Ergebnisse über verschiedene Datensätze hinweg verdeutlichen zudem den Anwendungsbereich der Methode. JerseyTrack ließ sich natürlicher auf Datensätze von Mannschaftssportarten übertragen als auf allgemeine Fußgänger-MOT-Datensätze, da der semantische Zweig speziell auf Trikotfarben und Spielernummern-Hinweise ausgelegt war^{19,33,34,35,36,37}. Auf allgemeinen MOT-Datensätzen blieb die assoziative Komponente, die durch Zuverlässigkeit gesteuert wird, weiterhin anwendbar, doch der sportartspezifische semantische Zweig trug weniger zur Identitätsbestimmung bei. Die Methode eignet sich daher am besten für Videos von Mannschaftssportarten, bei denen die Athleten unterscheidbare Trikots tragen und der Trikotbereich ausreichend sichtbar ist, um semantische Merkmale extrahieren zu können^{19,33,34,35,36,37}.

Mehrere Einschränkungen bleiben bestehen. Erstens hängt die Methode von der Qualität der Detektor-Ausgaben ab; starke Fehldetektionen oder ungenaue Begrenzungsboxen verringern die Zuverlässigkeit sowohl der Bewegungsvorhersage als auch des semantischen Zuschneidens^14,17,46. Zweitens wurde die langfristige Wiedererkennung außerhalb des Sichtfelds in der aktuellen Implementierung nicht separat optimiert. Wenn ein Athlet längere Zeit das Kamerabild verlässt und später erneut eintritt, reicht die derzeitige Strategie zur Wiederherstellung der Trajektorie möglicherweise nicht aus, um die ursprüngliche Identität wiederherzustellen^19,34. Drittens können starker Hintergrundlärm, überlappende Spieler, Bewegungsunschärfe und nicht lesbare Trikotnummern die Zuverlässigkeit semantischer Merkmale beeinträchtigen^14,35,42,46. Viertens konzentrierte sich die aktuelle Evaluation auf öffentliche Benchmark-Datensätze und kontrollierte Störungsszenarien; der Einsatz in Sendevideos mit Kamerawechseln, Zoomänderungen und nicht standardisierten Blickwinkeln könnte zusätzliche Vorverarbeitungsschritte oder Wiedererkennungsmoduln erfordern^19,33,34.

Die wichtigste praktische Konsequenz besteht darin, dass vertrauensbasierte Assoziationen und trikotspezifische semantische Hinweise in eine modulare MOT-Pipeline integriert werden können, ohne die Struktur des Detektors zu verändern. Diese Fähigkeit ist anwendbar auf Aufgaben der Sportanalyse wie die Extraktion von Athletentrajektorien, die Analyse von Teambewegungen, die Überprüfung taktischer Ereignisse sowie die halbautomatische Videoannotation^1,4,33,36. Zukünftige Arbeiten sollten sich auf eine verbesserte Wiedererkennung außerhalb der Sicht, die Handhabung von Hintergrundstörungen, die Aggregation zeitlicher Merkmale sowie eine robustere Erkennung von Spielernummern bei starker Unschärfe oder Verdeckung konzentrieren^14,19,34,46.

Zusammenfassend ist JerseyTrack eine Sport-MOT-Methode, die eine Verknüpfung unter Berücksichtigung der Zuverlässigkeit mit einer semantischen Fusion von Trikotinformationen kombiniert. Die Methode unterteilt Detektionen in Gruppen mit hoher, mittlerer und niedriger Zuverlässigkeit und wendet unterschiedliche Verknüpfungsregeln entsprechend der Detektionszuverlässigkeit an, wobei Trikotfarbe und Spielernummern als zusätzliche Identitätsmerkmale während der Verknüpfung mittlerer Zuverlässigkeit und der Trajektorienrekonstruktion genutzt werden. Im bewerteten SportsMOT-Validierungsszenario zeigte JerseyTrack eine verbesserte Verfolgungsgenauigkeit und bessere Erhaltung der Identitäten im Vergleich zu den evaluierten Baseline-Konfigurationen. Die Ablationsstudien ergaben, dass die vollständige Konfiguration im Vergleich zur Baseline und zu Varianten mit nur einem Modul weniger Identitätswechsel aufwies, und der Benchmark-Vergleich zeigte höhere Werte bei den primären Verfolgungsmetriken unter gemeinsamer Nutzung der Detektor-Ausgaben und Evaluierungskonfiguration. Diese Ergebnisse untermauern die Verwendung von Zuverlässigkeitsgraden und trikotspezifischen semantischen Hinweisen zur Verfolgung von Athleten in Videos von Mannschaftssportarten, insbesondere dann, wenn Trikotbereiche sichtbar sind und Teamfarben oder Spielernummern zusätzliche Identitätshinweise liefern^20,35,46. Die Behebung der identifizierten Einschränkungen könnte die Anwendbarkeit des vorgeschlagenen Workflows auf anspruchsvollere Szenarien der Sportverfolgung weiter verbessern.

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
CUDA-Laufzeitumgebung	NVIDIA	Version 12.8	GPU-Rechenlaufzeitumgebung, die für das Training des Detektors, die semantische Merkmalsextraktion und die Verfolgungsinferenz verwendet wird.
EasyOCR	Jaided AI	Version 1.7.2	Optische Zeichenerkennungstoolbox, die zur Erkennung von Spielernummern verwendet wird.
JerseyTrack-Quellcode	Autoren	N/V	Benutzerdefinierte Implementierung, die die Datenaufbereitung, semantische Merkmalsextraktion, Konfidenzpartitionierung, Verfolgung, Nachbearbeitung und Bewertungsskripte enthält. Verfügbar unter: https://doi.org/10.5281/zenodo.21274352
Leichtgewichtiger CRNN-OCR-Modell	Autoren	N/V	Benutzerdefiniertes faltendes rekurrentes neuronales Netzwerk (CRNN), das zur Erkennung von Spielernummern verwendet wird.
MOT17-Datensatz	MOTChallenge	N/V	Öffentlicher Benchmark-Datensatz, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://motchallenge.net/data/MOT17/
MOT20-Datensatz	MOTChallenge	N/V	Öffentlicher Benchmark-Datensatz, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://motchallenge.net/data/MOT20/
motmetrics	motmetrics-Entwickler	Version 1.4.0	Bibliothek zur Berechnung diagnostischer Metriken für die Mehrfachobjektverfolgung.
NVIDIA-GPU	NVIDIA	GeForce RTX 5090 D V2	Graphikverarbeitungseinheit, die für das Training des Detektors und die Verfolgungsinferenz verwendet wird.
NVIDIA-GPU-Treiber	NVIDIA	Version 610.62	GPU-Treiber, der in der experimentellen Umgebung verwendet wird.
NumPy	NumPy-Entwickler	Version 2.4.4	Numerische Rechenbibliothek, die für die Merkmalsverarbeitung und Datenverwaltung verwendet wird.
OpenCV	OpenCV	Version 4.10.0	Bibliothek für maschinelles Sehen, die zum Laden, Zuschneiden, Vorverarbeiten und Visualisieren von Bildern verwendet wird.
Python	Python Software Foundation	Version 3.12.2	Programmiersprache, die im gesamten Workflow verwendet wird.
PyTorch	PyTorch Foundation	Version 2.11.0+cu128	Tiefenlern-Framework, das für die Implementierung des Detektors und des semantischen Modells verwendet wird.
scikit-learn	scikit-learn-Entwickler	Version 1.9.0	Machine-Learning-Bibliothek, die für das K-Means-Clustering während der Trikotfarben-Extraktion und Konfidenzpartitionierung verwendet wird.
SoccerNet-Verfolgungsdatensatz	SoccerNet	N/V	Öffentlicher Fußball-Verfolgungsbenchmark, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://www.soccer-net.org/tasks/tracking
SportsMOT-Datensatz	SportsMOT-Benchmark	N/V	Primärer Benchmark-Datensatz, der für die Detektorvorbereitung und Verfolgungsbewertung verwendet wird. Verfügbar unter: https://deeperaction.github.io/datasets/sportsmot.html
TeamTrack-Datensatz	TeamTrack-Benchmark	N/V	Öffentlicher Sportverfolgungsbenchmark, der für die Querdatensatzevaluation verwendet wird. Verfügbar unter: https://atomscott.github.io/TeamTrack/
Torchvision	PyTorch Foundation	Version 0.26.0+cu128	Bibliothek für maschinelles Sehen, die zusammen mit PyTorch für Bildtransformationen und Modellunterstützung verwendet wird.
TrackEval	TrackEval-Entwickler	Version 1.3.0	Bewertungstoolkit zur Berechnung der Genauigkeit der Mehrfachobjektverfolgung (MOTA), des ID-F1-Scores (IDF1), der höhergradigen Verfolgungsgenauigkeit (HOTA), der Detektionsgenauigkeit (DetA), der Assoziationsgenauigkeit (AssA), falsch positiver (FP), falsch negativer (FN) und Identitätswechsel (IDs).
Ultralytics	Ultralytics	Version 8.4.90	Objekterkennungs-Framework, das zum Training des Detektors und zur Generierung von Athletenerkennungen verwendet wird.