Open Access

Jannes Scholz

• This thesis investigates the critical role of data quality in computer vision, particularly in the realm of pedestrian detection. The proliferation of deep learning methods has emphasised the importance of large datasets for model training, while the quality of these datasets is equally crucial. Ambiguity in annotations, arising from factors like mislabelling, inaccurate bounding box geometry andThis thesis investigates the critical role of data quality in computer vision, particularly in the realm of pedestrian detection. The proliferation of deep learning methods has emphasised the importance of large datasets for model training, while the quality of these datasets is equally crucial. Ambiguity in annotations, arising from factors like mislabelling, inaccurate bounding box geometry and annotator disagreements, poses significant challenges to the reliability and robustness of the pedestrian detection models and their evaluation. This work aims to explore the effects of ambiguous data on model performance with a focus on identifying and separating ambiguous instances, employing an ambiguity measure utilizing annotator estimations of object visibility and identity. Through accurate experimentation and analysis, trade-offs between data cleanliness and representativeness, noise removal and retention of valuable data emerged, elucidating their impact on performance metrics like the log average miss-rate, recall and precision. Furthermore, a strong correlation between ambiguity and occlusion was discovered with higher ambiguity corresponding to greater occlusion prevalence. The EuroCity Persons dataset served as the primary dataset, revealing a significant proportion of ambiguous instances with approximately 8.6% ambiguity in the training dataset and 7.3% in the validation set. Results demonstrated that removing ambiguous data improves the log average miss-rate, particularly by reducing the false positive detections. Augmentation of the training data with samples from neighbouring classes enhanced the recall but diminished precision. Error correction of wrong false positives and false negatives significantly impacts model evaluation results, as evidenced by shifts in the ECP leaderboard rankings. By systematically addressing ambiguity, this thesis lays the foundation for enhancing the reliability of computer vision systems in real-world applications, motivating the prioritisation of developing robust strategies to identify, quantify and address ambiguity.…
• In dieser Bachelorarbeit wird die kritische Rolle der Datenqualität auf dem Gebiet von Computer Vision untersucht, insbesondere im Bereich der Fußgängererkennung. Die Verwendung von Deep-Learning-Methoden hat die Bedeutung umfangreicher Datensätze für das Training von Modellen hervorgehoben, wobei die Qualität dieser Datensätze von entscheidender Bedeutung ist. Die Mehrdeutigkeit von Annotationen,In dieser Bachelorarbeit wird die kritische Rolle der Datenqualität auf dem Gebiet von Computer Vision untersucht, insbesondere im Bereich der Fußgängererkennung. Die Verwendung von Deep-Learning-Methoden hat die Bedeutung umfangreicher Datensätze für das Training von Modellen hervorgehoben, wobei die Qualität dieser Datensätze von entscheidender Bedeutung ist. Die Mehrdeutigkeit von Annotationen, die durch Faktoren wie falsches Labeling, ungenaue Bounding-Box Geometrie und Unstimmigkeiten zwischen den Annotatoren entsteht, stellt eine große Herausforderung für die Zuverlässigkeit und Robustheit der Fußgängererkennungsmodelle und deren Evaluation dar. Diese Arbeit zielt darauf ab, die Auswirkungen mehrdeutiger Daten auf die Modellleistung zu untersuchen, wobei der Schwerpunkt auf der Identifizierung und Abtrennung mehrdeutiger Instanzen liegt, wozu ein Mehrdeutigkeitsmaß verwendet wird, das die Schätzungen von Annotatoren bezüglich der Objektsichtbarkeit und -identität nutzt. Durch präzise Experimente und Analysen konnten Kompromisse zwischen der Datenreinheit und Repräsentativität der Daten, der Entfernung von mehrdeutigen Daten und der Beibehaltung wertvoller Daten gefunden werden, die sich auf Leistungskennzahlen wie die Log Average Miss-Rate, den Recall und die Precision auswirken. Darüber hinaus wurde eine starke Korrelation zwischen Mehrdeutigkeit und Okklusion festgestellt, wobei eine höhere Mehrdeutigkeit mit einer größeren Okklusionsprävalenz einhergeht. Der EuroCity Persons Datensatz diente als primärer Datensatz, der mit etwa 8,6% mehrdeutigen Instanzen im Trainingsdatensatz und 7,3% in den Validierungsdaten einen erheblichen Anteil mehrdeutiger Daten aufwies. Die Ergebnisse zeigten, dass das Entfernen mehrdeutiger Daten die Log Average Miss-Rate verbessert, insbesondere durch die Verringerung von False Positives. Eine Erweiterung der Trainingsdaten mit Beispielen aus benachbarten Klassen verbesserte den Recall, verringerte aber die Precision. Die Fehlerkorrektur von falschen False Positives und False Negatives wirkt sich erheblich auf die Ergebnisse der Modellevaluation aus, wie Veränderungen in der ECP-Rangliste zeigten. Durch den systematischen Umgang mit Mehrdeutigkeit legt diese Arbeit den Grundstein für die Verbesserung der Zuverlässigkeit von Bildverarbeitungssystemen in realen Anwendungen und motiviert dazu, robuste Strategien zur Identifizierung, Quantifizierung und Behandlung von Mehrdeutigkeit zu entwickeln.…