Open Access

Tobia Ippolito

• This study presents nine synthetic RGBD instance segmentation datasets for training (called 3xM datasets), each with 20.000 observations and additional datasets for testing with a special focus on varying the number of shapes and textures. Additionally, a real-world bin-picking dataset with cluttered and uncluttered scenes using industrial parts and everyday products is proposed. These datasetsThis study presents nine synthetic RGBD instance segmentation datasets for training (called 3xM datasets), each with 20.000 observations and additional datasets for testing with a special focus on varying the number of shapes and textures. Additionally, a real-world bin-picking dataset with cluttered and uncluttered scenes using industrial parts and everyday products is proposed. These datasets and the known OCID dataset are used to investigate the impact of depth information and shape-texture amount towards shape-texture bias, performance, and generalization in instance segmentation. The findings reveal that RGB-only models are biased toward texture, while RGB-D models exhibit a slight shift towards shape bias, though texture bias persists. Models using RGB and depth performed significant better than RGB-only models by providing a higher ability to generalize shape information. However, this study shows that the usability of depth information is strongly related to the noisiness of the depth data. In addition, this study finds that RGB-only models are influenced massively by the quality of the RGB input images. This study also found that increasing the number of unique shapes in train data decreases the shape bias, increases the general performance, rising with the number of unknown shapes in the data, and has a crucial impact on the generalization of shapes. Increasing the number of textures seems to have no significant effect on the shape-texture bias, but it shows that it also increases the general performance with the rising number of unknown textures. This study suggests that a higher texture amount in train data leads to higher generalization of textures.…
• In dieser Studie werden neun synthetische RGBD-Instanzsegmentierungsdatensätze für das Training (genannt 3xM Datensätze), jedes mit 20.000 Datenpunkten und zusätzliche Datensätze für das Testen vorgestellt, wobei ein besonderer Schwerpunkt auf der Variation der Anzahl von Formen und Texturen liegt. Zusätzlich wird ein realer Bin-Picking-Datensatz mit unübersichtlichen und übersichtlichen SzenenIn dieser Studie werden neun synthetische RGBD-Instanzsegmentierungsdatensätze für das Training (genannt 3xM Datensätze), jedes mit 20.000 Datenpunkten und zusätzliche Datensätze für das Testen vorgestellt, wobei ein besonderer Schwerpunkt auf der Variation der Anzahl von Formen und Texturen liegt. Zusätzlich wird ein realer Bin-Picking-Datensatz mit unübersichtlichen und übersichtlichen Szenen unter der Verwendung von Industrieteilen und Alltagsprodukten präsentiert. Diese Datensätze und der bekannte OCID-Datensatz werden verwendet, um die Auswirkung von Tiefeninformationen und der Anzahl der Formen und Texturen auf den Shape-Texture-Bias, die Segmentierungsgenauigkeit und der Generalisierung bei der Instanzsegmentierung zu untersuchen. Die Ergebnisse zeigen, dass reine RGB-Modelle einen Bias in Richtung Textur besitzen, während RGB-D-Modelle eine leichte Verschiebung in Richtung des Shape-Bias aufweisen, obwohl der Texture-Bias bestehen bleibt. Modelle, die RGB und Tiefe verwenden, schnitten signifikant besser ab als reine RGB-Modelle, da sie unter anderem eine höhere Fähigkeit zur Generalisierung von Forminformationen aufweisen. Die Tiefeninformation offenbart jedoch eine starke Abhängigkeit zu der Rauschhaftigkeit der Tiefendaten. Darüber hinaus zeigt diese Studie, dass reine RGB-Modelle massiv von der Qualität der RGB-Eingabebilder beeinflusst werden. Diese Studie fand auch heraus, dass eine Erhöhung der Anzahl einzigartiger Formen in den Trainingsdaten den Shape-Bias verringert, die allgemeine Segmentierungsgenauigkeit erhöht, die mit der Anzahl unbekannter Formen in den Daten in Verbindung zu stehen scheint, und einen entscheidenden Einfluss auf die Generalisierung von Formen hat. Die Erhöhung der Anzahl der Texturen scheint keine signifikante Auswirkung auf den Shape-Texture-Bias zu haben, aber es zeigt sich, dass sie auch die allgemeine Segmentierungsgenauigkeit mit der steigenden Anzahl unbekannter Texturen erhöht. Diese Studie legt nahe, dass eine höhere Anzahl an Texturen in den Trainingsdaten zu einer höheren Generalisierung von Texturen führt.…