Pose estimation of deformable objects

Abstract

This study introduces a technique for estimating the pose of deformable objects. In particular, everyday objects are considered, which can then be further processed by a robot.Deformations, e.g. due to daily use or to save space during waste disposal, mainly affect the appearance, which significantly impairs the performance of many pose estimators.The focus of this work is to train a modern pose estimator with deformed versionsof an object and to analyze the results. The data of the “Deformed Object Dataset (DOD)“, which was developed for this work, serves as the basis. In the dataset, the 3D models of various everyday objects such as toothpaste, juice bags, cans, pastry orchips packaging are deformed by an algorithm. Images and the corresponding masks are calculated from mixed scenes with known and unknown objects and used as training data.Pix2Pose is used as a pose estimator because it is suitable for textureless objects and also works with UV prediction for estimation. These form the basis for the training process. The correct prediction of the UV coordinates enables a precise estimation of the pose.In the final experiments, it was found that an accurate estimation of the pose is not easily possible. A constant deviation in the UV coordinates has a direct effect on the translation and rotation error in the pose. In addition, it was found that there are stableand unstable regions, so a more accurate estimate is quite possible with more advanced methods.

In dieser Arbeit wird ein System vorgestellt, dass es erlaubt die Pose von deformierbaren Objekten im Raum zu schätzen. Es wird besonders auf Alltagsgegenstände eingegangen,die dann von einem Roboter, zum Beispiel durch Greifen, weiterverarbeitet werden können. Verformungen, z.B. durch täglichen Gebrauch oder aus Platzspargründen beider Abfallentsorgungen, beeinflussen vor allem die äussere Erscheinung, wodurch die Leistungen vieler Posenschätzer erheblich beeinträchtigt werden. Der Fokus dieser Arbeit liegt darauf einen Posenschätzer nach aktuellem Stand der Technik mit deformierten Versionen eines Objektes zu trainieren und die Ergebnisse zu analysieren. Als Grundlage dienen die Daten des „Deformed Object Dataset (DOD)“, welches für diese Arbeit entwickelt wurde. Im Datensatz werden die 3D-Modelle diverser Alltagsgegenstände wie Zahnpasta, Tetrapaks, Dosen, Teig- oder Chipsverpackungen durch einen Algorithmus deformiert. Aus gemischten Szenen mit bekannten und unbekannten Objekten werden Bilder und die zugehörigen Masken berechnet, die als Trainingsdaten genutzt werden. Als Posenschätzer wird Pix2Pose verwendet, weil er einerseits für texturlose Objekte geeignet ist und anderseits mit UV-Koordinaten für die Schätzung arbeitet. Diese bilden die Grundlage des Trainingsprozesses. Eine korrekte Vorhersagung der UV-Koordinaten ermöglicht eine präzise Schätzung der Pose. In den abschließenden Experimenten wurde festgestellt, dass eine genaue Schätzung der Pose nicht einfach möglich ist. Eine konstante Abweichung in den UV-Koordinatenwirkt sich direkt als Verschiebungs- und Drehfehler in der Pose aus. Zusätzlich wurde festgestellt, dass es stabile und instabile Bereiche gibt, wodurch eine präzisere Schätzung durch fortgeschrittenere Methoden durchaus möglich ist.