Recognition of a vision approach for fall detection using a biologically inspired dynamic stereo vision sensor

Abstract

Diese Diplomarbeit befasst sich mit den Methoden für die Erkennung von Stürzen unter Verwendung eines optischen, dynamischen Stereo Sensors. Die Haupteigenschaft des Sensors besteht darin, dass die Daten asynchron und ausschließlich durch Pixel die Helligkeitsunterschiede aufweisen generiert werden.<br />Um Informationen über die tatsächliche Bewegung der Person im Raum zu erlangen, wird die durch den Sensor erhaltene 3D Tiefeninformation, mit Hilfe der Kameraparameter, in Weltkoordinaten transformiert. Intuitive Merkmale welche die Körperposition der Person beschreiben werden präsentiert und hinsichtlich der Signifikanz für die Sturzerkennung untersucht.<br />Für die Evaluierung werden Stürze sowie alltägliche Bewegungen nachgestellt. In dieser Weise wird ein Daten Set von ungefähr 200 Aufnahmen generiert. Bei den alltäglichen Bewegungen wird darauf geachtet, dass das Daten Set vertikale Bewegungen nach unten wie beispielsweise Hinsetzen oder Hinlegen beinhaltet. Es wird angenommen, dass diese Bewegungen häufig zu Fehlalarmen führen können, da diese Stürzen ähnlicher sind als Bewegungen wie Aufstehen oder Gehen. Stürze werden sowohl aus den statischen Positionen Stehen, Sitzen und Liegen, als auch aus Bewegungen wie zum Beispiel Gehen, Hinsetzen oder Bücken nachgestellt.<br />Die Aufnahmen werden in überlappende 3 Sekunden lange Zeitfenster aufgeteilt. Die zusammengefasste Menge der Zeitfenster aller Aufnahmen stellt das Probenset für das Training und die Evaluierung dar. Dieses wird in zwei Klassen unterteilt, Zeitfenster die einen Sturz enthalten und Zeitfenster die keinen Sturz enthalten. Die Merkmale werden für beide Klassen von Zeitfenstern hinsichtlich ihres Änderungsverlaufs untersucht.<br />Die Aufgabe der Klassifizierung besteht darin ein unbekanntes neues Zeitfenster, abhängig davon ob es einen Sturz enthält, einer der beiden Klassen zuzuordnen.<br />Dazu werden zwei unterschiedliche Lernverfahren, das Hidden Markov Model und das Multilayer Perzeptron verwendet.<br />Das methodische Vorgehen für die Anwendung der beiden Lernmethoden für die Sturzdetektion wird schrittweise erklärt. Die optimalen Parametereinstellungen für die Architektur der Lernmodelle werden mit Hilfe von Kreuz-Validierung auf dem Probenset ermittelt. Die Signifikanz der Merkmale für die Modelle wird untersucht indem bestimmte Merkmale ausgelassen und die resultierenden Klassifikations-Ergebnisse verglichen werden.<br />

In this thesis methodologies for learning based fall detection using a dynamic stereo vision sensor are elaborated. The main characteristic of the sensor is that data is generated asynchronously and only pixels with illumination changes produce an output.<br />To obtain relevant information about the motion of the person, the 3D data is transformed into world coordinates with the help of the camera parameters. Intuitive features describing the pose and motion of the body are proposed and evaluated with regard to their significance for fall detection.<br />For the evaluation a database of about 200 scenarios containing acted falls and normal movements is prepared. In the case of normal movements particular attention is paid to downwards movements like sitting or lying down, because these are similar to falls and assumed to cause false alarms more likely than walking or upward movements. For the falls it is taken care that they can happen from static poses as well as during normal everyday movements. That means, on the one hand falls are acted from the three poses, standing, sitting and lying. On the other hand also falls happening during movements like walking, sitting down or bending down are recorded.<br />The recordings are used to generate samples in form of 3 seconds long sliding windows with associated features. The amount of sliding windows collected from all recordings serves as sample set for the training and evaluation. The set of sliding windows is divided into two classes, time windows containing a fall and time windows containing normal movements without fall.<br />The features are investigated with regard to their alternation during fall and no fall time windows.<br />The classification task is set to distinguish between fall time windows and no fall time windows in unseen samples with the help of the features. Therefore two different learning approaches, namely the Hidden Markov Model and the Multilayer Perceptron are used. A detailed methodology for the usage of the learning models for the fall detection is proposed. Optimal parameter settings for the architecture of the two classifiers are found with the help of cross validation on the sample set. The significance of the particular features for the classification performance is investigated by training and validating classifiers with subsets of the features.