Human activity pattern recognition based on continuous data from a body worn sensor placed on the hand wrist using Hidden Markov models

Abstract

Das Ziel dieser Arbeit ist kontinuierliche und diskrete Daten in einem Algorithmus zu vereinen um komplexe Aktivitäten-Muster zu erkennen,wie Zähne putzen,Zubereitung von Essen oder Hausarbeit.Diese Muster sind oft sehr komplex,da sie aus vielen Untermustern bestehen. Das Zubereiten von Essen zum Beispiel,besteht aus Untermustern wie 'Töpfe aus dem Schrank nehmen',Essen aus dem Kühlschrank nehmen',Schneiden',Kochen'und andere.Der schwierige Teil dieser Aufgabe ist,dass die Essenszubereitung sich nicht nur in der Reihenfolge der Untermuster unterscheidet,sondern auch in den unterschiedlichen Speisen die zubereitet werden.Man stelle sich den Unterschied zwischen der Vorbereitung eines Drei-Gänge-Menüs zu einem Frühstück vor.Diese beiden Aktivitäten unterscheiden sich enorm in der Vorbereitungsdauer und den Untermustern.Das Erkennungssystem welches innerhalb dieser Arbeit konstruiert wurde und menschliche Aktivitäten erkennt,kann mit dieser Art von Unterschieden umgehen. Das InvenSense MotionFit TMSoftware Development Kit(SDK)wird verwendet um die MPU-9150Sensordaten aufzuzeichnen.Der MPU-9150Sensor ist ein neun-achsiges MotionTracking Gerät,welches für diese Art von Anwendungen,wie in dieser Arbeit benötigt,optimiert wurde.Dieser tragbare Sensor kann Beschleunigungssensor-und Gyrometer-Daten senden,welche später herangezogen werden um menschliche Aktivitäten in realen Umgebungen zu erkennen. Die Frequenz der annotierten Daten ist in allen Experimenten auf50Hz gesetzt worden.Die aufgenommenen Aktivitäten sindHaare kämmen',Gesicht waschen',Hände waschen',Zähne putzen',Das Bett machen',Kleidung wechseln',Rollos rauf/runter ziehen',Essen zubereiten',Essen'undFenster schließen/öffnen'.Zwischen diesen Aktivitäten wird eineNULL'-Klasse durchgeführt,welche die Vorbereitung bzw.Nachbereitung der nächsten bzw.vorigen Aktivität beschreibt.Diese rohen Daten werden mithilfe eines verschiebbaren Fensters und verschiedener Features vorverarbeitet.In dieser Arbeit beträgt die Fensterlänge50,genauso wie die Frequenz beim Aufnehmen.Die Verschiebung des Fensters wird mit einer50%-Überlappung durchgeführt.Die verwendeten Features sind Mittelwert,Varianz,Korrelation und die auf schnelle Fourier-Transformation beruhenden Features,spektrale Entropie und Energie. Die Mustererkennung wird mit MATLAB und der von Murphyet al.zur Verfügung gestellten Toolbox PMTK3 [22]bewerkstelligt.Die verwendeten Klassifikations-Algorithmen sind supervised Lernmethoden,dies bedeutet,sie brauchen gelabelte Daten für das Training.Dieser Umstand wird von den Daten in dieser Arbeit erfüllt.Die Klassifikations-Algorithmen die während der Experimente verwendet werden sind einerseits kontinuierliche Hidden Markov Modelle(cHMM)und andererseits k-nächste-Nachbarn(kNN)Klassifikatoren.Die Klassifikationsmethoden werden im Detail beschrieben und ein Vergleich wird durchgeführt um Unterschiede zu erörtern.Die Experimente zeigen schlussendlich,dass das cHMM zu besseren Resultaten führt,im Gegensatz zu dem kNN Klassifikator. Die Erkennung von Alltagsaktivitäten funktioniert gut im Zusammenhang mit Ambient Assisted Living.Es kann gefolgert werden,dass cHMM die geeignetste Methode ist und zu den besten Ergebnissen führt.Verhältnismäßig ist der kNN Klassifikator viel schlechteraufgrund seiner einfachen Annahme.Deshalb ist der kNN Klassifikator nicht der beste Klassifikator,aber trotz seiner Einfachheit können annehmbare Ergebnisse erwartet werden. Nach der Validierung des Models sind verschiedene Features Kombinationen verglichen worden um die geeignetste Kombination zu finden.Andere Experimente konzentrieren sich auf die Verwendung von verschiedenen Training-und Test-Sets,die beste Anzahl von Sensoren,den Einfluss von Filtern,den Einfluss der Teilung von Aktivitäten und die Anwendung von diskreten und kontinuierlichen Daten.Die Experimente zeigen,dass die Bewegungssensor-Daten alleine,die besten Resultate liefert,während Filter und Teilung von Aktivitäten keine qualitative Verbesserung bringen. Die Kombination von diskreten und kontinuierlichen Daten verbessert die Resultate erheblich und führt zu verschiedenen Aktivitäten mit bester Genauigkeit und Trefferquote.Die Genauigkeit fürHände waschen'ist mit100%die beste Aktivität für kontinuierliche Daten undZähne putzen'100%für den kombinierten Fall.Essen'hat eine der besten Trefferquoten mit97.13%im kontinuierlichen Fall,wohingegen der kombinierte Fall eine Verbesserung nach sich zieht mit100%fürHände waschen',Das Bett machen',Rollos rauf/ runter ziehen',Essen zubereiten',Essen'undFenster öffnen/ schließen'.Im Allgemeinen liefert das System vertretbare Resultate sogar mit einem relativ kleinen Datensatz.

The aim of the thesis is to combine discrete and continuous data in an algorithm to detect complex activity patterns such as tooth brushing, food preparation or household work. These patterns are of highly complex nature, meaning they consist of many sub-activities. Food preparation, for instance consists of sub-activities like 'take pans out of the cupboard','take food out of the refrigerator', 'cutting', 'cooking' and others. The complicated parts of this task are, that the food preparation not only differs in the order of the sub-activities, but also in the food which is prepared. Envision the preparation of a three-course menu in comparison to preparing a breakfast. This two activities differ a lot in needed duration and sub-activities. The human activity recognition system built in this thesis can handle these differences. The InvenSense MotionFit TM Software Development Kit (SDK) is used to record data with the MPU-9150 sensor. The MPU-9150 sensor is a nine-axis MotionTracking device, which is optimized for those kind of applications in this thesis and is normally used in mobile devices.[20] The wearable sensor MPU-9150 is able to send accelerometer and gyrometer data, which are later used to detect human activities in real environments. The frequency of the annotated data is 50Hz in all experiments. The processed activities are 'Comb hair','Wash face', 'Wash hands', 'Tooth brushing', 'Make bed', 'Change clothes', 'Put roller blinds up/down', 'Prepare food', 'Eat' and 'Open/close window'. Inbetween this activities a 'NULL'-class is performed, which describes the preparation for the next activity or the closure of the previous activity. This raw data are preprocessed via a shifted window and different features. In this thesis the window length is set to 50, equal the sampling frequency and the shift is accomplished with an 50% overlap. The used features are mean, variance, correlation and fast Fourier transformation based features. The fast Fourier transformation bases features are spectral entropy and energy. The pattern recognition is done in MATLAB using the PMTK3 toolbox from Murphy et al. [22] with real annotated data. The used classification algorithms are from supervised learning structure, meaning that they need labeled data for training. This circumstances are fulfilled for the data used in this thesis. The classification algorithms that are used during the experimentation are continuous Hidden Markov Model (cHMM) and k-nearest-neighbors (kNN) classification. The classification methods are described in detail and a comparison is done to discuss the differences between the results. In the end the cHMM leads to the more accurate outcomes in comparison to the kNN classifier. Daily activity detection works well in the context of ambient assisted living. It can be concluded that, the cHMM is the most proper method and comes to the best solutions. In contrast the kNN classification is much worse, because of its simplifying assumption. Due to that the kNN classifier is not the best classifier to use, but for the simpleness, acceptable results can be expected. After validation of the model the different features combinations are compared to each other to find the most suitable combination. Other experiments focus on different training and test sets, the best number of sensors, the impact of filters, the impact of activity division and the application of discrete and continuous data. The experiments show that the accelerometer data on their own lead to one of the best results, whereas the filters as well as activity division do not lead to a qualitative improvement. The combination of discrete and continuous data improves the results a lot and leads to different activities with highest recall and precision. The precision for 'Wash hands' is with a value of 100% the best in the continuous data case and 'Tooth brushing' in the combined case, also with 100%. 'Eat' has one of the best recall values with 97.13% in the continuous case, whereas the improvement in the combined case can be seen on the recall value 100% for 'Wash hands', 'Make bed', 'Put blinds up/down', 'Prepare food', 'Eat' and 'Open/close window'. Overall the system leads to reasonable outputs even with a relative small dataset.