Pfeffer, G. (2015). Analysis of emotions in text-based negotiations [Diploma Thesis, Technische Universität Wien]. reposiTUm. https://doi.org/10.34726/hss.2015.24407
Die vorliegende Arbeit behandelt das Thema rund um die automatisierte Erkennung von Emotionen in text-basierten Verhandlungen. Dementsprechende Möglichkeiten werden von theoretischem Standpunkt aus erörtert und im Anschluss exemplarisch implementiert. Dem zugrundeliegend wird ein Datensatz herangezogen, welcher textuelle Nachrichten von Verhandlungen zwischen zwei fiktiven Unternehmen beinhaltet. Jede Nachricht dieses Datensatzes ist mit mittels Multidimensional Scaling ermittelten Werten für Valence und Activation versehen, entsprechend dem sogenannten "Circumplex Model of Affect" nach Russell. Basierend auf diesen Werten werden für sämtliche Nachrichten Klassen je nach Radius und Lage im bipolaren, zweidimensionalen Raum des Circumplex abgeleitet. Die notwendigen Schritte der Textanalyse werden in Anlehnung an das Textanalyse-Framework von Aggarwal und Zhai evaluiert. Bezüglich der Aktivitäten im Rahmen des Preprocessing werden Ansätze der Tokenisierung, der Entfernung von Stopwords, des Stemming und des Part-Of-Speech Tagging untersucht. Repräsentiert werden textuelle Nachrichten mittels der Bag-Of-Words Methode, wobei die Häufigkeiten der Features durch Term Frequency/Inverse Document Frequency gewichtet werden - was auch in Kombination mit Part-Of-Speech Tagging als fruchtende Konstellation erscheint. Insgesamt ergeben sich 16 experimentelle Setups, welche mit ausgewählten Supervised Learning Methoden kombiniert und durchgeführt werden. Dabei werden Algorithmen bzw. entsprechende Implementierungen angewandt, welche auf den Konzepten von Decision Trees (J48), Wahrscheinlichkeiten (Naive Bayes Multinomial), Support Vector Machines (Sequential Minimal Optimization) und Ähnlichkeiten (Instance-Based k Learner) basieren. Für deren Umsetzung werden das WEKA Toolkit und die Stanford Part-Of-Speech Tagging Library herangezogen. Mittels 10-Fold Cross-Validation kann eine Performance von mehr als 50% Accuracy, Precision, Recall und F-Score in Experimenten mit Naive Bayes Multinomial und Sequential Minimal Optimization beobachtet werden. J48 und Instance-Based k Learner basierte Szenarien kommen hingegen bestenfalls auf etwa 40% Accuracy. Diese Werte liegen jedoch immer noch etwa 20% über der Baseline von 21,51%, dem Anteil der Klasse mit den meisten Nachrichten im Trainingsset. Die Ergebnisse zeigen, dass vor allem Naive Bayes Multinomial und Sequential Minimal Optimization durch Berücksichtigung von Uni- und Bigrams als Features bei gleichzeitiger Anwendung des Porter Stemmers überdurchschnittlich gute Ergebnisse liefern. Ausschließlich aus Nomen, Verben und Adjektiven bestehende Datensätze sind hingegen nicht förderlich für die Emotionserkennung, da viele Wörter mit hohem Unterscheidungspotential hinsichtlich der Emotionsklassen - gemessen anhand von Information Gain - eliminiert werden. Ähnliches gilt auch für den Einsatz von Stopword-Listen. Dagegen offenbaren Stemming und der Einsatz von Bigrams positive Effekte unabhängig vom angewandten Algorithmus.
de
The present work deals with automated emotion recognition in text-based negotiations. As such, a number of possibilities are considered before experiments are conducted using exemplary implementations of applicable methods. The foundation for the corresponding experiments is a given dataset generated by negotiations between two fictitious companies in an experimental setup. Each negotiation message in the dataset comes with values for valence and activation according to Russell's circumplex of affect, which are generated by Multidimensional Scaling. Derived from these two values, class labels for individual document instances (negotiation messages) are generated with respect to radius and location on the bipolar, two-dimensional space. Text analysis is conducted in four major phases based on the framework by Aggarwal and Zhai. Thus, essential preprocessing and document representation aspects are taken into account before, finally, learning methods are chosen. In terms of preprocessing, approaches concerning stopword removal, tokenization, stemming and Part-Of-Speech tagging are explored, while for representation purposes, Bag-Of-Words using Term Frequency/Inverse Document Frequency weighting - also in interaction with Part-Of-Speech tagging - is found to be a promising constellation. In total, 16 experiment settings are put together and applied in combination with supervised learning methods. Particularly, representative algorithms of decision tree, probability-based, Support Vector Machine and proximity-based classifiers are determined for subsequent experiments. Empirical exploration is conducted using the WEKA toolkit, where J48, Naive Bayes Multinomial, Sequential Minimal Optimization, and Instance-Based k Learner are the respective implementations of the classifier families mentioned above. For activities relating to Part-Of-Speech tagging, the Stanford Part-Of-Speech tagger is utilized. To summarize, experiments employing 10-fold cross-validation reveal that the probability-based and the Support Vector Machine approaches are capable of achieving performance measures above 50% in terms of accuracy, precision, recall and F-score, while decision tree and proximity-based variants settled at around 40% in the best case. However, this is still almost double the baseline value of 21.51%, the share of the most frequent class occurring in the training set. In particular, experiment settings considering unigrams and bigrams as features boosted performance of the two better performing learning methods, which delivered the best results when combined with stemming. This, though, turned out to be a general tendency unless a Part-Of-Speech adjusted dataset is used, which is prepared such that it only consists of nouns, verbs and adjectives. Furthermore, stopword removal is generally found to have a negative impact on classifier performance, as features with high discrimination power in terms of Information Gain are neglected. In contrast, the application of Porter's stemmer and bigrams leverage classification results regardless of the particular learning method employed.
en
Additional information:
Abweichender Titel laut Übersetzung der Verfasserin/des Verfassers Zsfassung in dt. Sprache