<div class="csl-bib-body">
<div class="csl-entry">Floh, A. (2014). <i>Dependable event processing over high frequency data streams</i> [Diploma Thesis, Technische Universität Wien]. reposiTUm. https://doi.org/10.34726/hss.2014.22147</div>
</div>
-
dc.identifier.uri
https://doi.org/10.34726/hss.2014.22147
-
dc.identifier.uri
http://hdl.handle.net/20.500.12708/4588
-
dc.description
Zsfassung in dt. Sprache. - Literaturverz. S. 113 - 124
-
dc.description.abstract
Ereignis-basierte Systeme (event processing systems) haben in letzter Zeit an Bedeutung gewonnen und sind immer häufiger im Einsatz. Im Gegensatz zu traditionellen Systemen, welche persistierte Daten verarbeitet haben, die oftmals in eine Datenbank eingefügt und erst danach verarbeitet wurden, müssen Ereignis-basierte Systeme mit laufend ankommenden Daten umgehen können und diese meist auch umgehend verarbeiten können. Die Verarbeitung umfasst dabei komplexe Berechnungen, welche durchaus gewisse Ressourcen benötigen. Die Ankunftsrate der Ereignisse ist allerdings selten gleichbleibend. Vielmehr müssen die Systeme mit starken Schwankungen umgehen und sollten Spitzenfrequenzen verkraften, welche die Durchschnittsfrequenz um ein Vielfaches übersteigen. Speziell zu solchen Spitzenzeiten, wenn die Anzahl der ankommenden Ereignisse und deren Größe ein sehr hohes Datenvolumen ergeben, sollen diese Systeme trotzdem verlässlich arbeiten. Verschiedene Ansätze für den Umgang mit solch hohen Datenvolumina wurden in der bisherigen Forschung vorgestellt, allerdings oft nur im Kontext von speziellen Anwendungsgebieten. Die Anwendbarkeit und Effizienz der Strategien ist aber je nach Einsatzzweck unterschiedlich. Generelle Richtlinien, welche Strategien in welchen Situationen verwendet werden sollen, sind derzeit nicht verfügbar. Diese Arbeit behandelt Vorgehensweisen für den Umgang mit hoher Last auf einem einzelnen Verarbeitungsknoten. Aktuell sind hierfür vor allem drei Strategien populär: Lastabwurf (load shedding) verzögerte Verarbeitung (deferred execution) und Weiterleitung (forwarding). Im Rahmen der Arbeit werden diese Strategien vorgestellt und analysiert. Im Speziellen wird dabei untersucht, für welche Verarbeitungsszenarien diese Praktiken verwendet werden können. Hierfür wird auch eine Klassifizierung der Abfragen, die zur Verarbeitung verwendet werden, erstellt. Die Klassifizierung erfolgt dabei nach zwei Dimensionen: dem Operationstyp und dem Umfang der Abfrage. Basierend auf den Eigenschaften der verschiedenen Abfragetypen wird die Einsetzbarkeit der Praktiken theoretisch analysiert und danach mit einer praktischen Evaluierung belegt. Die Strategien werden hierzu generisch implementiert und in das Framework WS-Aggregation integriert. Dieses Framework für die verteilte, ereignis-basierte Aggregation von Web-Service Daten wurde am Arbeitsbereich für Verteilte Systeme der Technischen Universität Wien entwickelt. Die Ergebnisse der Evaluierung werden im Speziellen auch genutzt um die verschiedenen Faktoren der Anwendbarkeit der Strategien zu gewichten und um festzustellen, in welchen Bereichen noch weitere Forschungsarbeit benötigt wird.
de
dc.description.abstract
The number of event processing system is increasing more and more. In contrast to traditional systems, those event processing systems do not handle persistent data, which is mostly stored in databases, but instead they have to deal with events, which are received continuously over various communication channels and should be processed more or less immediately. Complex calculations in terms of queries have to be performed for these events. The frequency of the arriving events is not necessarily steady. In fact, the system has do deal with ups and downs, which can influence the data volume heavily. Especially in times of high frequency the processing systems have to deal with a huge number of events and should be able to manage these phases. Different approaches of dealing with high volume data streams have been studied, but their applicability and efficiency may vary depending on the application scenario. General approaches or guidelines on how to treat such overload are not available. This thesis covers strategies to handle phases of high data volume on event streams for a single event processing node. Currently, there are three established strategies for coping with loads that are too high, which have been used to treat overload situations caused by high data volume: load shedding, deferred execution and forwarding. These strategies are discussed and their applicability for different types of queries is evaluated. For this reason, a taxonomy of queries in event processing systems is elaborated. The taxonomy covers different dimensions like the type of processing operation and the scope of the query. Based on the features of the strategies and the different query types, the applicability of the strategies is analyzed in theory and an evaluation is performed to support the analysis. The strategies are implemented in a generic way and are integrated into the WS-Aggregation framework for the evaluation. This framework for distributed and event-based aggregation of web services data has been developed by the Distributed Systems Group at the Vienna University of Technology. Furthermore, the results of the evaluation are used to determine the strength of the influence of the different applicability criteria and to formulate problem statements for further research.
en
dc.language
English
-
dc.language.iso
en
-
dc.rights.uri
http://rightsstatements.org/vocab/InC/1.0/
-
dc.subject
Ereignis-Verarbeitung
de
dc.subject
Cloud-Computing
de
dc.subject
Lastspitzen-Behandlung
de
dc.subject
Datenströme
de
dc.subject
Überlastung
de
dc.subject
Abfragentaxonomie
de
dc.subject
Lastabwurf
de
dc.subject
Verzögerte Verarbeitung
de
dc.subject
Weiterleitung
de
dc.subject
event processing
en
dc.subject
cloud computing
en
dc.subject
burst handling
en
dc.subject
data streams
en
dc.subject
overload
en
dc.subject
query taxonomy
en
dc.subject
load shedding
en
dc.subject
deferred execution
en
dc.subject
forwarding
en
dc.title
Dependable event processing over high frequency data streams