Titelaufnahme

Titel
Managing event streams for querying complex events / Szabolcs Rozsnyai
VerfasserRozsnyai, Szabolcs
Begutachter / BegutachterinBiffl, Stefan ; Huemer, Christian
Erschienen2008
Umfang260 S. : graph. Darst.
HochschulschriftWien, Techn. Univ., Diss., 2008
Anmerkung
Zsfassung in dt. Sprache
SpracheEnglisch
Bibl. ReferenzOeBB
DokumenttypDissertation
Schlagwörter (DE)Complex Event Processing / Event Stream Processing / Event-Based Systems / Event-Driven Architectures
Schlagwörter (EN)Complex Event Processing / Event Stream Processing / Event-Based Systems / Event-Driven Architectures
Schlagwörter (GND)Ereignisgesteuertes System / Echtzeitverarbeitung / Komponentenmodell <Software> / Abfragesprache
URNurn:nbn:at:at-ubtuw:1-26307 Persistent Identifier (URN)
Zugriffsbeschränkung
 Das Werk ist frei verfügbar
Dateien
Managing event streams for querying complex events [11.72 mb]
Links
Nachweis
Klassifikation
Zusammenfassung (Deutsch)

Um den heutigen Anforderungen einer agilen und adaptiven Geschäftswelt gerecht zu werden, haben sich Unternehmensprozesse zunehmend zu vernetzten und hochgradig komplexen Abläufen entwickelt, die parallel und mit wenig menschlicher Einflussnahme ausgeführt werden.

Organisationen müssen ihre Prozesse immer schneller den Marktgegebenheiten anpassen, um Veränderungen rascher zu adaptieren als ihre Konkurrenten. Daher verlangen zeitgemäße Geschäftsprozesse nach Agilität, Flexibilität und nach Serviceorientierung.

Die Eckpfeiler derartiger Geschäftsmodelle sind lose gekoppelte, verteilte und Service/ Ereignis-getriebene (Service and Event Driven-Oriented) Systeme, die große Mengen von Events auf verschiedenen Granularitätsebenen erzeugen. Events zu erfassen, zu verfolgen, Aggregierungen aus Eventketten zu bilden und Korrelierungen zwischen Events zu erkennen und zu verwalten stellen einen Untersuchungsinhalt dar, mit dem sich bereits verschiedene Forschungsgruppen beschäftigen.

Ein viel versprechender Lösungsansatz für diese Art von Problemen ist Complex Event Processing (CEP). Der Begriff Complex Event Processing wurde erstmals von David Luckham in seinem Buch The Power of Events erwähnt und definiert eine Reihe von Technologien zur Verarbeitung großer Mengen von Ereignissen mit dem Nutzen diese zu überwachen, um Prozesse in Echtzeit zu optimieren und zu steuern. Ein CEP-System sollte in der Lage sein, Daten aus Ereignissen kontinuierlich in Echtzeit zu verarbeiten und zu integrieren ohne ETL-Batchprozesse zu verwenden, wie sie bei Data Warehouse Lösungen üblich sind.

Die Beiträge dieser Dissertation liegen im Forschungsbereich von Event Processing Systems mit einem speziellen Fokus auf CEP und Event-Processing/Query Languages.

Die Ergebnisse dieser Dissertation stellt der Forschungsgemeinschaft und interessierten Gruppen ein generisches Komponentenmodell für Event-Based Systems bereit. Das vorgestellte Modell ist erfolgreich mit der Implementierung der Event-Base evaluiert worden, wobei SARI-SQL ein integraler Bestandteil der Event-Base ist und dessen Implementierung eine große Herausforderung im Sinne einer performanten Abfrage von Events und der Korrelierungen war. Ein spezieller Fokus in dieser Arbeit ist auf die Sauberkeit und die Ausdrucksfähigkeit des Sprachdesigns gelegt worden, damit alle Event-zugehörigen Entitäten berücksichtigt werden können. Des Weiteren ist ein Schwerpunkt auf ein effizientes Design der Query Vorbereitung und der Ausführungs- und Auswertungsarchitektur gelegt worden mit deren Hilfe man verschiedene Query Optimizer Strategien einbinden kann. Mit der - in dieser Arbeit vorgestellten - Optimizer Strategie korreliert die Performance von Queries auf sogenannten Single-Value Types direkt mit der Performance des darunterliegenden RDBMS. Zukünftige Forschungsarbeiten basierend auf SARI-SQL umfassen die Verbesserung der Optimierungsstrategien im Zusammenhang mit Nested-Attribute Types von Events. Dies inkludiert Query Analyseprozeduren und Strategien für Ausführungspläne damit die Anzahl von In-Memory Post-Evaluierungsoperationen reduziert wird und somit die Performance steigt.

Die hier präsentierte Arbeit ist Teil von längerfristigen Forschungsbemühungen mit dem Ziel ein umfassendes Set von Analysewerkzeugen zu designen und zu entwickeln. Diese Werkzeuge sollen den Benutzern erlauben ein großes Repository von Real-Time und historischen Events von verschiedenen Quellen abfragen und analysieren zu können. Zusätzlich ist das Ziel eine Konsolidation und die Schaffung eines vereinheitlichten Event Models für Event-Based Systems, die eine breite Palette von Ereignisverarbeitenden Systemen unterstützt. Im Forschungsfokus steht dabei auch der Aspekt der Visualisierung von Events, deren temporaler Ordnung, den Korrelationen zu anderen Events und Event-Clustern.

Zusammenfassung (Englisch)

Nowadays, business processes evolved to networked workflows that are complex and executed in parallel with little human involvement to meet the needs of today's agile and adaptive business. Contemporary business requirements yaw for agility, flexibility and service orientation. A simplified summarization of this widely discussed and necessary business trend can be reduced to the demand, that today's businesses have to adapt their processes and organizations faster than their competitors. Business organizations that are able to handle critical business events faster than their competitors will end up us winners in today's globalized and fast business.

The pillars of such business models are loosely coupled, distributed and service- or event driven-oriented systems that generate huge amounts of events at various granularity levels. The lack of tracking those events and maintaining the causal relationships and traceability between those events, as well as aggregating them to high level events or correlating them, is a problem that is currently investigated by many research groups.

Event-based systems are increasingly gaining a widespread attention for such classes of problems, that require integration with loosely coupled and distributed systems for time-critical business solutions. The field of event-based or event-processing systems is a quite young area of research and is mainly influenced by the publish-subscribe paradigm and relational database and later on by Active- and Zerolatency data warehousing. A promising solution for these problems is Complex Event Processing (CEP). The term of Complex Event Processing (CEP) was first introduced by David Luckham in his book The Power of Events and defines a set of technologies to process large amounts of events, utilizing them to monitor, steer and optimize the business in real time. A CEP system continuously processes and integrates the data included in events without any batch processes for extracting and loading data from different sources and storing it to a data warehouse for further processing or analysis. CEP solutions capture events from different sources, with different time order and take events with various relationships between eachother into account.

The contributions of this dissertation are settled in the research area of event processing systems with a special focus on CEP and Event Processing- and Query Languages. The results of this dissertation provide the research community as well as interested parties with a generic component model for event-based systems. The introduced model has been successfully evaluated through the implementation of the Event-Base. SARI-SQL is an integral part of the Event-Base and its implementation was a major challenge in terms retrieving events and their correlations in a reasonable time. The presented work set a special focus on a clean and expressive language design in order to encapsulate all the event-related entities.

Furthermore an emphasis was set on an efficient design of the query preparation and evaluation architecture that allows attaching different query optimizer strategies. With the introduced optimizer strategies the performance of queries on single-value types (which applies in 80% of the cases) is directly correlating with the underlying RDBMS performance constraints and thus creates only a small overhead. The future work on SARI-SQL includes efforts in optimizing the strategies of handling nested attribute types of events. This includes query analysis procedures and execution planning strategies in order to reduce the number of in-memory post-evaluation operations.

The presented work is part of a long-term research effort aiming at designing and developing a comprehensive event analysis toolset that allows users to query and analyze large repositories of real-time and historical events from various sources. In addition the goal is to consolidate and create a rich unified event model for event-based systems which can be supported by a wide range of event-based systems. A key focus of future research is also set on the aspect of the visualization of events with respect to their temporal occurrence, their correlation with other events, and event clusters.