Versicherungen
Partner der VIG Group
Langfristige Unterstützung und Entwicklung des zentralen Versicherungssystems für 7 Versicherungsgesellschaften innerhalb der VIG Group.
Versicherungen
RealTime DWH
Online-Synchronisation von Daten zwischen dem Versicherungskernsystem SIRAEL und dem DWH mittels Apache Kafka für Generali Česká Poisťovňa SK (GČP).
Gegenstand der Lieferung war:
- Durchführung eines PoC für die Online-Synchronisation einer ausgewählten Teilmenge von Tabellen, wobei
- ein Log-basierter CDC-Source-Connector für die IBM Informix-Datenbank geliefert wurde, der das Abfangen von Änderungen in der Quellendatenbank SIRAEL ermöglicht,
- ein JDBC Sink Connector für das Schreiben von Daten in die MS SQL DWH-Datenbank konfiguriert wurde,
- ein Mechanismus zur initialen Befüllung der synchronisierten Tabellen unter Verwendung von IBM Informix External Tables und TSQL Bulk Insert erstellt wurde,
- ein Mechanismus vorbereitet wurde, der die Verarbeitung abgefangener Transaktionen (Commit, Rollback) auf der Seite der MS SQL-Datenbank sicherstellt,
- eine Methode zur Historisierung von Änderungen in den synchronisierten Tabellen in MSSQL entworfen wurde.
- Umsetzung der gesamten Lösung zur Online-Synchronisation von Daten, wobei
- die Lösung auf die gesamte Menge der zu synchronisierenden Daten (mehr als 300 Tabellen) erweitert wurde, wobei die Menge der synchronisierten Tabellen durch Metadaten gesteuert wird, die in Konfigurationstabellen in MS SQL gespeichert sind,
- Betriebsprozesse definiert und optimiert wurden,
- Installation und Konfiguration eines produktiven Apache Kafka Clusters erfolgte,
- Installation und Einrichtung von Monitoring-Tools für die Lösung (Prometheus, Grafana),
- die erstmalige Initialisierung der DWH-Datenbank auf MS SQL durchgeführt wurde.
Im Rahmen des Projekts konnten folgende Ziele erreicht werden:
- Aufbau einer Plattform für die Online-Synchronisation von Daten mittels Apache Kafka.
- Direkte Anbindung des DWH an die Produktionsdatenbank des Kernsystems SIRAEL ohne die Notwendigkeit, eine tägliche Kopie der Quelldatenbank auf IBM Informix zu erstellen.
- Ermöglichung von Online-Reporting auf Seiten des DWH und damit Reduzierung der Betriebsbelastung des Kernsystems.
- Sicherstellung einer vertrauenswürdigen Datenquelle, die Informationen über alle im Kernsystem SIRAEL vorgenommenen Änderungen enthält und damit die Implementierung optimierter Datenpumps ermöglicht, die bei zeitkritischen Verarbeitungen nur modifizierte Daten verarbeiten.
