Big Data souverän gelöst

Datenströme über eine virtuelle Streaming-Plattform speichern und verarbeiten – Apache Kafka ermöglicht es. Puzzle ITC stellt der Mobiliar einen Kafka Cluster als Basis für Messaging und Streaming Use Cases bereit.

Puzzle ITC unterstützt Die Schweizerische Mobiliar bei der Bereitstellung eines Kafka Clusters als Basis für Messaging und Streaming Use Cases in Entwicklung, Test und Produktion. Die Aufgabe bestand darin, die virtuelle Streaming-Plattform zu definieren, zu integrieren und den 3rd-Level-Support sicherzustellen. Apache Kafka basiert auf einer verteilten Architektur, die für eine hohe Fehlertoleranz und Skalierbarkeit optimiert ist. Dadurch eignet sich Apache Kafka für die Verarbeitung der grossen Datenmenge der Mobiliar.

Confluent Kafka Distribution

Der Cluster basiert auf den Open Source – und Community Features einer Confluent Kafka Distribution, die mit Zusatzkomponenten für den sicheren Betrieb ergänzt wurde. Das Setup ist vollständig high available in die Mobiliar Cloud-Plattform, Tool- und Service-Landschaft sowie in den Richtlinien integriert. Die Lösung besteht aus einer ausgewählten Palette von Technologien und Tools basierend auf FOSS (Free OpenSource Software).

Apache Kafka bietet der Mobiliar Vorteile wie geringe Latenzen, hoher Durchsatz und die Möglichkeit, Echtzeit-Streams zu verarbeiten.

Einige Aufgaben von Puzzle im Projekt:

• Definition des Ökosystems & der Plattform
• Aufbau & Engineering der Integration des Ökosystems in die Systemlandschaft
• Integration in die Monitoring & Alerting Infrastruktur
• Testen von Betriebs- & Fehlerszenarien
• Performancemessungen von Storage Lösungen
• Automatisierung mittels Pipelines
• Automatisierung des Zertifikatsmanagement via Helm
• Definieren der relevanten Monitoring Metriken & deren Visualisierung
• Onboarding des Betriebsteams
• Evaluation von verschiedenen Kafka as a Service Lösungen
• 3rd Level Support