Am 20. Juni fand bei Puzzle ITC in Bern das zweite Messaging & Streaming Meetup statt. Auf dem Programm standen interessante Talks rund um die Open Source Plattform Kafka.
Patrick Bönzli, CEO von SPOUD, startete mit der Begrüssung und Einführung in das Meetup. Nebst den angekündigten Talks wurde das Programm mit zwei Lightning Talks erweitert. Lightning Talks sollen auch an den kommenden Meetups Bestandteil der Agenda sein und interessante Neuerungen rund um Kafka thematisieren.
Kafka Showcase Puzzle ITC
Der erste Talk wurde durch die beiden Kafka-Engineers Ramon Spahr und Thomas Selber geführt. Sie zeigten anhand eines visuellen Showcases die Live-Datenverarbeitung ab Twitter und RocketChat in eine Wordcloud. Die beiden Kanäle wurden mit der Kafka Connect-API angebunden und mit der Streams-API prozessiert. Die Nachrichten landeten schlussendlich über Websockets in einer Wordcloud. Besonders interessant waren die technischen Erläuterung zur Verarbeitung der einzelnen Nachrichten im Vorfeld der Demo. Bereits in einem vergangenen Blogpost haben wir diese Kafka Wordcloud vorgestellt. Lies mehr dazu hier.
Slides: Puzzle ITC Showcase
Lightning Talk 1: Datenschutz und Apache Kafka
David Jacot hat im ersten Lightning Talk eine sehr spannende Thematik bezüglich Datenschutz im Umgang mit Kafka beleuchtet. Vor allem folgende Punkte aus dem Datenschutzgesetz (DSG) stellen im Zusammenhang mit Kafka Herausforderungen dar:
- Wie können personenbezogene Daten verschlüsselt werden?
- Wie stellt man in einem unveränderbaren EventStore sicher, dass die Daten rechtzeitig gelöscht werden?
- Wie kann eine datenbasierte Zugriffskontrolle implementiert werden?
David präsentierte eine Lösung, welche E2E-Verschlüsselung, Crypto-Shredding und Record-based ACLs auf Producer- und Consumer-Ebene vorsieht. Der vollständige Talk hat er am Kafka Summit London gehalten und steht auf der Website von Confluent zur Verfügung.
Deploy and use Apache Kafka on Kubernetes
Im zweiten Talk präsentierte Jakub Scholz, Principal Software Engineer von Red Hat, wie mit Strimzi einfach Apache Kafka auf Kubernetes oder Openshift deployed und verwendet werden kann. Nach einem kurzem Überblick über die neuen Features von Strimzi 0.12.0 ging er auf verschiedene UseCases für die Anwendung von Kafka ein. Er demonstrierte verschiedene Möglichkeiten für die Anbindung von Datenbanken und Applikationen an Kafka. Speziell betonte er das Open Source Projekt Debezium, welches nach dem Change-Data-Capture-Pattern direkt auf dem Transaktionslog der Datenbank liest und Kafka-Messages schreibt. Auch die Strimzi HTTP-Bridge, welche die Anbindung von HTTP-basierten Applikationen an Kafka ermöglicht, erwähnte er.
Slides: Red Hat_Deploy and use Apache Kafka on Kubernets
Lightning Talk 2:
Zuletzt zeigte Kevin Amalathas, Junior DevOps-Engineer bei SPOUD, kurz und bündig auf, wie Rolling Upgrades eines Kafka-Clusters vorgenommen werden.
- Release-Notes und Kafka-JIRA-Board lesen
- Rolling Upgrade durchführen -> Cluster funktioniert nicht mehr
- Auf nächstes Upgrade warten und damit den Cluster fixen
Fazit
Aus meiner Sicht war das Meetup super. Die Talks waren Kafka-spezifischer als beim ersten Meetup und sehr interessant. Die Organisation (Merci Ändu und Chrigu) sowie das Apéro, welches von SPOUD gesponsert wurde, waren wie immer top! Nach dem Meetup konnte man sich in der Puzzle-Piazza bei Pizza und Bier austauschen und den Abend ausklingen lassen.
