Kafka ist heute in vielen Unternehmen als zentrale Event-Streaming-Plattform fest verankert. Doch besonders die Day-2-Operations bleiben anspruchsvoll – erst recht, wenn mehrere Kafka-Cluster unterschiedlicher Couleur (Confluent, AWS MSK, Strimzi, Apache Kafka …) in verschiedenen Netzwerkdomänen betrieben werden.

Unsere Plattform löst zwei Kernanforderungen:

  1. Self-Service für Teams:
    Über ein zentrales Portal können Entwicklerinnen und Entwickler Ressourcen, wie neue Topics, Berechtigungen oder Replikationsregeln clusterübergreifend „bestellen“, ohne tief in Kafka einsteigen zu müssen.
  2. GitOps für den Betrieb:
    Sämtliche Ressourcen werden deklarativ in einem Git-Repository versioniert und von dort automatisiert auf die Ziel-Cluster ausgerollt.

Im Vortrag zeigen wir die Architektur hinter dieser Lösung. Sie basiert auf Kafka Connect, Confluent Replicator, MirrorMaker 2 und einem eigenen "Domänenmodell" für Ressourcen und atomare Operationen. So ermöglichen wir einen durchgängigen Workflow, in dem Entwicklungs- und Betriebsteams auch in heterogenen Kafka-Umgebungen reibungslos zusammenarbeiten.