Apache Kafka ist zu einem zentralen Baustein moderner Datenarchitekturen geworden. Es treibt Event-Streaming-Plattformen, Echtzeit-Datenpipelines und verteilte Messaging-Systeme an.

Kafka wird oft eingesetzt ohne genau zu wissen, wie das System genau funktioniert.

In diesem Vortrag werfen wir einen Blick unter die Haube von Kafka und erklären die wichtigsten internen Konzepte. Wir betrachten, wie Broker, Topics, Partitionen, Producer und Consumer zusammenarbeiten, um ein skalierbares und fehlertolerantes Messaging-System zu ermöglichen.

Außerdem werfen wir einen Blick auf zentrale Mechanismen wie Replikation, Leader Election, die Log-basierte Speicherung von Nachrichten und das Offset Management.

Abschließend wird erklärt wie Apache Kafka Skalierbarkeit und Ausfallsicherheit garantiert.

Nach diesem Vortrag haben die Teilnehmenden ein solides Verständnis der grundlegenden Kafka-Architektur und können besser nachvollziehen, wie Kafka intern arbeitet – eine wichtige Grundlage, um Kafka effektiv zu nutzen und zu betreiben.