Dieser Vortrag zeigt, wie Unternehmen heterogene Datenquellen – insbesondere aus Legacy Systemen wie Mainframes, proprietären Datenbanken oder monolithischen Applikationen – technisch korrekt anbinden und in eine moderne, offene Datenarchitektur überführen können.

Im Fokus steht der Einsatz von Apache Kafka und Confluent als skalierbare Streaming und Event Driven Plattform, die Change Data Capture Prozesse unterstützt, Datenänderungen in Echtzeit erfasst und mit hoher Ausfallsicherheit sowie garantierter Zustellung transportiert.

Durch die Integration von Datenqualitätsprüfungen, Metadaten-Management und Katalogisierung entsteht eine Basis, um konsistente und vertrauenswürdige Daten in einen offenen Data Lake – beispielsweise auf Basis offener Formate wie Apache Iceberg oder Parquet – zu persistieren.

Der Vortrag demonstriert, wie die Kombination aus Legacy Integration, Streaming Infrastruktur und Governance Mechanismen eine leistungsfähige Datenplattform bereitstellt, die fortgeschrittene Analytik und KI Workloads zuverlässig und skalierbar unterstützt.