Mit Apache NiFi On-Prem-Daten in die Cloud streamen

Apache NiFi ist ein Softwareprodukt zur schnellen Automatisierung von Datenflüssen und erfreut sich aktuell einer hohen Beliebtheit. Eines der wichtigsten Argumente für den Einsatz von Apache NiFi ist die einfache Bedienung über den Browser. Via "Drag-and-drop" lassen sich bequem Dataflows erstellen und verwalten. Somit können Daten aus Quellsystemen entladen, verarbeitet und letztlich in ein Zielsystem geliefert werden.

Für Quell- und Zielsysteme bietet Apache NiFi eine Vielzahl (>300) von Konnektoren. Viele Unternehmen sehen die Cloud als Chance und es werden immer mehr Use Cases dorthin migriert. Dabei stellt sich zwangsläufig die Frage: Wie kommen die verschiedenen Daten von On Prem in die Cloud und was ist mit hybriden Use Cases?

In diesem Vortrag werde ich vorstellen, wie Apache NiFi aufgebaut ist und wie mithilfe von NiFi-On-Prem-Daten aus den unterschiedlichsten Datenquellen in die Oracle Cloud geladen werden können. Wir werden Daten aus einer PostgreSQL-Datenbank, von einem FTP-Server und aus verschiedenen ASCII-Dateien, wie Logs und JSON-Daten direkt in die Cloud streamen. Hierbei werden wir auch kennenlernen, wie Daten geroutet und transformiert werden.