Microsoft Azure Data Factory: Entwicklung moderner ETL-Prozesse

Das Cloud-Geschäft ist aktuell in aller Munde und immer mehr Unternehmen entscheiden sich dazu, ihre Datenverarbeitung mit bzw. über Azure-Dienste zu verwirklichen. Microsofts Cloud-Plattform hat sich insbesondere in den letzten Jahren enorm weiterentwickelt und kann ein starkes Wachstum nachweisen. Die Ansprüche an modernes Data Warehousing – insbesondere mit Blick auf Themengebiete wie Big Data, IoT und künstliche Intelligenz – werden immer komplexer und die Menge an zu verarbeitenden Daten wächst ebenfalls stetig. Software und Tools, wie etwa Microsofts SQL Server Integration Services (SSIS), die sich über die Jahre etabliert haben, geraten immer mehr an ihre Grenzen. Hierdurch lassen sich komplexe ETL-Prozesse nur noch schwer skalieren und On-Premise-Lösungen erfordern immer bessere (und insbesondere teure) Hardware, um all die Datenmenge in absehbarer Zeit verarbeiten zu können. Mit der Azure Data Factory Version 2 (ADF) und den Diensten der Azure Cloud Platform bietet Microsoft seinen Kunden moderne Tools, um skalierbare ETL-Prozesse in der Cloud zu entwickeln. Doch welche Vorteile gegenüber der gängigen Entwicklung von ETL-Prozessen mit SSIS oder mithilfe von Stored Procedures bietet die Azure Data Factory – insbesondere im Blick auf Performance, Laufzeiten, Kosten, Sicherheit & Monitoring? Wo liegen die Nachteile? Ist ein Umstieg auf die neue Technik automatisch mit einer Neuentwicklung verbunden?