Microservices sind der moderne Standard für IT-Architekturen. Sie bieten langfristig bessere Skalierbarkeit und Wartbarkeit, haben jedoch eine hohe Einstiegskomplexität. Dies betrifft auch die Bereiche wie Data Science, Künstliche Intelligenz und Machine Learning. Neben den allgemeinen Vorteilen von Microservices (Skalierung der Entwicklung, Performanz, Belastbarkeit u.a.) haben wir im Bereich Data Science spezielle identifiziert: Microservices bieten sich ausgezeichnet dafür an, flexible Analyse-Pipelines zu erstellen und verschiedene Algorithmen gegeneinander zu benchmarken. Darüber hinaus kann man fertige Services wie einen Bausatz anbieten. Dies führt auch zu einem Ressourcen-Verbrauch, der sich dicht am Bedarf orientiert. Ein letzter, aber sehr zentraler Punkt ist die einfache Erweiterbarkeit.
Damit all diese Vorteile zum Tragen kommen, bedarf es allerdings solider Protokolle für die Kommunikation zwischen Services und klar definierter Datenstandards, welche möglichst generische Anknüpfpunkte zwischen Services bieten – nur so lässt sich gewährleisten, dass eine bestehende Plattform effizient weiterentwickelt und gewartet werden kann.
In der Session wird der Weg zum Aufbau eines microservice-basierten Datenanalyse-Stacks anhand von Beispielen präsentiert. Dabei werden die Ideensammlungen und Erfahrungen aus der Umsetzung zur Architektur, Steuerung der Pipelines, Kommunikation zwischen Analyseservices, Infrastruktur für Datentransport, Logging- und Monitoring sowie die Orchestrieung des Deployments behandelt.