Generative KI brilliert beim Schreiben von Code oder E-Mails. Doch was passiert, wenn wir Large Language Models (LLMs) für die Root Cause Analysis in kritischen IT-Umgebungen einsetzen? Ein halluzinierender Chatbot im Marketing ist ein PR-Problem – ein LLM, das bei einem Incident nachts um 3 Uhr fälschlicherweise ein Rollback auf ein fehlerhaftes Release empfiehlt, ist ein Desaster.

Der Vortrag zeigt, warum klassisches Prompt Engineering dafür nicht ausreicht und wie sich LLMs stattdessen als kontrollierte Komponente in eine verlässliche Systemarchitektur einbetten lassen. Im Mittelpunkt stehen drei Prinzipien: die gezielte Aufbereitung und Begrenzung von Observability-Daten, bevor sie ein Modell überhaupt zu sehen bekommt; die Erzwingung strukturierter, belegbarer Ausgaben statt freier Interpretation; sowie definierte Fallback- und Eskalationsmechanismen, wenn die Unsicherheit zu groß wird.

Im Kern geht es um eine praktische Architekturfrage: Wie nutzt man die Stärken generativer Modelle, ohne die Kontrolle an ein probabilistisches System abzugeben? Der Vortrag richtet sich an Architekt:innen, SRE- und DevOps-Teams sowie technische Entscheider:innen, die GenAI produktionsnah einsetzen wollen – nicht nur eindrucksvoll, sondern belastbar, gerade wenn es darauf ankommt.