Künstliche Intelligenz beeindruckt – und enttäuscht. Manchmal antworten ChatBots korrekt, manchmal fehlerhaft, aber auch der absurdeste Quatsch (sowie das Gegenteil davon) wird mit scheinbar großer Sicherheit vorgetragen. Und solche Systeme sollen unternehmenskritische Prozesse steuern? Daher lautet die zentrale Herausforderung: Wie lässt sich die Qualität von KI-Systemen messen und sichern? Wie geht Qualitätssicherung mit Systemen um, die inhärent probabilistisch sind, also auch im Regelbetrieb Falschergebnisse liefern können? Gängige KI-Testframeworks (RAGAS, promptfoo, …) bieten nur einzelne Metriken, keinen umfassenden Qualitätsbegriff, wie z.B. eine ISO 25010. Für die betriebliche Praxis fehlen uns verlässliche Leitplanken.

In unserem Vortrag leuchten wir diese strategische Lücke aus und zeigen Lösungsansätze aus der Praxis. Insbesondere stellen wir ein Qualitätsmodell für KI vor und zeigen, wie der systematische Test von KI unter Berücksichtigung technischer, ethischer und betriebswirtschaftlicher Anforderungen gelingen kann. Aus unserer Sicht ist dies entscheidend für den wirtschaftlichen Erfolg von KI-Anwendungen – denn ohne stringente Qualitätssicherung bleiben KI-Anwendungen stochastische Papageien.