Systeme erster Ordnung vs. Systeme zweiter Ordnung: Warum ein anwesender Prüfer noch keine Aufsicht ist

Ein Mensch sitzt vor dem Bildschirm und gibt KI-Empfehlungen frei. Formal ist menschliche Aufsicht vorhanden. Tatsächlich kann sie längst ausgefallen sein – und niemand bemerkt es. Der Unterschied zwischen erster und zweiter Ordnung erklärt, warum.

Was unterscheidet ein System erster Ordnung von einem System zweiter Ordnung?

Der Gegenstand der Fehlermessung. Ein System erster Ordnung misst die Abweichung zwischen Soll und Ist des gesteuerten Prozesses: Stimmt das Ergebnis? Ein System zweiter Ordnung misst ein zweites Fehlersignal: die Abweichung zwischen erwarteter und tatsächlicher Qualität der Kontrolle selbst – funktioniert das Prüfen noch? Ein Betrieb kann beim ersten Signal grün zeigen und beim zweiten tiefrot: fehlerfreie Ergebnisse bei erloschener Prüffähigkeit.

Woran erkennen Sie, dass Ihre Prüfer nur noch abnicken statt zu prüfen?

An zwei Messgrößen, die jedes Freigabesystem hergibt: Zustimmungsquote und Prüfzeit. Die Fachliteratur nennt die kritische Kombination – wer 99 Prozent der KI-Entscheidungen mit einer Prüfzeit unter zehn Sekunden freigibt, prüft nicht mehr, er klickt. Der Mechanismus dahinter ist menschlich: Eingreifen verlangsamt den Durchsatz, erzeugt Konflikte und exponiert den Prüfer persönlich. Unter Druck entsteht eine Aufsicht, die nur noch aus Zustimmung besteht – und das Protokoll dokumentiert diesen Ausfall lückenlos mit.

Warum sind ausgerechnet Ihre kompetentesten Entscheider am stärksten gefährdet?

Weil geschärftes Urteilsvermögen zum Instrument wird – und Instrumente werden durch Gebrauch unsichtbar. Wer seine Prüfroutine über Jahre entwickelt hat, verlässt sich auf sie, ohne sie noch zu bemerken. Der erfahrene Prüfer registriert sein eigenes Nachlassen zuletzt, weil seine Erfahrung ihm meldet, alles sei in Ordnung. Aufsichtsrisiken wachsen deshalb nicht am unteren, sondern am oberen Ende der Kompetenzskala.

Wer beobachtet den Beobachter – und wie richten Sie das ein?

Mit Luhmann formuliert: Der Prüfer erster Ordnung sieht die KI-Ausgabe, aber nicht seine eigene Art des Sehens. Erst ein Beobachter zweiter Ordnung – eine Person, eine Routine, eine unabhängige Instanz – kann feststellen, wie der Prüfer beobachtet und ob diese Beobachtung noch trägt. Organisationen richten das ein, indem sie eine Ebene benennen, die die Aufsicht beaufsichtigt: mit eigenem Informationszugang, festem Turnus und dem Recht, Prüfprozesse zu verändern. Das ist der Kern von Second Order Control.

Wie vertiefen Sie das Thema?

• Second Order Control: Wer kontrolliert die Kontrolle der KI?
• Die Selbstkontrolle – sechs Fragen an die eigene Prüfpraxis
• Die neun Ebenen der Kontrolle
• Der Hub: Alle Antworten zur KI-Verordnung im Überblick
• Artikel 14 KI-Verordnung: Was heißt wirksame menschliche Aufsicht?
• False Meta-Confidence – der geteilte blinde Fleck

Wo erreichen Sie Johannes Faupel für Supervision und Executive Coaching in Frankfurt?

In der Praxis Schweizer Straße 5, 60594 Frankfurt am Main – wenige Minuten vom Bankenviertel entfernt, die Wegbeschreibung vom Bankenviertel zeigt den Weg. Termine Montag bis Freitag von 8 bis 21 Uhr, Abendcoaching für Führungskräfte nach Büroschluss eingeschlossen, Samstagscoaching von 9 bis 18 Uhr.