Automation Bias

Der Automation Bias ist ein etabliertes Konzept der Kognitionspsychologie und der Human-Factors-Forschung. Er entsteht insbesondere dann, wenn technische Systeme als objektiv, präzise oder überlegen wahrgenommen werden.

Automatisierte Entscheidungshilfen reduzieren den kognitiven Aufwand, fördern jedoch zugleich eine passive Informationsverarbeitung. Nutzer überprüfen Ergebnisse seltener eigenständig und übernehmen algorithmische Vorschläge häufiger ungeprüft.

Besonders relevant ist dieses Phänomen in Hochrisikobereichen wie Luftfahrt, Intensiv- und Notfallmedizin, in denen Entscheidungen unter Zeitdruck und hoher Informationsdichte getroffen werden. Mit der zunehmenden Integration KI-basierter Entscheidungsunterstützungssysteme gewinnt der Automation Bias auch klinisch an Bedeutung.

Der Automation Bias kann diagnostische und therapeutische Entscheidungen erheblich beeinflussen.

Betroffen sind unter anderem:

• KI-gestützte EKG-Interpretationen
• automatisierte Triage-Systeme
• radiologische Befundalgorithmen
• klinische Entscheidungsunterstützungssysteme
• Medikamentenwarnsysteme

Fehlerhafte Systemempfehlungen werden dabei trotz widersprüchlicher klinischer Hinweise übernommen, während relevante Diagnosen übersehen werden können, wenn ein automatisiertes System keinen entsprechenden Hinweis liefert.

Man unterscheidet zwei typische Fehlermuster:

• Omission ErrorEin Problem wird übersehen, weil das System keinen Alarm generiert.
• Commission ErrorEine falsche Handlung erfolgt aufgrund einer fehlerhaften Systemempfehlung.

Ein Patient stellt sich mit Thoraxschmerzen und Dyspnoe in der Notaufnahme vor. Das automatisierte EKG-Befundungssystem interpretiert das EKG als „unspezifische ST-T-Veränderungen“.

Aufgrund der scheinbar unauffälligen Computerinterpretation wird die klinische Relevanz initial unterschätzt. Erst später erkennt ein Untersucher diskrete ischämietypische Veränderungen im Sinne eines posterioren STEMI.

Die Verzögerung entsteht dabei weniger durch fehlende Daten als durch die übermäßige Gewichtung der automatisierten Befundung gegenüber der klinischen Beurteilung.

Der Automation Bias ist nicht vollständig vermeidbar, kann jedoch reduziert werden. Automatisierte Systeme sollten als Entscheidungsunterstützung verstanden werden, nicht als Ersatz klinischer Beurteilung.

Hilfreiche Strategien sind:

• strukturierte Reevaluation klinischer Entscheidungen
• bewusste Suche nach Diskrepanzen zwischen Systemempfehlung und klinischem Eindruck
• Schulung zu kognitiven Verzerrungen
• Förderung aktiver Entscheidungsverantwortung
• Diskussion von Systemfehlern in M&M-Konferenzen und CIRS-Analysen

Ausbildung und Lehre sollten zudem vermitteln, dass technische Systeme fehlbar bleiben und kritisches Denken nicht delegiert werden kann.

• M. Schrader: „Automation Bias“ bei künstlicher Intelligenz widerstehen, URO-NEWS 01/2025
• Goddard et. al., Automation bias: a systematic review of frequency, effect mediators, and mitigators, J Am Med Inform Assoc. 2011
• Southern et. al., The effect of erroneous computer interpretation of ECGs on resident decision making, Med Decis Making . 2009