,

KI in der Arztrecherche: Problem oder Lösung?

|von

In den Krankenhäusern ist KI längst im Einsatz bei der Recherche. Ärztinnen und Ärzte befragen ChatGPT, Claude oder Gemini, wenn eine Frage zur Differenzialdiagnose oder zu Therapieoptionen auftaucht. Reguliert ist dabei meistens nichts, dokumentiert erst recht nicht. Diese „Schatten-KI“ ist mutmaßlich der am weitesten verbreitete KI-Einsatz im Krankenhaus überhaupt.

Manche Häuser haben reagiert mit einem schlichten Verbot generativer KI-Modelle. Das Ergebnis: Das Personal nutzt weiterhin KI, nur über die eigenen Mobiltelefone. Weniger KI-Nutzung ist durch ein Verbot nicht zu erwarten, mehr Kontrollverlust dagegen schon.

Eine aktuelle Studie

Wie riskant ist die Nutzung von KI-Chats für ärztliche Entscheidungen tatsächlich? Eine im Juni 2026 veröffentlichte Studie (Preprint) einer Stanford-Arbeitsgruppe um Jonathan Chen ist bislang eine der umfassendsten Untersuchungen zu dieser Frage. Unter dem Titel „First, do NOHARM“ wurden 1.100 reale, anonymisierte Konsilfälle 45 Sprachmodellen sowie vier medizinischen KI-Tools vorgelegt und von Fachärztinnen und -ärzten bewertet. Zusätzlich bearbeiteten 101 Ärztinnen und Ärzte dieselben Fälle: einmal ohne und einmal mit KI-Unterstützung.

Die Ergebnisse lassen sich in vier Kernaussagen zusammenfassen:

  • Selbst starke KI-Modelle produzierten in bis zu 24,6 % der Fälle Empfehlungen mit dem Potenzial für schweren Schaden. Meist durch Auslassung, also weil etwas Wichtiges nicht empfohlen wurde, seltener durch eine falsche Empfehlung.
  • Spezialisierte klinische Systeme mit einer im Hintergrund kuratierten Wissensbasis schnitten deutlich besser ab als allgemeine, frei zugängliche Chatbots.
  • Ärztinnen und Ärzte mit KI-Unterstützung trafen bessere Entscheidungen als ohne KI. Sie hätten aber noch besser abgeschnitten, wenn sie alle KI-Vorschläge übernommen hätten.
  • Mehrere KI-Modelle im Team („Multi-Agent“) konnten die Fehlerquote weiter senken.

Ein Wort zur Einordnung: Die Studie ist bislang als Preprint veröffentlicht, also noch nicht unabhängig begutachtet. Sie untersucht zudem ausschließlich ambulante Konsile mit eher geringer Dringlichkeit; auf Notaufnahmen oder stationäre Akutfälle lassen sich die Zahlen nicht ohne Weiteres übertragen. Die grundsätzliche Botschaft bleibt trotzdem plausibel und für den Klinikalltag relevant: KI-Empfehlungen brauchen menschliche Überprüfung, insbesondere wegen möglicher Auslassungsfehler. Die Wahl des Systems entscheidet mit darüber, wie groß dieses Risiko ausfällt.

Vier Systeme, vier Risikostufen

Damit rückt eine Frage in den Mittelpunkt, die in vielen Kliniken bislang kaum gestellt wird: Wie genau funktioniert das System, das da zur Entscheidungsunterstützung eingesetzt wird? Grundsätzlich lassen sich vier Verfahrensweisen unterscheiden, die sich auch regulatorisch deutlich unterscheiden.

  • Regelbasierte Unterstützungssysteme ohne echtes Lernverfahren, etwa die Interaktionsprüfung bei der Pharmakotherapie. Sie folgen fest programmierten Wenn-Dann-Logiken und gelten regulatorisch nicht als KI.
  • Externe Wissensdatenbanken, die über ein Sprachmodell in natürlicher Sprache befragt werden. Eine Ärztin stellt eine klinische Frage, das System durchsucht kuratierte, redaktionell geprüfte Fachartikel und Leitlinien und liefert eine zitierte Antwort. Die KI liefert Wissen, formuliert aber keine Diagnose für den Einzelfall.
  • Interne Wissensnavigation, die hausinterne, freigegebene Dokumente durchsucht: Verfahrensanweisungen, lokal adaptierte Leitlinien, Studienprotokolle etc. Möglicherweise kommt dabei zusätzlich ein trainiertes Sprachmodell zum Einsatz, das allerdings auf Hardware des Krankenhauses betrieben wird und damit eine robuste DSGVO-Konformität gewährleistet.
  • Entscheidungssysteme, die Verdachtsdiagnosen oder Therapievorschläge für einzelne Patientinnen und Patienten generieren. Solche Systeme sind immer ein Medizinprodukt nach der Medizinprodukteverordnung (MDR) und damit eine Hochrisiko-Anwendung mit entsprechenden Betreiberpflichten, inklusive Konformitätsbewertung.

Nur die letzte Kategorie ist eindeutig reguliert. Die ersten drei laufen im Alltag weitgehend unbemerkt. Dort findet sich aber der größte Unterschied zwischen einem hilfreichen und einem potenziell riskanten Werkzeug.

Was das für die Praxis bedeutet

Aus alldem lässt sich eine klare Linie ableiten: KI-Unterstützung bei der Recherche sollte nicht verboten werden. Die Vorteile sind allzu greifbar, und ein Verbot verhindert die Nutzung ohnehin nicht. Ein „nacktes“ generatives Sprachmodell ohne kuratierte Wissensbasis ist für die medizinische Recherche aber die falsche Wahl. Der bessere Weg verbindet die dialogische Stärke moderner Sprachmodelle mit einer geprüften, fachlich verantworteten Wissensbasis im Hintergrund.

Für Krankenhausmanagement heißt das: Bei der Auswahl eines KI-Tools lohnt sich die Frage nach der Datenbasis mehr als die Frage nach dem Modellnamen. Und ein zweiter Punkt verdient Aufmerksamkeit: Allzu detaillierte Patientenbeschreibungen in einer Chat-Anfrage können eine Identifizierung ermöglichen, direkt oder indirekt. Dem gesamten ärztlichen und pflegerischen Personal diese Sensibilität durchgängig zu vermitteln, dürfte sich als unmöglich erweisen. Umso wichtiger ist es, bei der technischen Umsetzung genau hinzuschauen: Wohin fließen die Daten, und wer hat Zugriff darauf?

KI als Rechercheinstrument gehört in die Hand von Ärztinnen und Ärzten, aber nur, wenn sie auf kuratiertes Wissen zugreift, statt allein auf das zu vertrauen, was ein allgemeines Sprachmodell aus seinem Training mitbringt.