Welche Anforderungen gibt es an KI im Gesundheitswesen?

KI-Systeme im Gesundheitswesen unterliegen einem mehrschichtigen Regelwerk aus EU-Recht, nationalem Datenschutzrecht und medizinprodukterechtlichen Vorgaben. Die konkreten Anforderungen hängen dabei entscheidend davon ab, welche Funktion ein KI-System übernimmt: Ein Tool, das auf Basis dokumentierter Diagnosen ICD-Kodes vorschlägt, wird regulatorisch völlig anders behandelt als ein System, das eigenständig klinische Diagnosen stellt. Die folgenden Abschnitte beantworten die wichtigsten Einzelfragen zum KI-Einsatz im Gesundheitswesen.

Welche gesetzlichen Rahmenbedingungen gelten für KI im Krankenhaus?

Für KI im Krankenhaus gilt seit 2024 der EU AI Act als zentrales Regelwerk, ergänzt durch das Medizinprodukterecht (MDR/IVDR), das SGB V sowie das nationale Datenschutzrecht. Welche Pflichten konkret greifen, bestimmt die Risikoeinstufung des jeweiligen KI-Systems. KI mit minimalem Risiko, etwa Spamfilter oder Rechtschreibkorrektur, ist von den strengen Compliance-Pflichten weitgehend ausgenommen.

Der EU AI Act teilt KI-Systeme in vier Risikoklassen ein: unannehmbares Risiko (verboten), Hochrisiko, begrenztes Risiko und minimales Risiko. Für Krankenhäuser relevant sind vor allem die Kategorien Hochrisiko und begrenztes Risiko.

Verbotene KI: Systeme mit unannehmbarem Risiko dürfen weder vertrieben noch eingesetzt werden. Anbieter und Betreiber müssen keine Dokumentation vorhalten, weil der Einsatz schlicht unzulässig ist.
Hochrisiko-KI: Hierunter fallen KI-Systeme, die klinische Diagnosen stellen, Therapieempfehlungen generieren oder medizinische Bilddaten eigenständig auswerten. Diese Systeme unterliegen einem umfangreichen Pflichtenkatalog (siehe unten).
Begrenztes Risiko: Systeme mit Transparenzpflichten, etwa Chatbots oder KI-generierte Dokumente. Nutzer müssen darüber informiert werden, dass sie mit KI interagieren.

Zusätzlich verpflichtet Art. 4 EU AI Act alle Anbieter und Betreiber, sicherzustellen, dass ihr Personal über ausreichende KI-Kompetenz verfügt. Diese Schulungspflicht gilt auch für Krankenhäuser als Betreiber von KI-Systemen.

Welche Datenschutzanforderungen müssen KI-Systeme im Gesundheitswesen erfüllen?

KI-Systeme im Gesundheitswesen verarbeiten Gesundheitsdaten, die nach Art. 9 DSGVO als besondere Kategorie personenbezogener Daten gelten und einem erhöhten Schutzniveau unterliegen. Jede Verarbeitung erfordert eine explizite Rechtsgrundlage, in der Regel die ausdrückliche Einwilligung des Patienten oder eine gesetzliche Erlaubnisnorm nach § 22 BDSG.

Konkret bedeutet das für den KI-Betrieb im Krankenhaus:

Zweckbindung: Daten, die für die Behandlung erhoben wurden, dürfen nicht ohne Weiteres zum Training von KI-Modellen verwendet werden.
Datenminimierung: KI-Systeme dürfen nur die Daten verarbeiten, die für den jeweiligen Einsatzzweck tatsächlich erforderlich sind.
Datenschutz-Folgenabschätzung (DSFA): Vor dem Einsatz von KI, die systematisch Gesundheitsdaten verarbeitet, ist eine DSFA nach Art. 35 DSGVO Pflicht.
Auftragsverarbeitung: Wird ein externer KI-Anbieter eingesetzt, ist ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO abzuschließen.
Drittstaatentransfers: Cloud-basierte KI-Dienste mit Serverstandort außerhalb der EU erfordern zusätzliche Schutzmaßnahmen, etwa Standardvertragsklauseln.

Für Hochrisiko-KI kommt nach dem EU AI Act zusätzlich eine Grundrechte-Folgenabschätzung (FRIA nach Art. 27) hinzu, die Betreiber vor dem produktiven Einsatz durchführen müssen.

Mehr Infos

Spezielle Fragen zur Kodierung und im MD-Management ohne aufwendige Recherche beantworten?
Unser online Praxis-Handbuch!

Was bedeutet Transparenz und Erklärbarkeit bei medizinischer KI?

Transparenz bei medizinischer KI bedeutet, dass Nutzer wissen müssen, dass sie mit einem KI-System interagieren, und dass die Grundlage einer KI-gestützten Empfehlung nachvollziehbar sein muss. Erklärbarkeit geht weiter: Sie verlangt, dass die Entscheidungslogik des Systems zumindest in Grundzügen offengelegt werden kann.

Hier liegt ein strukturelles Problem moderner KI: Neuronale Netze und Large Language Models sind sogenannte Black Boxes. Das Modell liefert eine Antwort, aber warum es zu genau dieser Antwort gelangt ist, lässt sich technisch kaum rekonstruieren. Das erschwert die Fehleranalyse und Qualitätssicherung erheblich.

Besonders gefährlich ist in diesem Zusammenhang das Phänomen der Halluzinationen: Sprachmodelle erzeugen Inhalte, die plausibel klingen, aber faktisch falsch sind, und formulieren diese genauso selbstbewusst wie korrekte Antworten. Im klinischen oder abrechnungsrelevanten Kontext kann das direkte Konsequenzen haben.

Der EU AI Act adressiert dieses Problem für Hochrisiko-KI über Art. 13 (Transparenz gegenüber Nutzern) und Art. 14 (menschliche Aufsicht). Systeme müssen so gestaltet sein, dass Nutzer die Ausgaben des Systems verstehen, hinterfragen und bei Bedarf übersteuern können. Für Systeme mit begrenztem Risiko reicht ein Transparenzhinweis gegenüber Patienten oder Personal aus.

Welche Qualitäts- und Validierungsanforderungen gelten für KI-Algorithmen?

Für Hochrisiko-KI-Systeme im Gesundheitswesen schreibt der EU AI Act ein laufendes Risikomanagementsystem (Art. 9), Anforderungen an Daten-Governance (Art. 10) sowie Vorgaben zu Genauigkeit, Robustheit und Cybersicherheit (Art. 15) vor. Validierung ist dabei kein einmaliger Schritt, sondern ein kontinuierlicher Prozess.

Konkret müssen Hochrisiko-Systeme folgende Anforderungen erfüllen:

Technische Dokumentation nach Art. 11 und Anhang IV des EU AI Acts
Automatische Protokollierung (Logs) nach Art. 12, die eine nachträgliche Überprüfung ermöglicht
Konformitätsbewertung nach Art. 43 und EU-Konformitätserklärung nach Art. 47
Registrierung in der EU-Datenbank nach Art. 49
Aufbewahrung der Dokumentation für zehn Jahre nach Art. 18

Ein bekanntes Qualitätsproblem ist der sogenannte Bias: KI-Modelle erben systematische Verzerrungen aus ihren Trainingsdaten. Im Gesundheitswesen sind Männer, weiße Patienten und westliche Krankheitsbilder typischerweise überrepräsentiert. Ein Algorithmus, der auf solchen Daten trainiert wurde, kann bei anderen Patientengruppen systematisch schlechtere Ergebnisse liefern. Qualitätssicherung muss deshalb explizit prüfen, ob ein System auch bei seltenen, atypischen oder komplexen Fällen zuverlässig funktioniert, also genau dort, wo es am meisten gebraucht wird.

Wer trägt die Verantwortung beim Einsatz von KI im Krankenhaus?

Die Verantwortung beim KI-Einsatz im Krankenhaus liegt beim Betreiber, also dem Krankenhaus selbst. Auch wenn ein externer Anbieter das System entwickelt und bereitstellt, trägt das Krankenhaus als Betreiber eigene Pflichten, die über die bloße Nutzung hinausgehen.

Bei Hochrisiko-KI gelten für Betreiber dieselben Grundpflichten wie für Anbieter. Zusätzlich kommen spezifische Betreiberpflichten hinzu:

Grundrechte-Folgenabschätzung (FRIA) nach Art. 27 vor dem Einsatz
Überwachungsplan für den laufenden Betrieb
Dokumentation von Zweckänderungen
Meldung von Vorfällen an die zuständige Behörde

Hinzu kommt das Risiko des Automation Bias: Ärzte und Kodierfachkräfte neigen dazu, Maschinenempfehlungen stärker zu vertrauen als dem eigenen Urteil, selbst wenn das System falsch liegt. Dieses Phänomen ist empirisch belegt. Wer Aufgaben dauerhaft an KI delegiert, verliert zudem schrittweise die Fähigkeit, die Ausgaben des Systems kritisch zu beurteilen. Die rechtliche Verantwortung bleibt dabei stets beim Menschen. Ein KI-System kann keine Haftung übernehmen.

Welche Anforderungen gelten speziell für KI in der Abrechnung und im Medizincontrolling?

KI-Tools, die auf Basis bereits dokumentierter Diagnosen und Prozeduren ICD- oder OPS-Kodes vorschlagen, weisen ein geringes regulatorisches Risikoprofil auf und fallen in der Regel nicht unter die Hochrisiko-Kategorie des EU AI Acts. Das unterscheidet sie grundlegend von KI-Systemen, die eigenständig klinische Diagnosen stellen oder Therapieempfehlungen generieren.

Für den KI-Einsatz im Medizincontrolling gelten dennoch klare gesetzliche Anforderungen:

Transparenzpflicht: Nutzer müssen wissen, dass ein KI-System eingesetzt wird. KI-generierte Kodiervorschläge müssen als solche kenntlich gemacht werden.
Interne Dokumentation: Der Einsatzzweck des Tools sollte intern dokumentiert sein, auch wenn kein formales Register gesetzlich vorgeschrieben ist.
Menschliche Prüfpflicht: Kodiervorschläge einer KI ersetzen nicht die fachkundige Prüfung durch eine qualifizierte Kodierfachkraft. Die Verantwortung für die eingereichte Rechnung liegt beim Krankenhaus.
Aktualität der Wissensbasis: KI-Modelle haben einen Trainingsdatenschnitt. Neue Kodierrichtlinien, aktuelle BSG-Urteile oder Änderungen im G-DRG-System können dem Modell fehlen. Das ist besonders im Abrechnungskontext kritisch, wo Rechtssicherheit entscheidend ist.

Wer KI im Medizincontrolling einsetzt, sollte außerdem die Schulungspflicht nach Art. 4 EU AI Act ernst nehmen: Mitarbeiter müssen in der Lage sein, KI-Ausgaben kritisch zu beurteilen. Ein Webinar zu KI im Krankenhaus kann dabei ein sinnvoller Einstieg sein.

Wie Medcontroller bei KI-Compliance und Kodierqualität unterstützt

Medcontroller begleitet Krankenhäuser und Medizincontroller dabei, KI-gestützte Prozesse rechtssicher einzuführen und die Kodierqualität dauerhaft zu sichern. Das Leistungsangebot umfasst konkret:

Fachliche Bewertung von KI-Tools: Medcontroller prüft, welche Risikoeinstufung ein geplantes KI-System hat und welche Compliance-Pflichten daraus folgen.
Kodierberatung und Qualitätssicherung: Wo KI-Vorschläge auf komplexe Fälle treffen, liefert Medcontroller die fachkundige Zweitmeinung, die kein Algorithmus ersetzen kann.
Weiterbildung für Kodierfachkräfte und Controller: Mit Online-Seminaren zu KI im Krankenhaus und weiteren E-Learning-Formaten schärft Medcontroller das Urteilsvermögen der Mitarbeiter, damit Automation Bias und unkritisches Vertrauen in Maschinenausgaben gar nicht erst entstehen.
MDK-Management und Erlösoptimierung: Gerade wenn KI-gestützte Kodierung zu Beanstandungen führt, steht Medcontroller als erfahrener Partner bereit, der Argumentationen entwickelt und Erfolgsaussichten realistisch bewertet.

Krankenhäuser, die KI im Medizincontrolling einsetzen oder einführen wollen, sollten frühzeitig fachkundige Unterstützung einbinden. Nehmen Sie Kontakt mit Medcontroller auf und klären Sie, welche Anforderungen für Ihr konkretes Vorhaben gelten.