Welche Anforderungen bestehen laut KI-Verordnung für Hochrisiko-KI-Systeme, die im Gesundheitswesen eingesetzt werden?

Für Hochrisiko-KI-Systeme im Gesundheitswesen gelten nach der EU-KI-Verordnung (EU AI Act, Verordnung (EU) 2024/1689) umfangreiche Pflichten in den Bereichen Risikomanagement, Transparenz, Datenkontrolle und menschliche Aufsicht. Welche Systeme konkret als Hochrisiko eingestuft werden, hängt entscheidend von ihrer klinischen Funktion ab, nicht allein vom Einsatzort. Die folgenden Abschnitte beantworten die wichtigsten Fragen, die Krankenhäuser und Medizincontroller zu den rechtlichen Vorgaben für KI-Tools kennen müssen.

Welche KI-Systeme im Gesundheitswesen gelten als Hochrisiko-KI?

Als Hochrisiko-KI im Sinne des EU AI Acts gelten im Gesundheitswesen vor allem KI-Systeme, die eigenständig klinische Diagnosen stellen, Therapieempfehlungen generieren oder medizinische Bilder auswerten, um Behandlungsentscheidungen zu unterstützen. Anhang III der Verordnung listet solche Systeme explizit als Hochrisiko-Kategorie auf, wenn sie zur Unterstützung klinischer Entscheidungen eingesetzt werden.

Die Abgrenzung ist für den Krankenhausbetrieb praktisch bedeutsam: Kodier- und Abrechnungssoftware, die auf Basis bereits dokumentierter Diagnosen und Prozeduren ICD- oder OPS-Kodes vorschlägt, fällt nicht unter die Hochrisiko-Kategorie. Diese Tools verarbeiten abgeschlossene Dokumentation und beeinflussen keine klinischen Entscheidungen mehr. Ihr regulatorisches Risikoprofil ist entsprechend gering.

Anders verhält es sich mit Systemen, die:

aus Ambient-Speech-Aufnahmen eigenständig Diagnosen ableiten
medizinische Bilddaten analysieren, um Befunde zu generieren
Therapieempfehlungen auf Basis von Patientendaten vorschlagen
Triage-Entscheidungen automatisiert unterstützen

Diese Systeme greifen in klinische Entscheidungsprozesse ein und unterliegen damit den vollen Hochrisiko-Anforderungen des EU AI Acts. Eine pauschale Gleichsetzung aller KI-Tools im Krankenhaus mit Hochrisiko-KI wäre sachlich falsch und rechtlich irreführend.

Welche Pflichten gelten für Anbieter von Hochrisiko-KI-Systemen im Krankenhaus?

Anbieter von Hochrisiko-KI-Systemen für den Gesundheitsbereich müssen vor dem Inverkehrbringen ein vollständiges Konformitätsbewertungsverfahren durchlaufen, ein Risikomanagementsystem einrichten und eine technische Dokumentation erstellen. Zusätzlich ist eine CE-Kennzeichnung erforderlich, und das System muss in der EU-Datenbank nach Art. 71 registriert werden.

Im Einzelnen umfassen die Anbieterpflichten nach dem EU AI Act:

Risikomanagementsystem (Art. 9): Kontinuierliche Identifikation und Bewertung von Risiken über den gesamten Lebenszyklus des Systems
Daten-Governance (Art. 10): Qualitätssicherung der Trainingsdaten, Dokumentation von Datenherkunft und bekannten Verzerrungen (Bias)
Technische Dokumentation (Art. 11): Vollständige Beschreibung des Systems, seiner Zweckbestimmung und seiner Leistungsgrenzen
Protokollierung (Art. 12): Automatische Aufzeichnung von Ereignissen, die eine nachträgliche Überprüfung ermöglichen
Transparenz gegenüber Betreibern (Art. 13): Klare Gebrauchsanweisung, Beschreibung der Leistungsgrenzen und Hinweise auf bekannte Risiken
Menschliche Aufsicht (Art. 14): Technische Maßnahmen, die eine Übersteuerung durch qualifiziertes Personal ermöglichen
Genauigkeit und Robustheit (Art. 15): Nachweislich angemessene Leistung, auch bei Edge Cases und adversariellen Angriffen

Mehr Infos

Spezielle Fragen zur Kodierung und im MD-Management ohne aufwendige Recherche beantworten?
Unser online Praxis-Handbuch!

Welche Anforderungen müssen Krankenhäuser als Betreiber von Hochrisiko-KI erfüllen?

Krankenhäuser, die Hochrisiko-KI-Systeme einsetzen, tragen als Betreiber eigene Pflichten nach dem EU AI Act, unabhängig davon, ob sie das System selbst entwickelt haben. Zentral sind die Pflicht zur zweckgemäßen Nutzung, zur Einrichtung menschlicher Aufsicht und zur Schulung des eingesetzten Personals.

Die wichtigsten Betreiberpflichten im Überblick:

Zweckgemäße Nutzung: Das System darf nur für den vom Anbieter definierten Verwendungszweck eingesetzt werden. Jede Nutzung außerhalb dieser Zweckbestimmung begründet zusätzliche Anbieterpflichten für das Krankenhaus.
Menschliche Aufsicht (Art. 14): Klinische Entscheidungen dürfen nicht vollständig an das KI-System delegiert werden. Qualifiziertes Personal muss die Ausgaben des Systems bewerten und übersteuern können.
Schulungspflicht (Art. 4): Mitarbeiter, die mit Hochrisiko-KI arbeiten, müssen über ausreichende KI-Kompetenz verfügen. Art. 4 verpflichtet Betreiber ausdrücklich, für entsprechende Schulungsmaßnahmen zu sorgen.
Datenschutz und Protokollierung: Betreiber müssen sicherstellen, dass die Nutzung des Systems DSGVO-konform erfolgt und relevante Ereignisse protokolliert werden.
Meldepflichten bei schwerwiegenden Vorfällen: Bei Fehlfunktionen mit ernstem Risiko für Patienten sind Betreiber zur Meldung an den Anbieter und gegebenenfalls an zuständige Behörden verpflichtet.

Besondere Aufmerksamkeit verdient das Phänomen des Automation Bias: Empirische Studien zeigen, dass Ärzte und Kodierfachkräfte Maschinenempfehlungen tendenziell stärker vertrauen als dem eigenen Urteil, auch wenn das System falsch liegt. Wer Aufgaben dauerhaft an KI delegiert, riskiert zudem Skill Erosion, also den schleichenden Verlust der Fähigkeit, Systemfehler eigenständig zu erkennen. Art. 14 des EU AI Acts reagiert auf genau dieses Risiko. KI im Krankenhaus ist deshalb kein rein technisches, sondern auch ein organisatorisches Thema.

Wie verhält sich die KI-Verordnung zur bestehenden MDR und IVDR?

Der EU AI Act und die Medizinprodukteverordnung (MDR) sowie die In-vitro-Diagnostika-Verordnung (IVDR) gelten parallel und ergänzen sich. KI-Systeme, die als Medizinprodukt eingestuft sind, müssen beide Regelwerke erfüllen. Der EU AI Act fügt dabei spezifische KI-bezogene Anforderungen hinzu, die die MDR nicht abdeckt.

Konkret bedeutet das für Krankenhäuser: Ein KI-gestütztes Diagnosesystem, das bereits als Medizinprodukt der Klasse IIa oder höher zertifiziert ist, unterliegt automatisch auch den Hochrisiko-Anforderungen des EU AI Acts. Die CE-Kennzeichnung nach MDR ersetzt die Anforderungen des AI Acts nicht. Anbieter solcher Systeme müssen beide Konformitätsbewertungsverfahren durchlaufen.

Für reine Abrechnungs- und Kodiersoftware ohne klinische Entscheidungsfunktion besteht in der Regel weder eine MDR-Pflicht noch eine Hochrisiko-Einstufung nach dem EU AI Act. Diese Abgrenzung ist für Krankenhäuser bei der Beschaffung neuer KI-Tools rechtlich relevant und sollte vor Vertragsabschluss geprüft werden.

Welche Sanktionen drohen bei Verstößen gegen die KI-Verordnung im Gesundheitsbereich?

Der EU AI Act sieht bei Verstößen empfindliche Bußgelder vor. Für das Inverkehrbringen verbotener KI-Systeme oder die Verletzung zentraler Hochrisiko-Pflichten drohen Geldbußen von bis zu 30 Millionen Euro oder 6 Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist.

Die Sanktionsstufen im Überblick:

Bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes: Einsatz verbotener KI-Praktiken (z. B. unzulässige Manipulation oder Social Scoring)
Bis zu 15 Millionen Euro oder 3 % des weltweiten Umsatzes: Verletzung von Hochrisiko-Pflichten durch Anbieter oder Betreiber
Bis zu 7,5 Millionen Euro oder 1 % des weltweiten Umsatzes: Übermittlung falscher Informationen an Behörden

Für Krankenhäuser als Betreiber sind vor allem Verstöße gegen die Schulungspflicht nach Art. 4, die Pflicht zur menschlichen Aufsicht und die zweckwidrige Nutzung eines Systems relevant. Die Aufsicht liegt bei den zuständigen nationalen Marktüberwachungsbehörden, in Deutschland voraussichtlich beim Bundesamt für Arzneimittel und Medizinprodukte (BfArM) für medizinische KI-Anwendungen.

Wann tritt die KI-Verordnung für Hochrisiko-KI im Gesundheitswesen in Kraft?

Die KI-Verordnung ist am 1. August 2024 in Kraft getreten und gilt in einem gestaffelten Zeitplan. Für Hochrisiko-KI-Systeme im Gesundheitswesen, die unter Anhang III fallen, gelten die vollen Anforderungen ab dem 2. August 2026. Ab diesem Datum müssen Anbieter und Betreiber die Pflichten vollständig erfüllen.

Der Zeitplan im Überblick:

Februar 2025: Verbote für unzulässige KI-Praktiken gelten
August 2025: Pflichten für allgemeine KI-Modelle (GPAI) gelten
August 2026: Hochrisiko-KI nach Anhang III, einschließlich klinischer Entscheidungsunterstützung, muss vollständig konform sein
August 2027: Hochrisiko-KI nach Anhang I (Produkte, die anderen Harmonisierungsrechtsvorschriften unterliegen) muss konform sein

Da 2026 das erste volle Geltungsjahr für Hochrisiko-KI im Gesundheitswesen ist, besteht für Krankenhäuser und Softwareanbieter unmittelbarer Handlungsbedarf. Systeme, die bereits im Einsatz sind, müssen geprüft und gegebenenfalls angepasst werden. Online-Seminar zu KI-Compliance kann dabei helfen, den Überblick zu behalten und konkrete Schritte abzuleiten.

So unterstützt Medcontroller Krankenhäuser bei der KI-Compliance

Die rechtlichen Vorgaben des EU AI Acts sind komplex, und für viele Krankenhäuser fehlen intern die Ressourcen, um Hochrisiko-KI-Systeme vollständig zu bewerten, Schulungspflichten zu dokumentieren und Betreiberpflichten rechtssicher umzusetzen. Medcontroller bietet hierfür eine externe Lösung:

Externer KI-Beauftragter: Medcontroller übernimmt die Funktion des KI-Beauftragten als fest umrissenes Leistungspaket zu einem Pauschalpreis, damit Krankenhäuser keine eigene Stelle schaffen müssen.
Online-Seminar „KI im Krankenhaus“: Das 4,5-stündige Live-Online-Seminar mit Zertifikat vermittelt den konkreten Fahrplan zur Compliance, von der Risikobewertung bis zur Schulungsdokumentation. Für Anmeldungen vor dem 15. Juli 2026 gilt ein Frühbucherrabatt.
Praxisnahe Risikoeinstufung: Medcontroller hilft dabei, KI-Tools im Krankenhaus korrekt einzustufen, insbesondere die entscheidende Abgrenzung zwischen Kodier-Software ohne Hochrisiko-Status und klinischen Entscheidungsunterstützungssystemen mit vollumfänglichen Pflichten.
Schulungsnachweis nach Art. 4: Medcontroller unterstützt bei der Dokumentation der gesetzlich vorgeschriebenen KI-Kompetenzmaßnahmen für das eingesetzte Personal. Für eine individuelle KI-Beratung stehen die Experten von Medcontroller auf Anfrage zur Verfügung.

Wer jetzt handelt, vermeidet Bußgeldrisiken und schafft eine belastbare Grundlage für den rechtssicheren Einsatz von KI-Tools im Krankenhaus. Nehmen Sie Kontakt mit Medcontroller auf oder melden Sie sich direkt zum KI-Compliance-Seminar an.