Medizinisches Tablet mit Diagnose-Interface neben klinischen Regulierungsordnern und Stethoskop auf einem Krankenhausschreibtisch.

Welche KI-Systeme gelten im Krankenhaus als Hochrisiko-KI nach dem AI Act?

|von

Im Krankenhaus gelten vor allem KI-Systeme als Hochrisiko-KI nach dem EU AI Act, die eigenständig klinische Diagnosen stellen, Therapieempfehlungen generieren oder sicherheitsrelevante Entscheidungen über Patienten treffen. Der entscheidende Maßstab ist nicht die Technologie selbst, sondern der konkrete Einsatzzweck und das Schadenspotenzial für Patienten und Grundrechte. Die folgenden Fragen klären, welche Systeme betroffen sind, was das für den Klinikalltag bedeutet und welche Pflichten ab 2026 verbindlich greifen.

Welche Kriterien machen ein KI-System zur Hochrisiko-KI?

Ein KI-System gilt nach dem EU AI Act als Hochrisiko-KI, wenn es in einem der in Anhang III der Verordnung genannten Bereiche eingesetzt wird und dabei erhebliche Risiken für Gesundheit, Sicherheit oder Grundrechte von Personen entstehen können. Im Gesundheitswesen ist der relevante Anhang-III-Tatbestand die Verwendung als Medizinprodukt oder als Sicherheitskomponente eines Medizinprodukts.

Konkret bedeutet das: Ein KI-System ist dann Hochrisiko-KI, wenn es unter die Medizinprodukteverordnung (MDR) fällt oder als deren sicherheitsrelevante Komponente eingestuft wird. Dabei kommt es nicht auf die Bezeichnung des Produkts an, sondern auf den tatsächlichen Verwendungszweck. Ein System, das auf Basis von Bilddaten eigenständig einen Befund erstellt oder eine Therapie empfiehlt, erfüllt dieses Kriterium. Ein System, das auf Basis bereits dokumentierter Diagnosen und Prozeduren Abrechnungskodes vorschlägt, tut dies in der Regel nicht.

Drei Fragen helfen bei der Erstbewertung:

  • Trifft das System Entscheidungen, die unmittelbar die Gesundheit oder Behandlung eines Patienten beeinflussen?
  • Fällt das System unter die MDR oder wird es als deren Sicherheitskomponente genutzt?
  • Kann ein Fehler des Systems zu erheblichem Schaden für Patienten führen, ohne dass eine qualifizierte menschliche Prüfung dazwischengeschaltet ist?

Wer alle drei Fragen mit Ja beantwortet, hat es mit Hochrisiko-KI zu tun. Wer nur eine oder zwei Fragen bejaht, muss genauer prüfen, ob eine Einstufung in die Kategorie begrenztes Risiko sachgerecht ist.

Welche KI-Anwendungen im Krankenhaus fallen konkret unter Hochrisiko?

Im Krankenhaus fallen vor allem KI-Systeme zur bildbasierten Diagnostik, zur klinischen Entscheidungsunterstützung und zur automatisierten Triage unter die Hochrisiko-Kategorie des AI Acts. Systeme, die hingegen administrative oder dokumentationsunterstützende Aufgaben übernehmen, ohne eigenständige klinische Schlussfolgerungen zu ziehen, sind in der Regel nicht betroffen.

Konkrete Beispiele für Hochrisiko-KI im Klinikalltag:

  • KI-gestützte Bildanalyse in der Radiologie: Systeme, die CT- oder MRT-Aufnahmen auswerten und eigenständig Befunde wie Pneumothorax, Tumormarker oder diabetische Retinopathie identifizieren, fallen unter Hochrisiko. Sie agieren als Medizinprodukt oder als dessen Sicherheitskomponente.
  • Automatisierte Triage-Unterstützung: KI-Systeme, die im Rahmen des Manchester-Triage-Systems eine Dringlichkeitseinstufung empfehlen oder eigenständig vornehmen, sind hochrisikorelevant, weil fehlerhafte Empfehlungen unmittelbar die Patientensicherheit gefährden.
  • Ambient-Speech-Systeme mit klinischer Auswertung: Spracherkennungssysteme, die nicht nur Dokumentation erfassen, sondern auf Basis der Aufnahme eigenständig Diagnosen oder Therapievorschläge ableiten, sind Hochrisiko-KI.

Ausdrücklich nicht als Hochrisiko-KI einzustufen sind Systeme, die auf Basis bereits dokumentierter ICD- und OPS-Kodes Abrechnungsvorschläge generieren. KI-gestützte Kodierung im Medizincontrolling arbeitet mit abgeschlossenen klinischen Informationen und trifft keine eigenständigen medizinischen Entscheidungen. Diese Systeme unterliegen deutlich geringeren regulatorischen Anforderungen. Wer diese Unterscheidung nicht sauber zieht, riskiert eine fehlerhafte Compliance-Planung in beide Richtungen: Über-Compliance bei Kodier-Tools, Unter-Compliance bei diagnostischen Systemen.

Mehr Infos
Spezielle Fragen zur Kodierung und im MD-Management ohne aufwendige Recherche beantworten?
Unser online Praxis-Handbuch!

Was ist der Unterschied zwischen Hochrisiko-KI und verbotenen KI-Systemen?

Verbotene KI-Systeme nach Art. 5 EU AI Act sind solche, deren Risiken als grundsätzlich inakzeptabel eingestuft werden. Hochrisiko-KI hingegen ist erlaubt, unterliegt aber einem umfangreichen Pflichtenkatalog. Der Unterschied liegt nicht im Grad des Risikos, sondern in der Frage, ob ein System überhaupt betrieben werden darf.

Verboten sind im Gesundheitskontext insbesondere Systeme, die Personen anhand biometrischer Daten in soziale Kategorien einteilen, um daraus nachteilige Schlüsse zu ziehen, oder die Schwachstellen von Personen gezielt ausnutzen, um ihr Verhalten zu beeinflussen. Im klinischen Alltag sind solche Systeme derzeit nicht verbreitet, aber das Bewusstsein für diese Grenze ist wichtig: Kein Anbieter darf ein verbotenes System vertreiben, kein Betreiber darf es einsetzen. Eine Dokumentation erübrigt sich, weil der Einsatz schlicht untersagt ist.

Hochrisiko-KI dagegen ist ausdrücklich zugelassen, sofern die Compliance-Anforderungen erfüllt sind. Das Krankenhaus als Betreiber trägt dabei eigene Pflichten, die über die Anforderungen an den Anbieter hinausgehen können. Der AI Act unterscheidet hier klar: Wer ein Hochrisiko-System zu einem anderen als dem ursprünglich vorgesehenen Zweck einsetzt, kann selbst zum Anbieter im Sinne der Verordnung werden und alle damit verbundenen Pflichten übernehmen müssen.

Welche Pflichten entstehen für Krankenhäuser beim Einsatz von Hochrisiko-KI?

Krankenhäuser, die Hochrisiko-KI betreiben, tragen als Betreiber umfangreiche Pflichten nach dem EU AI Act. Diese gehen über die bloße Nutzung des Systems hinaus und umfassen aktive Überwachung, Dokumentation und Meldepflichten.

Die zentralen Betreiberpflichten im Überblick:

  1. Grundrechte-Folgenabschätzung (FRIA, Art. 27): Vor dem Einsatz eines Hochrisiko-Systems muss eine strukturierte Folgenabschätzung durchgeführt werden, die mögliche Auswirkungen auf Grundrechte bewertet.
  2. Überwachungsplan im Betrieb: Das Krankenhaus muss sicherstellen, dass das System bestimmungsgemäß verwendet wird und Abweichungen erkannt werden.
  3. Zweckänderungen dokumentieren: Wird ein System zu einem anderen als dem ursprünglich vorgesehenen Zweck genutzt, ist das zu dokumentieren und ggf. neu zu bewerten.
  4. Vorfälle melden: Schwerwiegende Vorfälle und Fehlfunktionen müssen an die zuständige Marktüberwachungsbehörde gemeldet werden.
  5. Schulungspflicht nach Art. 4: Alle Mitarbeitenden, die Hochrisiko-KI einsetzen, müssen über ausreichende KI-Kompetenz verfügen. Diese Schulungspflicht gilt seit Februar 2025 und ist ab August 2026 sanktionsbewehrt.

Zusätzlich muss das Krankenhaus ein internes Register aller eingesetzten KI-Tools führen, das für jede Anwendung mindestens Anbieter, Versionsstand, Risikokategorie, CE-Kennzeichnung, interne Verantwortlichkeit und die Erfüllung der Transparenzpflicht dokumentiert. Die Vorbereitung auf KI-Compliance sollte 2026 abgeschlossen sein, da die Sanktionsmechanismen greifen.

Wann muss ein Krankenhaus bestehende KI-Systeme nachträglich bewerten?

Ein Krankenhaus muss bestehende KI-Systeme nachträglich bewerten, wenn diese vor Inkrafttreten der relevanten AI-Act-Pflichten eingeführt wurden und nun unter die Hochrisiko-Kategorie fallen. Für Hochrisiko-KI-Systeme, die als Medizinprodukte nach MDR eingestuft sind, gelten die vollen Compliance-Pflichten ab August 2026.

Darüber hinaus ist eine Neubewertung immer dann erforderlich, wenn sich der Einsatzzweck eines Systems ändert. Wer ein Kodier-Tool, das ursprünglich nur Abrechnungsvorschläge generiert hat, so erweitert, dass es nun eigenständig klinische Schlussfolgerungen zieht, verändert damit die regulatorische Einstufung des Systems grundlegend. Auch ein Wechsel des Anbieters, ein Update mit wesentlich veränderter Funktionalität oder eine Ausweitung auf neue Patientengruppen können eine Neubewertung auslösen.

Praktisch empfiehlt sich folgendes Vorgehen:

  • Alle eingesetzten KI-Systeme inventarisieren und nach Risikokategorie einstufen
  • Für jedes System prüfen, ob eine CE-Kennzeichnung nach MDR vorliegt
  • Bestehende Nutzungsverträge auf Zweckbeschreibung und Haftungsregelungen prüfen
  • Für Hochrisiko-Systeme die FRIA nachträglich erstellen, sofern noch nicht geschehen
  • Schulungsnachweise für alle betroffenen Mitarbeitenden sicherstellen

Systeme mit minimalem Risiko, etwa Spamfilter in der Verwaltung oder Rechtschreibkorrektur in der Dokumentation, sind von diesen Pflichten weitgehend ausgenommen. Eine pauschale Bewertung aller KI-Tools als Hochrisiko wäre ebenso falsch wie das Ignorieren echter Hochrisiko-Systeme.

So unterstützt Medcontroller Krankenhäuser bei der KI-Compliance

Medcontroller begleitet Krankenhäuser und Medizincontrolling-Teams konkret bei der Umsetzung der AI-Act-Anforderungen. Das Leistungsangebot umfasst:

  • Online-Seminar „KI im Krankenhaus“: Ein 4,5-stündiges Live-Online-Format mit Zertifikat, das den vollständigen Compliance-Fahrplan für Kliniken abdeckt. Bei Anmeldung vor dem 15.07.2026 gilt ein Frühbucherrabatt.
  • E-Learning-Module zur Schulungspflicht nach Art. 4: Skalierbare, aufgabenbezogene Online-Kurse mit Prüfung und Zertifikat, dokumentationsfähig für große Belegschaften.
  • Externer KI-Beauftragter: Medcontroller übernimmt die Funktion des KI-Beauftragten als externe Dienstleistung, inklusive KI-Inventar, Schulungsorganisation, Dokumentation und Behördenkontakt. Weitere Informationen zu diesem Angebot finden sich unter KI-Beratung für Krankenhäuser.
  • Inhouse-Schulungen: Maßgeschneiderte Trainings für Führungsebene, Medizincontrolling oder spezifische Berufsgruppen, zugeschnitten auf das jeweilige Haus.

Wer jetzt handelt, vermeidet den Zeitdruck, der ab August 2026 durch die Sanktionsmechanismen entsteht. Jetzt zum Online-Seminar anmelden und den strukturierten Einstieg in die KI-Compliance sichern.

Ähnliche Artikel