Welche KI-Systeme sind im EU-KI-Gesetz verboten?

Der EU AI Act (Verordnung 2024/1689) verbietet in Artikel 5 eine klar abgegrenzte Kategorie von KI-Systemen mit „unannehmbar hohem Risiko“ vollständig. Diese Verbote gelten seit Februar 2025 und sind damit der erste scharfgeschaltete Teil der Verordnung. Der folgende Artikel beantwortet die wichtigsten Fragen für Krankenhäuser und Gesundheitseinrichtungen.

Welche Kriterien machen ein KI-System im EU-Recht verboten?

Ein KI-System ist nach Artikel 5 des EU AI Act verboten, wenn es grundlegende Rechte oder die Menschenwürde in einer Weise verletzt, die als strukturell unvereinbar mit dem europäischen Rechtsrahmen gilt. Das entscheidende Kriterium ist nicht der Zweck allein, sondern die Kombination aus Methode, Wirkung und Kontext des Einsatzes.

Konkret zieht der Gesetzgeber drei Linien: Erstens darf KI keine Personen durch subliminale Techniken manipulieren, die dem Bewusstsein entgehen. Zweitens ist die systematische Auswertung und Bewertung von Personengruppen nach sozialen Merkmalen verboten, wenn daraus Nachteile in anderen Lebensbereichen entstehen. Drittens sind bestimmte Formen der biometrischen Identifikation und Verhaltensvorhersage untersagt, wenn sie auf Schutzmerkmale wie Religion, politische Überzeugung oder sexuelle Orientierung abzielen.

Für Krankenhäuser bedeutet das konkret: Jedes KI-System, das Patienten oder Mitarbeitende anhand persönlicher Merkmale bewertet und diese Bewertung zur Entscheidungsgrundlage macht, die nichts mit dem eigentlichen Behandlungs- oder Beschäftigungsverhältnis zu tun hat, bewegt sich im verbotenen Bereich. Die Verbote gelten für Anbieter und Betreiber gleichermaßen. Ein Krankenhaus, das ein solches System einsetzt, verstößt gegen die Verordnung, auch wenn es das System nicht selbst entwickelt hat.

Welche KI-Anwendungen fallen konkret unter das Verbot?

Artikel 5 der KI-Verordnung benennt folgende verbotene Anwendungen ausdrücklich: Social-Scoring-Systeme, die Menschen nach sozialem Verhalten oder persönlichen Merkmalen bewerten und zu Benachteiligungen führen, KI-Systeme zur Vorhersage von Straftaten auf Basis von Persönlichkeitsmerkmalen sowie KI, die Gefühle am Arbeitsplatz oder in Bildungseinrichtungen erkennt und auswertet.

Für den Krankenhauskontext sind folgende Szenarien direkt relevant:

• Social Scoring von Patienten: Ein System, das Patienten nach Compliance, Sozialverhalten oder Zahlungsverhalten bewertet und diese Bewertung in Behandlungsentscheidungen einfließen lässt, ist verboten.
• Prognose der Arbeitsleistung auf Basis persönlicher Merkmale: KI, die Mitarbeitende nach Persönlichkeitsprofilen oder biometrischen Daten bewertet, um Leistung vorherzusagen, fällt unter das Verbot.
• Emotionserkennung am Arbeitsplatz: Systeme, die Stimmungen oder emotionale Zustände von Pflegepersonal oder Ärzten automatisiert erfassen und auswerten, sind unzulässig.
• Verhaltensbasierte Risikoklassifizierung ohne medizinischen Bezug: Wenn ein System Patienten nach nicht-medizinischen Verhaltensmerkmalen priorisiert oder diskriminiert, greift das Verbot.

Was nicht unter das Verbot fällt: KI-Systeme zur Kodierunterstützung, die auf Basis bereits dokumentierter Diagnosen und Prozeduren Abrechnungskodes vorschlagen, sind regulatorisch in einer anderen Kategorie. Diese Tools analysieren strukturierte medizinische Dokumentation und weisen ein geringes Risikoprofil auf. Sie sind nicht mit klinischen Entscheidungssystemen gleichzusetzen, die eigenständig Diagnosen oder Therapieempfehlungen generieren.

Welche Ausnahmen gelten bei biometrischer Überwachung?

Biometrische Echtzeit-Fernidentifikation in öffentlichen Räumen ist grundsätzlich verboten, kennt aber eng gefasste Ausnahmen, die ausschließlich für Strafverfolgungsbehörden gelten. Für Krankenhäuser und private Gesundheitseinrichtungen gibt es keine relevante Ausnahme, die biometrische Massenüberwachung erlauben würde.

Die Ausnahmen des Artikels 5 für biometrische Systeme betreffen ausschließlich die Suche nach vermissten Personen, die Abwehr unmittelbarer terroristischer Bedrohungen und die Strafverfolgung bei schweren Straftaten. Diese Ausnahmen setzen zudem eine richterliche Genehmigung voraus und sind zeitlich begrenzt.

Für Krankenhäuser gilt: Biometrische Systeme zur Zutrittskontrolle oder Zeiterfassung fallen nicht automatisch unter das Verbot, weil sie keine Echtzeit-Fernidentifikation in öffentlichen Räumen darstellen. Sie sind aber als KI-Systeme zu inventarisieren und nach ihrer Risikokategorie zu bewerten. Systeme, die biometrische Daten nutzen, um Verhaltensvorhersagen über Patienten oder Mitarbeitende zu treffen, bleiben verboten, unabhängig vom Einsatzkontext.

Was droht Unternehmen bei Verstoß gegen die Verbote?

Verstöße gegen die Verbote des Artikels 5 sind die schärfste Sanktionskategorie der KI-Verordnung. Bußgelder können bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes betragen, je nachdem, welcher Betrag höher ist. Diese Obergrenze gilt ausdrücklich für Verstöße gegen die Verbotsvorschriften.

Ab August 2026 tritt das nationale Durchführungsgesetz, das KI-Marktüberwachungs- und Innovationsförderungsgesetz (KI-MIG), in Kraft. Die Bundesnetzagentur und das BfArM werden dann als zentrale Marktüberwachungsbehörden tätig. Wichtig: Auch Patienten und Krankenhausmitarbeitende können dort Verstöße melden, auch anonym. Das erhöht das praktische Entdeckungsrisiko erheblich.

Für Betreiber gilt: Wer ein verbotenes System einsetzt, kann sich nicht mit Unkenntnis entlasten. Die Verordnung verpflichtet Betreiber ausdrücklich dazu, KI-Systeme vor dem Einsatz zu kategorisieren. Ein fehlendes KI-Inventar ist kein Schutz, sondern selbst ein Compliance-Risiko. Die Schulungspflicht nach Artikel 4 gilt bereits seit Februar 2025 und wird ab August 2026 ebenfalls sanktionsbewehrt durchgesetzt.

Welche Bedeutung haben die Verbote für das Gesundheitswesen?

Für Krankenhäuser sind die Verbote des Artikels 5 der unmittelbar relevanteste Teil der KI-Verordnung, weil sie seit Februar 2025 gelten und keine Übergangsfrist kennen. Wer heute ein verbotenes System betreibt, verstößt bereits gegen geltendes Recht, nicht gegen künftige Anforderungen.

Die praktische Relevanz liegt weniger in offensichtlichen Szenarien als in der schleichenden Einführung von Systemen, deren Verbotspotenzial nicht erkannt wird. Ein Beispiel: Ein System zur Personaleinsatzplanung, das Mitarbeitende nach Persönlichkeitsprofilen oder Krankheitshistorie bewertet, kann in den verbotenen Bereich fallen, auch wenn es ursprünglich als Optimierungstool eingeführt wurde.

Besonders zu beachten ist die Unterscheidung zwischen Anwendungstypen: KI im Krankenhaus umfasst ein breites Spektrum, von der Kodierunterstützung auf Basis dokumentierter Diagnosen bis zur klinischen Entscheidungsunterstützung. Diese Kategorien haben unterschiedliche Risikoprofile und unterschiedliche regulatorische Konsequenzen. Eine pauschale Behandlung aller KI-Tools als gleichwertig ist regulatorisch falsch und praktisch gefährlich.

Der erste Schritt für jedes Krankenhaus ist ein vollständiges KI-Inventar: Welche Systeme laufen, wer ist Betreiber, welche Risikokategorie liegt vor? Erst auf dieser Grundlage lässt sich beurteilen, ob verbotene Systeme im Einsatz sind. Für Krankenhäuser ohne eigene KI-Compliance-Struktur ist das eine dringende Aufgabe, die nicht auf die Hochrisiko-Stichtage 2027 und 2028 warten sollte.

Wie Medcontroller Sie bei KI-Compliance im Krankenhaus unterstützt

Medcontroller begleitet Krankenhäuser beim Aufbau einer regelkonformen KI-Struktur, mit dem Fokus auf die Bereiche, die für Medizincontrolling und Abrechnung direkt relevant sind. Das Angebot umfasst konkret:

• Schulungen zur KI-Kompetenzpflicht nach Artikel 4: Dokumentationsfähige E-Learning-Module für Kodierfachkräfte, Medizincontroller und Verwaltungspersonal, aufgabenbezogen und mit Zertifikat
• Inhouse- und Präsenzschulungen: Maßgeschneiderte Trainings für Führungsebene und Fachgruppen, abgestimmt auf die spezifische KI-Nutzung im jeweiligen Haus
• Zertifikatslehrgang KI-Beauftragter im Krankenhaus: Sechswöchige berufsbegleitende Ausbildung für Mitarbeitende, die die KI-Compliance-Funktion intern übernehmen sollen
• Webinare zu aktuellen KI-Rechtsfragen: Praxisnahe Online-Seminare zu KI im Krankenhaus mit direktem Bezug zur KI-Verordnung und dem nationalen Durchführungsrecht

Wenn Sie wissen möchten, welche KI-Systeme in Ihrem Haus bereits unter die Verbote oder Transparenzpflichten fallen, sprechen Sie Medcontroller direkt an. Die Beratung ist konkret, praxisbezogen und auf den Krankenhauskontext zugeschnitten.

Ähnliche Artikel

• Was kostet Nicht-Compliance mit dem EU AI Act für Krankenhäuser?
• Wie bereitet sich ein Krankenhaus auf die Anforderungen des EU AI Act vor?
• Wie erkläre ich meinem Klinikvorstand, warum KI-Compliance wichtig ist?
• Was sind die häufigsten Compliance-Fehler beim KI-Einsatz im Gesundheitswesen?
• Wann gilt eine KI im Krankenhaus als konform mit dem EU AI Act?