Was ist bisher passiert und wie ist der aktuelle Stand?
2021 veröffentlichte die Kommission einen ersten Entwurf der KI-Verordnung, woraufhin eine öffentliche Konsultation stattfand. Darauf folgte eine Stellungnahme der einzelnen Fraktionen des Europäischen Parlaments sowie die Festlegung eines gemeinsamen Standpunkts des Rats der EU. Derzeit finden weiterhin Beratungen auf europäischer Ebene statt, jedoch wird mit einem Inkrafttreten der Verordnung Ende 2023 bis Anfang 2024 gerechnet – bis zur Geltung sollen allerdings nach Art. 85 des Entwurfs der KI-Verordnung (nachfolgend abgekürzt mit: KI-VO-E) noch weitere 24 Monate vergehen.
Was soll die KI-Verordnung regeln und warum bedarf es einer solchen Regelung seitens der EU?
Die Notwendigkeit einer KI-Verordnung seitens der EU begründete die Kommission damit, dass mit einem einheitlichen Rechtsrahmen eine Verbesserung des Funktionierens des Binnenmarkts einhergehe. Mit einheitlichen, harmonisierten Regelungen soll eine in einem Mangel an Rechtssicherheit resultierende Marktfragmentierung verhindert und ein grenzüberschreitender freier Verkehr KI-gestützter Waren und Dienstleistungen gewährleistet werden.
Einerseits müssen die Gefahren aufgrund von Komplexität, Voreingenommenheit, Unvorhersehbarkeit und autonomem Verhalten bestimmter KI-Systeme beachtet werden. Erforderlich sei aus zwingenden Gründen des Allgemeininteresses die Schaffung eines ethischen und rechtlichen Rahmens für rechtmäßige, sichere und vertrauenswürdige KI-Anwendungen, der insbesondere die Grundrechte schützt. Basierend auf einer risikoorientierten Herangehensweise an die Regelungen soll die Verordnung Mindestanforderungen setzen, aber weiterhin ausreichend Raum für Weiterentwicklung und Forschung im Bereich der KI ermöglichen. Damit soll die Union eine Vorreiterrolle in der Entwicklung sicherer und ethischer KI einnehmen.
Andererseits soll mittels bestimmter Regelungen in der Verordnung ein Anreiz für Innovation und Investment in KI geschaffen und vom Einsatz neuer Technologien profitiert werden. Dadurch soll die technologische und industrielle Leistungsfähigkeit der Union erhöht werden.
Welche Rechtsgrundlage gibt es für die KI-Verordnung?
Rechtsgrundlage für die Verbesserung der Funktionsfähigkeit des (digitalen) Binnenmarkts, die durch die KI-Verordnung erreicht werden soll, ist Art. 114 AEUV. Da die Verordnung auch konkrete datenschutzrechtliche Bestimmungen festsetzt, wird diesbezüglich auch auf Art. 16 AEUV abgestellt.
Sieht die KI-Verordnung ein Verbot von KI-Praktiken vor?
Teilweise ja. Der Entwurf der Verordnung setzt eine Einstufung von KI nach dem von ihr ausgehenden Risiko an. Diese Einstufung bildet die Grundlage für die Anforderungen, die an Anbieter von KI-Systemen (und ggf. Nutzer, Dritte) zu stellen sind.
KI-Systeme, die ein unannehmbares Risiko darstellen, also besonders große Gefahren des Verstoßes gegen Grundrechte darstellen, werden nach Art. 5 KI-VO-E gänzlich verboten. Ein unannehmbares Risiko liegt z. B. vor bei derartigem Gebrauch von KI-Systemen, dass zur Umgehung des freien Willens von Personen deren Verhalten manipuliert wird, bei Ausnutzung der Anfälligkeit besonders schutzbedürftiger Personengruppen für Beeinflussungen, sodass diese psychischen oder physischen Schaden erleiden, oder bei Social Scoring durch öffentliche Behörden. Grundsätzlich gilt auch ein Verbot bei Verwendung von biometrischen Echtzeit-Fernidentifizierungssystemen an öffentlich zugänglichen physischen Orten zu Strafverfolgungszwecken, da eine solche Verwendung entgegen dem Ziel der Schaffung vertrauenswürdiger KI-Anwendungen stünde und zumindest indirekt in die Grundrechte der biometrisch identifizierten Personen eingegriffen würde. Von diesem Grundsatz wird in drei Ausnahmen, kodifiziert in Art. 5 I lit. d i-iii KI-VO-E, unter zusätzlicher Erwägung aller Umstände abgewichen.
Andere Regelungen sieht die Verordnung bei „Hochrisiko“-KI-Systemen vor. Diese „Hochrisiko“-KI-Systeme lassen sich unterteilen in zwei Kategorien:
- KI-Systeme, die als Sicherheitsbestandteil von Produkten, die Harmonisierungsrechtsvorschriften gem. Anhang II KI-VO-E unterliegen, verwendet werden sollen und die selbst oder als Teil vom Produkt im Voraus einer Konformitätsbewertung durch Dritte unterliegen (Art. 6 I KI-VO-E)
- Grundrechtsbeeinträchtigende KI-Systeme, die in Anhang III KI-VO-E aufgeführt sind, u. a. biometrische Fernidentifizierungssysteme (solange noch nicht als unannehmbares Risiko kategorisiert), Nutzung von KI zum Ranken im Bereich des Recruitings, zur Kreditwürdigkeitsprüfung, grds. bei Festlegung von Maßnahmen in der Rechtsdurchsetzung.
Aus der Kategorisierung als „Hochrisiko“-KI-System folgen gem. Art. 8-15 RI-VO-E spezielle rechtliche Anforderungen hinsichtlich:
- Risikomanagement (inkl. Durchführung von Tests über die gesamte Nutzungszeit der KI)
- Daten und Datenverwaltung
- Dokumentation (Informationen über allgemeine Merkmale, Fähigkeiten und Grenzen des Systems, Algorithmen, Daten, Test- und Validierungsverfahren, Risikomanagementsysteme)
- Aufbewahrung von Aufzeichnungen
- Transparenz und Bereitstellung von Informationen für Nutzer
- Menschlicher Aufsicht
- Robustheit, Genauigkeit und Sicherheit
Welche Pflichten sind bei „Hochrisiko“-KI-Systemen zu beachten?
Pflichten, die sich für Anbieter aus dem Angebot von „Hochrisiko“-KI-Systemen ergeben, lassen sich einteilen auf zwei Zeitpunkte: 1. Pflichten vor Inverkehrbringen und 2. Pflichten nach Inverkehrbringen der KI.
- Anbieter müssen vor Inverkehrbringen ihrer KI-Systeme sicherstellen, dass diese den genannten Anforderungen entsprechen. Dazu müssen sie die Konformitätsbewertung nach den in der Verordnung angelegten Regelungen aus Art. 43 KI-VO-E in eigener Verantwortung durchführen und dokumentieren (solange es sich nicht um biometrische Fernidentifikationssysteme handelt). Eine solche Bewertung ist immer bei wesentlichen Änderungen des KI-Systems, die Auswirkungen auf die Konformität haben könnten und bei Änderungen des Verwendungszwecks vor Inverkehrbringen des angepassten KI-Systems zu wiederholen (Art. 43 IV KI-VO-E). Ebenso muss der Anbieter Qualitätsprüfungen durchführen und seinen Informationspflichten nachkommen. Dazu gehört unter anderem die vor Markteinführung zu erfolgende Eintragung wesentlicher Informationen über seine Person und das KI-System in eine Europäische Datenbank.
Dieselben Pflichten treffen den Hersteller eines Produkts, das zusammen mit einem „Hochrisiko“-KI-System, das unter Anhang II Abschnitt A fällt, verwendet wird. Bei Anwendbarkeit bestehender sektoraler Sicherheitsgesetze des New Legislative Framework wird die Prüfung der Einhaltung der Anforderungen an „Hochrisiko“-KI-Systeme zur Aufwandsverringerung in das Konformitätsbewertungsverfahren dieser bereits bestehenden Sicherheitsgesetze integriert.
- Nach Art. 61 KI-VO-E müssen alle Anbieter über ein System zur Überwachung, Dokumentation und Analyse der KI nach Inverkehrbringen verfügen. Sie sind ebenfalls verpflichtet, Marktüberwachungsbehörden über „schwerwiegende Vorfälle“ oder Fehlfunktionen, die gegen grundrechtschützendes Unionsrecht verstoßen, unmittelbar nach Kenntnisnahme, spätestens aber 15 Tage danach, zu informieren. Zur leichteren Einhaltung dieser Pflicht folgen bis spätestens 12 Monate nach Inkrafttreten der KI-Verordnung festzulegende Leitlinien der Kommission. Weiterhin müssen Anbieter ihrer Aufbewahrungspflicht hinsichtlich bestimmter Unterlagen nach Art. 50 KI-VO-E nachkommen.
In Art. 26 ff. KI-VO-E sind ebenfalls einzelne Pflichten von Einführern, Händlern, Nutzern und sonstigen Dritten in Bezug auf „Hochrisiko“-KI-Systeme normiert.
Welche Pflichten treffen Anbieter von KI-Systemen, die nicht als „Hochrisiko“-KI-Systeme eingestuft werden?
Für Anbieter von KI-Systemen, von denen ein geringes Risiko ausgeht, gelten lediglich die Transparenzverpflichtungen des Art. 52 KI-VO-E verpflichtend. Darunter fallen KI-Systeme, die mit Menschen interagieren, die Emotionen erkennen bzw. Personen biometrisch kategorisieren oder die Inhalte erzeugen oder manipulieren, die wirklichen Inhalten merklich ähneln (deepfakes). Dabei muss den betroffenen natürlichen Personen grds. offengelegt werden, dass sie es mit einer KI zu tun haben.
Anbieter von KI-Systemen, von denen ein geringes oder minimales Risiko ausgeht, sollen nach Art. 69 KI-VO-E ebenfalls dazu animiert werden, die Regelungen für „Hochrisiko“-KI-Systeme freiwillig auch auf ihre KI-Systeme im Rahmen von Verhaltenskodizes anzuwenden. Dabei dürfen sie die Kodizes auch selbst erstellen, modifizieren oder Pflichten hinzufügen.
Wie wird die KI-Verordnung durchgesetzt?
EU-Mitgliedsstaaten legen jeweils objektive und unparteiliche nationale Behörden für die Anwendung und Durchführung der KI-Verordnung fest. Aus diesen Behörden wählen die Mitgliedstaaten jeweils eine Aufsichtsbehörde, die als notifizierende Behörde und Marktüberwachungsbehörde im jeweiligen Staat fungiert.
In ihrer Funktion als notifizierende Behörde ist die Aufsichtsbehörde für die Organisation von Verfahren zur Benennung von Konformitätsbewertungsstellen sowie deren Bewertung und Überwachung zuständig. Die Konformitätsbewertungsstellen überprüfen die Einhaltung der Anforderungen an „Hochrisiko“-KI-Systeme. Einzelheiten zu deren Organisation sind in Art. 30-39 KI-VO-E geregelt.
In ihrer Funktion als Marktüberwachungsbehörde kontrolliert die Aufsichtsbehörde den Markt (in Übereinstimmung mit ihren Aufgaben gemäß der sog. Marktüberwachungsverordnung (VO (EU) 2019/1020)) und informiert die Kommission regelmäßig über ihre Ergebnisse, insbesondere bei potenziellen Auswirkungen auf das Wettbewerbsrecht. Die Überwachungsbehörden kontrollieren die Bewertung der Konformität der „Hochrisiko“-KI-Systeme und haben Zugriff auf die dafür erforderlichen Dokumente. Sie sollen bei Risiken, die durch die KI verursacht werden, eingreifen und unterliegen diesbezüglich Informationspflichten gegenüber den betreffenden Akteuren, der Kommission und anderen Mitgliedsstaaten.
Zu beachten ist, dass die Finanzdienstleistungsvorschriften aus der 2013/36/EU-RL hinsichtlich interner Unternehmensführung und Risikomanagement ähnliche Pflichten wie die Vorschriften der KI-Verordnung für die Anbieter vorsehen. Demnach soll die Kontrolle der Anbieterpflichten in Bezug auf von beaufsichtigten Finanzinstituten bereitgestellte oder verwendete KI-Systeme in bereits bestehende Verfahren zur Beaufsichtigung und Durchsetzung der Rechtsvorschriften im Bereich der Finanzdienstleistungen zuständigen Behörden integriert werden.
Drohen bei Verstößen gegen die KI-Verordnung Bußgelder?
Ja. Die Mitgliedsstaaten erlassen die Vorschriften für Sanktionen bei Verstößen gegen die KI-Verordnung und sind auch für deren Durchsetzung zuständig. Beispielsweise kann bei Verstößen gegen das Verbot des Inverkehrbringens von KI-Systemen, die ein unannehmbares Risiko darstellen, ein Bußgeld von bis zu 30 Mio. € bzw. (bei Unternehmen) von bis zu 6 % des weltweiten Jahresumsatzes des vergangenen Geschäftsjahrs verhängt werden.
Welche Maßnahmen zur Innovationsförderung bestehen?
Zunächst werden in den EU-Mitgliedsstaaten nach Art. 53 f. KI-VO-E KI-Reallabore eingeführt, sodass eine kontrollierte Umgebung geschaffen ist, in der neue Technologien unter bestimmten Voraussetzungen in Absprache mit und unter Aufsicht von Behörden getestet werden können.
Zudem sind in Art. 55 KI-VO-E einige Unterstützungsangebote für Kleinanbieter und Kleinnutzer angesetzt, um deren Bedürfnisse erfüllen zu können.
Wie verhält sich die KI-Verordnung im Verhältnis zu anderen Vorschriften?
Das EU-Wettbewerbsrecht wird durch die Verordnung nicht beeinträchtigt. Ebenso besteht eine grundsätzliche Übereinstimmung mit der Grundrechtecharta und mit Sekundärrecht hinsichtlich Datenschutz und Verbraucherrecht.
Werden die Regelungen aus der KI-Verordnung im Laufe der Zeit angepasst?
Ja. Die Europäische Kommission ist (vorerst auf unbestimmte Zeit) zum Erlass delegierter Rechtsakte im Rahmen der von der Verordnung festgelegten Bestimmungen befugt und wird dabei von einem Europäischen Ausschuss unterstützt. Außerdem ist die Kommission zur jährlichen Prüfung der Aktualität der Auflistung von „Hochrisiko“-KI-Systemen in Anhang III verpflichtet. Im Rahmen ihrer Pflicht zur regelmäßigen Berichterstellung zur Bewertung der Verordnung auf Grundlage der gesammelten Daten von Aufsichtsbehörden der Mitgliedsstaaten kann sie auch Vorschläge zur Änderung der Verordnung vorlegen.
Autoren: Luca Maria Holst und Chiara Panfili
