My next 'Bericht aus Brüssel' in the 5th issue in 2023 of the RDV (Fachzeitschrift für Datenschutzrecht) summarizes the most important important points that will be discussed between Parliamentarians and the Member States during the Trilogue.
Below my contribution for RDV 5/23:
Am 9. September 2024 werden in der EU die insgesamt 720 Abgeordneten des neuen Europäischen Parlaments bestimmt. Die Europawahlen entscheiden auch, wer auf die Kommission von der Leyen nachfolgt oder ob der derzeitigen Kommissionspräsidentin eine weitere Amtszeit zugestanden wird. Wie in meinem letzten 'Bericht aus Brüssel' erläutert, setzt die anrückende Wahl die EU-Gesetzgeber erheblich unter Druck. Spätestens Anfang Februar 2024 müssen die laufenden Gesetzgebungsverfahren erfolgreich abgeschlossen werden, damit der jeweilige Vorschlag noch vor der Wahl europaweit in Kraft treten kann. Gelingt den Verhandlungsteams bis dahin keine politische Einigung, kann das jeweilige EU-Gesetz realistisch erst 2025 verabschiedet werden. In der Digitalpolitik ist die Lage besonders prekär. Über 25 legislative Projekte drohen dem enormen Zeitdruck zum Opfer zu fallen. Wie ist die Lage beim wohl populärsten und wichtigsten aller offenen EU-Digitalvorhaben, der KI-Regulierung. Wo stehen die Verhandlungen? Was sind die strittigsten Punkte? Und vor allem, ist ein Inkrafttreten vor der Europawahl überhaupt noch realistisch?
Rückblick: am 14. Juni 2023 einigte sich das Europäische Parlament nach langen und hitzigen Debatten auf seine Verhandlungsposition. Kompetenzstreitigkeiten zwischen den Ausschüssen sowie ideologische Gräben zwischen den Fraktionen hatte die Mehrheitsfindung bis zuletzt erschwert. Schon am selben Tag starteten die Trilogverhandlungen mit den Mitgliedstaaten. So richtig Fahrt haben diese aber erst unter der spanischen Ratspräsidentschaft aufgenommen, welche rotierend am 1. Juli 2023 ins Amt kam. Als eine ihrer legislativen Top-Prioritäten in Brüssel setzte die spanische Regierung für die KI-Regulierung noch vier technische Verhandlungsrunden sowie einen politischen Trilog vor Beginn der Sommerpause Ende Juli durch. Die Verhandlungsteams besprachen in vier Blöcken insgesamt 36 Artikel des Gesetzesvorschlags und konnten sich bei einem Großteil sogar schon auf einen finalen Text verständigen. Auf dem ersten Blick ein riesen Erfolg, da die vier Blöcke fast die Hälfte der 85 Artikel abdecken. Die beeindruckende Geschwindigkeit soll auch nach der Sommerpause gehalten werden und der Trilog bis Ende Oktober gar abgeschlossen werden. Die Grafik gibt einen Überblick aller bestätigten Sitzungen
Doch der erste Anschein trübt. Zwar ist eine rechtzeitige politische Einigung vor den Europawahlen durchaus noch möglich, die Erfolgschancen sind aber unsicher. Die 36 besprochenen Artikel waren eher technischer Natur und wiesen kaum politisch strittige Punkte zwischen Rat und Parlament auf. Selbst unter diesen positiven Begleitumständen wurden diverse Passagen ausgeklammert und auf später verschoben. Eine politische Einigung bis zum 3. Oktober gilt daher schon jetzt als ausgeschlossen. Stattdessen wird nun ein Termin zu Beginn des Dezembers angestrebt. Und auch organisatorisch und menschlich kriselt es. So wurden die obigen Termine nur nach erheblicher Kritik an den Berichterstattern veröffentlicht. Was nach dem 20. Oktober passiert und wann genau es mehr Information darüber gibt, ist völlig unklar. Ebenso fehlen jegliche Informationen darüber, wann welche Themen in den jeweiligen Sitzungen besprochen werden. Die anderen Parteien hatten schließlich auch kaum Chancen inhaltliches Feedback einzureichen. Die Vertreter der CDU, Grünen, FDP, Linken und der EKR-Fraktion kritisierten wiederholt geschlossen die fehlende Transparenz und mangelnde Zusammenarbeit. Die internen Reiberein im Europäischen Parlament stellen die spanische Ratspräsidentschaft und die Europäische Kommission vor ein Dilemma. Zwar wollen sie die Trilogverhandlungen möglichst schnell abschließen, traditionell ist es ihnen aber untersagt, sich in die Belange der anderen EU-Institutionen - hier die internen Abstimmungsprobleme des Parlaments - einzumischen. Im Ergebnis bedeutet dies, dass zurzeit wohl niemand in der Lage ist, eine zeitliche Prognose abzugeben. Die Streitigkeiten zwischen den Abgeordneten können sich jeder Zeit auflösen oder sogar noch weiter verschlechtern. Für die potentiell unter die Regulierung fallenden KI-Entwickler und Anwender sind dies schlechte Nachrichten. Wenn sie auf Nummer sicher gehen wollen, sollten sie die Verhandlungen genau verfolgen und sich lieber zu früh als zu spät auf das neue Digitalgesetz vorbereiten.
Wohl wissend, dass diese Ungewissheit für viele Leser sehr unbefriedigend ist, versuche ich mich dennoch mit einigen inhaltlichen Prognosen. Was folgt sind 11 Prognosen über den finalen Text der KI-Regulierung sollte er noch vor der Wahl 2024 in Kraft treten:
Anwendungsbereich (Art. 1, 2): Die KI-Regulierung wird mit hoher Sicherheit auf eine leicht abgewandelte Form der OECD Kurzdefinition von 2019 zurückgreifen. Zudem wird die Forschung und Entwicklung von KI-Systemen, der Open-Source Sektor sowie militärische Anwendungen nicht vom Gesetz umfasst werden. Fast alle neuen gesetzlichen Verpflichtungen werden die Hersteller und Nutzer von KI-Systemen betreffen, ganz so wie die Kommission es 2021 vorgeschlagen hat.
Verbotene KI-Systeme (Art. 5): bei den Verboten hinsichtlich unterschwelliger Techniken (a) und des Ausnutzens von Verletzbarkeiten (b) wird sich der finale Text eng an der Kommissionsversion orientieren. Es ist aber damit zu rechnen, dass klargestellt wird, dass erlaubte kommerzielle Praktiken nicht unter das Verbot fallen. Auch beim Verbot von Social Scoring (c) ist mit einer ähnlichen Klarstellung zu rechnen. Neben staatlichen Akteuren wird die KI-Regulierung das Verbot aber auf den Privatsektor ausweiten. Beim Thema Auswertung von biometrischen Daten in Echtzeit (d) und nachträglich (dd) sowie der Emotionserkennung (dc) ist der finale Kompromiss aufgrund von unklaren Mehrheitsverhältnissen hingegen völlig ungewiss. Auch das vom Parlament vorgeschlagene Verbot von predictive policing (da) wird von den meisten Mitgliedstaaten kategorisch abgelehnt - der Verbleib im finalen Text ist daher ungewiss. Scheitern die Verhandlungen zur KI-Regulierung, wird es höchstwahrscheinlich an diesen vier genannten Verboten liegen.
Hochrisiko KI-Systeme - Klassifizierung (Art. 6 + Annex II/III): Parlament und Rat lehnen beide das Vorgehen der Kommission zur Bestimmung von Hochrisiko Systemen ab und wollen eine zusätzliche Ebene - die Prüfung der spezifischen Nutzung des jeweiligen KI-Systems - einbauen. Zwar bestehen noch Unterschiede beim exakten Vorgehen, das anvisierte Endergebnis scheint aber klar zu sein. Bei Annex II wird es nur wenige Änderungen gegenüber dem Kommissionsvorschlag geben. Auch Annex III wird konzeptionell und strukturell bleiben wie vorgeschlagen. Intensive Diskussionen über Details zu biometrischen Daten (1), kritischer Infrastruktur (2), Beschäftigung (4), öffentlichen Leistungen (5) und demokratischen Systemen (8) sind aber absehbar.
Hochrisiko KI-Systeme - Anforderungen (Art. 8-15): Rat und Parlament scheinen sich einig zu sein, dass die Hochrisiko Anforderungen den Kontext der Nutzung berücksichtigen müssen (Art. 8). An der Anzahl und der Struktur der Anforderungen wird sich prinzipiell auch wenig verändern, da sich beide Ko-Gesetzgeber bei ihren Positionen vor allem auf die Konkretisierung und Realisierbarkeit der Bestimmungen konzentriert haben. Dabei wurden dieselben Defizite identifiziert. Diskussionen wird es allerdings bei den Anforderungen zu Datensätzen (Art. 10), der Nachhaltigkeitsprüfung (Art. 12), Transparenz (Art. 13) und menschliche Aufsicht (Art. 14) geben, da die Vorschläge der Parlamentarier für die Mitgliedstaaten zu radikal und praxisfern sind. Das Parlament argumentiert hingegen, dass die KI-Regulierung für seine Mitglieder ohne diese Anforderungen wenig Sinn ergibt. Neben den Verboten in Artikel 5 handelt es sich hier ebenfalls um einen besonders schwierigen Punkt für die Kompromissverhandlungen.
KI-Wertschöpfungskette und foundation models (Art. 28 ff.): Mehr Einigkeit gibt es hingegen bei dem Ziel die verschiedenen Akteure innerhalb der KI-Wertschöpfungskette dazu zu bewegen, stärker zusammenzuarbeiten. Parlament und Rat vereint die Erkenntnis, dass ansonsten viele Hersteller und Nutzer die Anforderungen der KI-Regulierung nicht erfüllen könnten. Auch eine Benachteiligung der EU-Unternehmen wird befürchtet. Die Substanz der gemachten Vorschläge zu Artikel 28 war daher sehr ähnlich. Auch der Artikel 28a zu unfairen Vertragsbestimmungen scheint prinzipiell unstrittig. Komplizierter wird es bei Artikel 28b zu foundation models. Zwar sind sich Rat und Parlament grundsätzlich einig, dass deren Entwickler in die KI-Regulierung einbezogen werden sollen. Das Parlament ging allerdings deutlich weiter in der Ausformulierung der Anforderungen, während der Rat die Implementierung größtenteils der Kommission auftrug. Zurzeit scheint es realistisch, dass der neue Artikel 28b zwar bestehen bleibt, aber sein Anwendungsbereich sowie sein Pflichtenkatalog zusammengestrichen werden.
Standards (Art. 40 ff.): Rat und Parlament eint die Skepsis hinsichtlich common specifications (Art. 41) sowie der Wille, dass sich bewährte Standardisierungssystem zu verteidigen (Art. 40). Allerdings gibt es unterschiedliche Meinungen über die Notwendigkeit, konkrete Vorgaben an die Standardisierungsorganisation zu erteilen.
System mit höheren Transparenzpflichten (Art. 52): War die dritte Risikokategorie lange wenig Beachtung fand, änderte sich dieses abrupt mit dem Aufkommen von generativer KI. Absatz 3 von Artikel 52 zu deep fakes wird daher wohl auf weiteren KI-generierten Inhalt ausgeweitet und mit einer Kennzeichnungspflicht verbunden. Details sind aber noch völlig unklar.
Innovationsförderung (Art 53-55): Für viele Teilnehmer der Verhandlungen kommt Innovation weiterhin zu kurz in der KI-Regulierung. So fordern beispielsweise die Mitgliedstaaten die Aufnahme von neuen Artikeln zum Testen von KI-Systemen unter realen Umständen. Das Parlament wünscht sich hingegen mehr Engagement und Investments der Mitgliedstaaten bei den Reallaboren (Art. 53). Obwohl beide Verhandlungsparteien inhaltlich nicht weit auseinander liegen, wird ein bilanzierter Kompromiss auch bei diesem Themenbereich schwierig werden.
Governance & Enforcement (Art. 56-68): Ein weit größerer Knackpunkt der Verhandlungen ist die Aufsicht über die KI-Regulierung, erschwert durch den Umstand, dass sowohl Rat als auch Parlament gespalten sind. Während einige zufrieden mit dem Vorschlag der Kommission waren (schwache Zentralisierung), präferieren andere eine neue EU AI-Agentur. Auch beim Maßnahmenkatalog ab Artikel 60 und den Befugnissen der Kommission gibt es große Meinungsverschiedenheiten. Ko-Berichterstatter Dragos Tudorache hat diesen Punkt öffentlich als seine Kernpriorität bezeichnet. Parallel dazu haben etliche Mitgliedstaaten sich öffentlich festgelegt, dass es mit ihnen kaum Abgaben an Hoheitsgewalt an die EU beim Thema KI geben wird. Noch ist völlig unklar, wie dieser Konflikt aufgelöst werden kann. Tendenziell scheint eine abgespeckte Version des Parlamentsvorschlages, also die Errichtung eines EU-Offices, am Wahrscheinlichsten.
Übergangsfristen (Art. 83): Es erscheint sicher, dass KI-Systeme, welche sich schon vor der KI-Regulierung auf dem Markt befunden haben, keinen unmittelbaren Anpassungspflichten ausgesetzt werden. Dies ändert sich erst dann, wenn sie sich wesentlich ändern. Darüber hinaus wird es wohl längere Übergangsfristen geben. Diskutiert wird aber eine sukzessive Anwendung der KI-Regulierung, mit der Folge, dass manche Bereiche unmittelbar (Art. 5), andere erst in 2 Jahren (Annex III) oder sogar 4 Jahren (Annex II) gelten.
Bessere Rechtsetzung: Falls es der politische Druck erlaubt, ist zu hoffen, dass sich die beiden Ko-Gesetzgeber Zeitnehmen, das Verhältnis der KI-Regulierung mit anderen EU-Gesetzen zu überprüfen. Der Kommissionvorschlag wies diesbezüglich grobe Versäumnisse auf. Zwar haben Rat und Parlament viele Probleme identifiziert und adressiert (insbesondere bei der DSGVO und beim DSA), gerade bei sektoralen Gesetzen (z.B. MDR, IVMD, RED, Platform Work Directive) gibt es aber noch Nachholbedarf.
Soweit meine derzeitigen Prognosen. Wie schon mehrfach gesagt, ist die KI-Regulierung ein höchstpolitisches Gesetz geworden, welches durch ChatGPT noch einmal besonders Fahrt aufgenommen hat. Es ist auch nicht auszuschließen, dass weitere technologische Sprünge in den gesetzgeberischen Prozess beschleunigend oder bremsend eingreifen. Für die RDV und den 'Bericht aus Brüssel' bedeutet dies mit Sicherheit, dass das Thema auch in zukünftigen Heften besprochen werden wird.
* Kai Zenner ist Büroleiter und Digitalreferent für MdEP Axel Voss und als Experte des AI Netzwerks der OECD tätig. Der Beitrag gibt die persönliche Auffassung des Autors und nicht des Europäischen Parlaments wieder.
More information about the RDV magazine can be found here. The text above is published on this website in agreement with DATAKONTEXT GmbH and Prof. Dr. Schwartmann.
Comentarios