Am 01.08.2024 ist die neue EU Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (KI-VO – https://eur-lex.europa.eu/eli/reg/2024/1689/) in Kraft getreten. Mit der KI-VO erstrebt die Europäische Union eine umfassende risikobasierte Regulierung von Systemen künstliche Intelligenz. Mit komplexen und teilweise differenzierten Regelungen will die EU potentielle KI-Risiken minimieren und die Sicherheit und Rechte von EU-Bürgern schützen. Es handelt sich um Produktsicherheitsrecht mit einem abgestuften risikobasierten Ansatz. Je höher die Risiken des KI-Systems eingestuft werden, desto umfangreicher und strenger sind regulatorischen Anforderungen an die Adressaten, insbesondere Anbieter und Betreiber von KI-Systemen.
Unternehmen, welche KI-Systeme nutzen, müssen für die Umsetzung der KI-VO eine Reihe von KI-Compliance Maßnahmen ergreifen. Dazu zählen zunächst die interne Erfassung, Dokumentation und Analyse eingesetzter KI-Systeme, Schulungsmaßnahmen zur Schaffung von KI-Kompetenz im Umgang mit KI-Systemen im Unternehmen, eine Risikobewertung eingesetzter KI-Systeme sowie die Schaffung von Nutzerinformationen und Maßnahmen zum Risikomanagement.
I. Schrittweise zeitliche Anwendbarkeit der KI-VO
Nach dem Inkrafttreten der KI-VO werden deren Bestimmungen schrittweise anwendbar.
Die allgemeinen Bestimmungen der KI VO, Art. 1-4 einschließlich der Pflicht zur Vermittlung von KI-Kompetenz, also Schulungen, sowie das Verbot von KI-Systemen mit unzumutbaren Risiken, Art. 5, gelten ab dem 02.02.2025.
Die Verpflichtungen in Bezug auf KI-Modelle mit allgemeinem Verwendungszweck (GPAI) gelten ab 02.08.2025. Im Übrigen ist die KI-VO ab zwei Jahre nach ihrem Inkrafttreten, also ab dem 02.08.2026, grundsätzlich anwendbar. Die umfangreicheren Regelungen über die im Anhang I der KI VO aufgeführten Hochrisiko Systeme gelten erst nach drei Jahren, also ab dem 02.08.2027.
Ungeachtet der zeitlichen Staffelung ist Unternehmen zu empfehlen, sich so früh wie möglich mit den für ihre KI-Systeme anwendbaren Regelungen vertraut zu machen und notwendige Maßnahmen für KI-Compliance zu schaffen.
II. Definition des KI-Systems, Art. 3 Nr. 1 KI-VO
Die sachliche Anwendbarkeit der KI-VO hängt entscheidend davon ab, ob das eingesetzte Tool unter die Begriffsdefinition des KI-Systems fällt.
Nach Art. 3 Nummer 1 der KI VO ist ein
„KI-System ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“
Im Erwägungsgrund 12 der KI-VO finden sich weitere Erläuterungen zu dieser komplexen Definition. Das zentrale Element der neuen Definition besteht in der Fähigkeit solcher Systeme, auf der Grundlage erhaltener Eingaben bestimmte Ergebnisse wie u.a. Inhalte, Vorhersagen oder Modelle mit Techniken des maschinellen Lernens oder Algorithmen abzuleiten. Mit der Ermöglichung von autonomen Lern-, Schlussfolgerungs- und Modellierungsprozessen geht das KI-System über einfachere herkömmliche Datenverarbeitungssysteme hinaus, welche auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen. Teilweise wird vertreten, dass entscheidend für die Qualifizierung als KI-System die Eingabe von Trainingsdaten in das System sei.
Die Qualifizierung von Anwendungen als KI-System im Sinne der KI-VO wird jenseits bekannter Systeme wie z.B. ChatGPT, DeepL, Gemini oder Alexa nicht immer einfach sein. Sind zum Beispiel Textverarbeitungsprogramme, welche mögliche grammatikalische Fehler anzeigen, bereits als KI-System anzusehen, oder sind jedenfalls solche Programme, die auf der Grundlage früherer Eingaben des Nutzers oder einer Datenbank Textvorschläge machen, KI-Systeme? Bevor solche Fragen durch die Anwendungspraxis der KI-VO geklärt sind, ist Anwendern zu einer weiten Auslegung der Definition zu raten.
Zu beachten ist weiter, dass bestimmte KI-Systeme (vgl. Art. 2 KI-VO) vom Anwendungsbereich der KI-VO ausgenommen sind. Dazu gehören KI-Systeme für den rein privaten Gebrauch, für die nationale Sicherheit, Verteidigung und Militär, Forschung und Entwicklung, in der Entwicklung befindliche KI-Systeme vor deren Inverkehrbringen, sowie in bestimmtem Umfang Open Source-Systeme oder KI-Systeme, welchen nach Art. 111 KI-VO Bestandsschutz gewährt wird.
III. Adressaten der KI-VO
Die KI-VO wendet sich an bestimmte „Akteure“, Art. 3 Nr. 8 KI-VO, wozu Betreiber, Anbieter, Produkthersteller, Bevollmächtigte, Einführer oder Händler gehören.
Zu den praktisch wichtigsten zählen zum einen Anbieter, Art. 3 Nr. 3 KI-VO. Dazu gehören Personen, Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickeln und entwickeln lassen und es unter ihrem eigenen Namen oder ihrer Handelsmarke Inverkehrbringen oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nehmen, sei es entgeltlich oder unentgeltlich.
Zum anderen gehören dazu Betreiber, Art. 3 Nummer 4 KI-VO. Dies sind Personen, Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System in eigener Verantwortung verwenden. Nicht als Betreiber im Sinne dieser Definition gelten diejenigen, welche das KI-System ausschließlich im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwenden.
Anbietern und Betreibern werden mit der KI-VO spezifische, differenzierte Pflichten auferlegt.
Zu beachten ist, dass nicht nur Akteure mit Sitz innerhalb der EU, sondern auch Akteure in Drittländern (z.B. USA, UK, China, etc.) Adressaten der KI-VO sein können, wenn diese ihre Produkte auf den EU-Markt bringen, zum Beispiel in der Union ein KI-System in Verkehr bringen, oder von ihren KI-Systemen erzeugte Ausgaben in der EU bestimmungsgemäß verwendet werden. Ebenso wie im Bereich des Datenschutzes und der DSGVO gilt auch hier das Marktortprinzip.
IV. Kategorisierung und Klassifizierung von KI-Systemen
a) KI-Systeme und KI-Modelle
Neben der zentralen Definition des KI-Systems knüpft die KI-VO an den Begriff des KI-Modells an. Ein KI-Modell ist die hinter dem System stehende Funktionsweise, also der mathematische oder algorithmische Kern des KI-Systems. Es handelt sich dabei um eine trainierte statistische Funktion oder ein neuronales Netz, das durch maschinelles Lernen auf Basis von Daten Muster erkennt und Vorhersagen trifft.
Für Anbieter (nicht für Betreiber) von KI-Modellen mit allgemeinem Verwendungszweck (GPAI), also zum Beispiel große Sprachmodelle (LLM) wie etwa ChatGPT, gelten gemäß Art. 51 f. KI-VO besondere regulatorische Anforderungen.
b) Risikoklassen
Ein zentrales Element der KI-VO besteht in der Kategorisierung von KI-Systemen in Risikoklassen. Zu unterscheiden sind verbotene KI-Systeme, Hochrisiko-KI-Systeme, KI-Systeme begrenzten Risiko und KI-Systeme mit minimalem Risiko. Abhängig von der Klassifizierung des KI-Systems ergeben sich beginnend vom generellen Verbot, über detaillierte Regulierungen, gewissen Transparenzpflichten bis hin zur Regelungsfreiheit abgestufte regulative Anforderungen der KI-VO.
ba) Verbotene KI-Systeme, Art. 5 KI-VO
Art. 5 KI-VO verbietet in verschiedenen Tatbeständen das Inverkehrbringen, die Inbetriebnahme und den Einsatz bestimmter, mit unannehmbaren Risiken verbundener KI-Systeme.
Dazu gehören KI-Systeme mit dem Ziel, Personen unterschwellig zu manipulieren und damit erhebliche Schäden zu verursachen (Art. 5 a) KI-VO) oder KI-Systeme mit dem Ziel, die Schwäche oder Schutzbedürftigkeit bestimmter Personen oder Personengruppen zu deren erheblicher Schädigung auszunutzen (Art. 5 b) KI-VO).
Art. 5 c) KI-VO verbietet KI-Systeme für Social Scoring-Anwendungen, welche zu diskriminierenden Ergebnissen, ungerechtfertigter Schlechterstellung oder Ausgrenzung bestimmter natürlicher Personen oder Personengruppen führen.
Die weiteren Verbotstatbestände der (Art. 5 d)-h) KI-VO beinhalten mitsamt bestimmter Ausnahmen u.a. verbotene Risikobewertungssysteme, biometrische Echtzeit-Identifizierungssysteme sowie Echtzeit-Emotions-Analysesysteme.
Verbotene KI-Systeme im Sinne der bereits wirksamen Bestimmung des Art. 5 KI-VO sind unverzüglich einzustellen. Dies kann zum Beispiel durch eine Löschung oder Vernichtung eines solchen Systems oder dessen Veränderung, welche das KI-System aus dem Verbotstatbestand herausführt, erfolgen. Verträge über verbotene KI-Systeme dürften aufgrund des Gesetzesverstoßes nichtig sein.
bb) Hochrisiko-KI-Systeme, Art. 6 f. KI-VO
Die Regelungen zu Hochrisiko-KI-Systemen bilden den zentralen und umfangreichsten Teil der KI-VO. Solche KI-Systeme, welche aus Sicht des Gesetzgebers ein hohes Risiko für die Gesundheit, die Sicherheit oder die Grundrechte beinhalten, dürfen nur dann innerhalb der EU in Verkehr gebracht, in Betrieb genommen oder verwendet werden, wenn eine Reihe zwingender Anforderungen mitsamt einer Konformitätsprüfung erfüllt wurden.
bba) Einstufung
Art. 6 KI-VO unterscheidet zwischen zwei Kategorien von Hochrisiko-KI-Systemen.
Zum einen liegt gemäß Art. 6 Abs. 1 KI-VO ein Hochrisiko-KI-System vor, wenn dieses System nach seiner Zweckbestimmung als Sicherheitsbauteil eines in Anhang I KI-VO aufgeführten Produkts verwendet wird oder selber ein solches Produkt ist. Zum anderen müssen die im Anhang I aufgeführten Produktsicherheitsvorschriften für das Produkt eine Konformitätsbewertung durch Dritte anordnen. Nach Art. 43 Abs. 3 KI-VO sind die zusätzlichen Anforderungen der KI-VO an das Hochrisiko-KI-System im Rahmen des bereits bestehenden, über Anhang I anwendbaren Konformitätsbewertungsverfahrens zu prüfen. Inwieweit diese Anforderungen praktisch umzusetzen sein werden, bleibt abzuwarten.
Zum anderen ist gemäß Art. 6 Abs. 2 KI-VO ein Hochrisiko-KI-Systeme bei eigenständigen Systemen anzunehmen, die Anhang III der KI-VO unterfallen. Dazu gehören u.a. biometrische Systeme, KI-Systeme als Sicherheitsbauteile im Bereich kritischer Infrastruktur, bestimmte KI-Systeme im Bereich der Bildung, Beschäftigung und Personalmanagement, der Zugänglichkeit und Inanspruchnahme grundlegender privater öffentliche Dienste und Leistungen, zugelassener Strafverfolgung, Migration und Asyl sowie der Rechtspflege und demokratischer Prozesse (zum Beispiel Wahlen).
Die Klassifizierung und Einstufung als Hochrisiko-KI-System wird in vielen Fällen praktische Schwierigkeiten aufwerfen. Immerhin ist nach Art. 96 KI-VO vorgesehen, dass die EU-Kommission Leitlinien zur praktischen Umsetzung von Art. 6 KI-VO und weiteren Bestimmungen erlassen wird.
bbb) Regulatorische Anforderungen an Hochrisiko-KI-Systeme
Ist ein KI-System als Hochrisiko-KI-System einzustufen, ergeben sich nach den Artikeln 8-15 KI-VO umfangreiche, vor Inverkehrbringen zu erfüllende Anforderungen an ein solches System. Dazu gehören
All jene Anforderungen werden erheblichen Mehraufwand vor allem für Anbieter und teilweise auch Betreiber von Hochrisiko-KI-Systemen mit sich bringen. Weitere Klarstellungen sollen durch ergänzende technische Normen erfolgen, Art. 40 KI-VO.
cc) KI-Systeme mit begrenztem Risiko
Falls KI-Systeme weder verboten sind, noch den geschilderten strengen Anforderungen an Hochrisiko-KI-Systeme unterliegen, können diese als KI-Systeme mit begrenztem Risiko einzustufen sein. Dies betrifft Systeme wie etwa Chatbots im Kundenservice, KI-generierte Inhalte wie Deepfakes oder einfache Entwicklungssysteme. Solche Systeme unterliegen den Transparenzpflichten nach Art. 50 KI-VO. Durchschnittlich informierte und aufmerksame Nutzer müssen darüber informiert werden, dass sie mit einer KI interagieren. Künstlich erzeugte Audio- oder Videoinhalte müssen als KI-generiert gekennzeichnet werden.
dd) KI-Systeme mit minimalem Risiko
Solche KI-Systeme sind vom Anwendungsbereich der KI-VO ausgenommen. Dazu dürften zum Beispiel Spamfilter oder Videospiele mit KI-Elementen zählen. Anbieter oder Betreiber solcher Systeme können sich zukünftig freiwillig (vgl. auch Art. 95 KI-VO) bestimmten Verhaltenskodizes unterwerfen.
V. Administration und Sanktionen
Mit der KI-VO wird die Einrichtung verschiedener Behörden auf EU- und nationaler Ebene vorgesehen. Auf EU-Ebene gehört dazu das KI-Büro sowie ein aus Vertretern der EU-Mitgliedstaaten zusammengesetzter KI-Ausschuss. Der Prozess der Einrichtung der Behörden ist derzeit noch nicht abgeschlossen. Auf nationaler Ebene wird in Deutschland vermutlich die Bundesnetzagentur als nationale Aufsichtsbehörde zur Durchsetzung der KI-VO bestimmt werden.
Ab dem 02.08.2025 tritt auch das Sanktionsregime der KI-VO mit Ausnahme von Art. 101 in Kraft. Unter anderem abhängig von der Art und Schwere der Verstöße ist die Verhängung von empfindlichen Geldbußen möglich. Im Übrigen können KI-VO Verstöße weitere Ansprüche, zum Beispiel Ansprüche nach der DSGVO oder zivilrechtliche Schadensersatzansprüche auslösen. Teilweise werden Verstöße gegen die KI-VO zugleich die Mangelhaftigkeit des angebotenen KI-Systems begründen.
VI. Ausblick
Jeder Akteur, der KI-Systeme mit nicht nur minimalem Risiko in der EU in Verkehr bringt oder nutzt, wird in bestimmtem Umfang zusätzlichen Compliance-Pflichten unterliegen. Dazu gehören mindestens die zeitnahe Schaffung von KI-Kompetenz sowie Transparenzpflichten.
Als erster Schritt der Auseinandersetzung wird eine Inventarisierung von KI-Systemen in einem Verzeichnis, mit dem eingesetzte KI im Unternehmen systematisch erfasst und dokumentiert wird, erfolgen müssen. Dazu wird unter anderem die Bezeichnung des Tools, dessen Funktionsweise und vorgesehene Anwendungsbereiche, Beteiligte im Unternehmen, Datenquellen sowie die etwaige Verarbeitung personenbezogener Daten gehören.
Auf jener Basis kann eine erste Kategorisierung mitsamt der Bestimmung sich ergebender Compliance-Pflichten erfolgen. Auch wenn die KI-VO, anders als zum Beispiel im Datenschutz mit der Bestellung eines Datenschutzbeauftragten, nicht zwingend die Bestellung eines KI-Beauftragten voraussetzt, liegt es organisatorisch nahe, im Unternehmen einen geschulten Verantwortlichen mit einer Schnittstelle zu Legal, Datenschutz und IT zu bestimmen. Ergibt sich im Rahmen der Kategorisierung, dass Hochrisiko-KI-Systeme oder gar verbotene KI-Systeme im Unternehmen vorhanden sind, sind zur Erfüllung der Anforderungen der KI-VO umfangreiche Compliance-Maßnahmen zu erfüllen.
Unter Berücksichtigung der Ergebnisse der Inventarisierung und einer ersten Kategorisierung der eingesetzten KI-Systeme ist bereits jetzt die Schaffung ausreichender KI-Kompetenz, Art. 4 KI-VO, durch hinreichende Schulungen betroffener Mitarbeiter im Unternehmen geboten.
