Umgang mit KI an der Hochschule Trier

Die neue EU-Verordnung zur Künstlichen Intelligenz (EU AI Act) soll sicherstellen, dass KI-Systeme in Europa verantwortungsvoll eingesetzt werden – also sicher, vertrauenswürdig und im Einklang mit den Grundrechten.

Für unsere Hochschule heißt das: Wir alle – ob in der Lehre, in der Verwaltung oder im Studium – sollten wissen, worauf beim Einsatz von KI-Systemen zu achten ist. Diese Systeme werden zunehmend in unserem Arbeitsalltag verwendet, ob bei der Textgenerierung, Programmierung, bei automatisierten Entscheidungen oder im Umgang mit sensiblen Daten.

Einige Regelungen des EU AI Act gelten bereits jetzt, weitere Pflichten werden schrittweise eingeführt. Daher ist jetzt der richtige Zeitpunkt sich mit dem Thema genauer auseinanderzusetzen. 

Der Gültigkeitsbereich der Verordnung bezogen auf Forschung ist in Artikel II Absatz 6 wie folgt beschrieben: „Diese Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ergebnisse, die speziell für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.“ 

Solange Sie ein KI-System rein zu Forschungszwecken entwickeln und es nicht für den produktiven Einsatz freigeben (also auch nicht für Tests unter realen Bedingungen), müssen Sie den EU AI Act nicht (vollständig) beachten. Sobald das System aber in der Praxis eingesetzt oder veröffentlicht wird, wenn auch nur zu Testzwecken, gelten die Vorgaben – z. B. zu Risikoklassen, Transparenz oder Aufsicht. Der EU AI Act macht weitere Ausnahmen in der Forschung möglich, welche im Einzelnen zwischen dem Anbieter der KI, der zuständigen Behörde (z.B. Bundesnetzagentur oder Bundesamt für Sicherheit in der Informationstechnik) und dem Betreiber der KI abgestimmt werden müssen (siehe auch „regulatory sandbox“) (siehe Artikel 3 Definitionen Absatz 54 und 55).

Der EU AI Act gilt nicht für KI-Systeme oder KI-Modelle, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden. Auch Forschungs-, Test- und Entwicklungstätigkeiten an KI-Systemen oder -Modellen, bevor sie in Verkehr gebracht oder in Betrieb genommen werden, sind ausgenommen.

Wichtig: Diese Ausnahmegiltnicht für „Tests unter Realbedingungen“ (Real-World Testing). Wenn Sie ChatGPT oder ähnliche Tools also nicht selbst entwickeln, sondern diese für Ihre Forschung (z.B. Literaturrecherche, Textgenerierung für Entwürfe) nutzen, ist zu prüfen, ob dies als rein persönliche/nicht-berufliche Nutzung oder als professionelle Nutzung im Rahmen einer breiteren Forschungstätigkeit gilt. Wenn es sich um die Anwendung eines bereits auf dem Markt verfügbaren Tools handelt, fallen die unten genannten Transparenzpflichten an, sofern die Nutzung in einem professionellen Kontext erfolgt.

Bei Fragen zu Forschungsvorhaben, wenden Sie sich bitte an die Senatsbeauftragte Person für KI der Hochschule Trier.

Wenn Sie ein KI-System im Rahmen Ihrer Arbeit, Forschung, Lehre oder Verwaltung einsetzen, gelten Sie nach dem EU AI Act als „Betreiber“ und tragen damit die Verantwortung.
Nur wenn Sie ein KI-System rein privat und außerhalb Ihrer beruflichen Tätigkeit nutzen – zum Beispiel zu Hause für persönliche Zwecke – gelten Sie nicht als Betreiber im Sinne der Verordnung.

Als Anwender von KI-Tools ergeben sich für Sie als Betreiber bestimmte Pflichten.

Der EU AI Act klassifiziert KI-Systeme nach ihrem Risikograd. Generative KI-Systeme wie ChatGPT werden generell nicht als Hochrisiko-KI-Systeme eingestuft. Sie fallen stattdessen unter die Kategorie der „KI-Systeme mit begrenztem Risiko“ oder „KI-Modelle mit allgemeinem Verwendungszweck“ (General Purpose AI - GPAI) und unterliegen spezifischen Transparenzpflichten sowie der Einhaltung des Urheberrechts.

Hier sind die wichtigsten Pflichten, die sich für Sie als Anwender im professionellen Kontext einer Hochschule ergeben:

Transparenzpflichten

Machen Sie sichtbar, wenn Personen mit einem KI-System interagieren

Wenn Sie ein KI-System nutzen, das für die direkte Interaktion mit natürlichen Personen bestimmt ist (wie Chatbots), müssen Sie sicherstellen, dass die betreffenden Personen darüber informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ist unter den gegebenen Umständen offensichtlich.

Kennzeichnen Sie generierte oder manipulierte Inhalte 

• Wenn Sie ein KI-System verwenden, um Bild-, Audio- oder Videoinhalte zu erzeugen oder zu manipulieren, die „Deepfakes“ sind (d.h. echten Personen, Objekten, Orten, Einrichtungen oder Ereignissen täuschend ähnlich sind und einer Person fälschlicherweise als echt oder wahr erscheinen würden), müssen Sie klar und deutlich offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Dies geschieht durch eine entsprechende Kennzeichnung der KI-Ausgaben und einem Hinweis auf ihren künstlichen Ursprung.
   
• Diese Pflicht gilt auch für durch KI erzeugte oder manipulierte Texte, die veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren.
  • Eine Ausnahme besteht, wenn die KI-generierten Inhalte einer menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung trägt. In diesem Fall müssen Sie nicht angeben, dass (Teile der) Inhalte KI-generiert sind.
     
• Für Inhalte, die offensichtlich Teil eines kreativen, satirischen, künstlerischen, fiktionalen Werkes oder Programms sind, beschränkt sich die Transparenzpflicht auf eine angemessene Offenlegung des Vorhandenseins solcher Inhalte, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.

Diese Informationen müssen spätestens zum Zeitpunkt der ersten Interaktion oder des ersten Kontakts klar und eindeutig bereitgestellt werden und den geltenden Barrierefreiheitsanforderungen entsprechen.
 

Prüfungen an der Hochschule: Die Kennzeichnung der Verwendung von KI-generierten Inhalten bei der Erstellung prüfungsrelevanter Inhalte wie Hausarbeiten, Projektarbeiten oder Abschlussarbeiten wird derzeit durch individuelle Regelungen und Vorgaben der jeweiligen Fachbereiche der Hochschule geregelt. Der Senatsausschuss für Künstliche Intelligenz und Medien arbeitet an aktuellen Anpassungen. Wenden Sie sich bei Fragen zu diesem Punkt an das Dekanat des jeweiligen Fachbereichs.

KI und Urheberrecht

Anbieter von KI-Modellen mit allgemeinem Verwendungszweck müssen eine Strategie zur Einhaltung des EU-Urheberrechts umsetzen, insbesondere im Hinblick auf die Identifizierung und Einhaltung von Vorbehaltsrechten für Text- und Data-Mining. Obwohl dies primär eine Anbieterpflicht ist, sollten Sie als Anwender an einer Hochschule, der solche Tools nutzt, sich dieser Anforderung bewusst sein und sicherstellen, dass Ihre Nutzung im Einklang mit den geltenden Urheberrechtsbestimmungen steht – etwa indem Sie kein urheberrechtlich geschütztes Lehrbuch-PDF in ein KI-Tool hochladen, um es zusammenfassen zu lassen.

Zusammenfassend lässt sich sagen, dass Ihre Hauptpflicht als Anwender von ChatGPT oder ähnlichen KI-Tools an einer Hochschule, sofern Sie diese in einem professionellen Kontext nutzen, darin besteht, transparent zu machen, wann Inhalte von KI generiert oder manipuliert wurden, insbesondere bei der Veröffentlichung für die Öffentlichkeit oder bei Deepfakes, und die Urheberrechtsbestimmungen zu beachten.

Um fundierte Entscheidungen über KI-Systeme treffen zu können und die demokratische Kontrolle zu gewährleisten, ist "KI-Kompetenz" entscheidend. Diese Kompetenz umfasst das Verständnis für die korrekte Anwendung technischer Elemente, die nötigen Maßnahmen bei der Nutzung und die angemessene Interpretation der Ausgaben von KI-Systemen.

Die Hochschule Trier ergreift derzeit mehrere Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal, das mit der Verwendung und Nutzung von KI befasst ist, über eine ausreichende einsatzbezogene KI-Kompetenz verfügt. Im Rahmen des Projektes KI-Rollout wurden bereits entsprechende Schulungen/Workshops angeboten. Dieses Angebot wird weiterhin regelmäßig zur Verfügung stehen und zusätzlich um ein spezifisches Schulungsangebot für Studierende erweitert. Aktuelle Informationen hierzu werden hier veröffentlicht.

Ergänzend stehen landesweit die Angebote des Virtuellen Campus Rheinland-Pfalz (VCRP; www.vcrp.de) zur Verfügung; diese können die hochschulinternen Maßnahmen sinnvoll ergänzen.

Im Folgenden haben wir etwas detaillierter den Umgang mit hochrisiko-KI-Systemen, verbotenen KI-Systemen und den Umgang mit KI-generierten Inhalten beschrieben.
Zur Einschätzung, ob ein System ein KI-System ist und welcher Risikoeinstufung es gegebenenfalls unterliegt, ist der EU AI Act Compliance Checker (Link: https://artificialintelligenceact.eu/de/bewertung/eu-ai-act-compliance-checker/) verfügbar. 

Der EU AI Act Compliance Checker

Der EU AI Act Compliance Checker ist ein interaktives Online-Tool, das vom Team des Future of Life Institute (FLI) entwickelt wurde, um Unternehmen und Nutzern dabei zu helfen, festzustellen, ob ihr KI-System von den Verpflichtungen des EU-Gesetzes über künstliche Intelligenz (EU AI Act, Verordnung (EU) 2024/1689, Fassung vom 13. Juni 2024) betroffen ist. Das Tool ist nicht mit der Europäischen Union verbunden. Darüber hinaus gibt es weitere Anbieter solcher Systeme. An dieser Stelle ist nur dieses Werkzeug genannt.

Nutzen der Anwendung 
Die Nutzung der Anwendung erfolgt durch ein interaktives Frageformular, das den Nutzer durch eine Reihe von Fragen führt, um den Umfang der für sein spezifisches KI-System geltenden Vorschriften zu bestimmen. Das Tool wird regelmäßig aktualisiert, um Änderungen im Gesetzestext und neue Anwendungsfälle zu berücksichtigen. Das Tool basiert auf dem offiziellen Text des EU AI Act (Verordnung (EU) 2024/1689) vom 13. Juni 2024. Für die Zusendung der Ergebnisse per E-Mail werden die eingegebenen Daten und die E-Mail-Adresse gespeichert; andernfalls werden keine Daten gespeichert. 

Ergebnis der Anwendung 
Das Ergebnis ist eine Einschätzung, ob und inwiefern das eingegebene KI-System von den Verpflichtungen des EU AI Act betroffen ist. Dies basiert auf der Risikoklassifizierung des KI-Systems, die in folgende Kategorien fallen kann: unannehmbares Risiko (verboten), hohes Risiko, begrenztes Risiko oder minimales Risiko. Das Tool zeigt anschließend die konkreten Pflichten und Anforderungen an, die sich aus dieser Klassifizierung ergeben.

KI-Systeme mit unannehmbarem Risiko
Einige KI-Systeme sind aufgrund ihrer inhärenten Risiken verboten:

1. Emotionale Zustände erkennen: Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die den emotionalen Zustand von Einzelpersonen am Arbeitsplatz oder im Bildungsbereich ableiten sollen, ist verboten.
2. Gesichtserkennungsdatenbanken: KI-Systeme, die Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder Videoüberwachungsaufnahmen erstellen oder erweitern, sind verboten, da dies das Gefühl der Massenüberwachung verstärkt und die Grundrechte verletzen kann.
3. Social Scoring: Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen zur Bewertung oder Einstufung von natürlichen Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften ist verboten.

Weitere KI-Systeme mit unannehmbarem Risiko sind in „Artikel 5: Verbotene AI-Praktiken“ (https://artificialintelligenceact.eu/de/article/5/) aufgelistet. An dieser Stelle wird auf eine Wiederholung dieser Liste verzichtet. 

Eines vorweg zu diesem Punkt: Forschung ist hiervon nicht betroffen. Es geht hier primär um das „Inverkehrbringen“ oder die „Inbetriebnahme“ und nicht um die Erforschung eines solchen Systems.

Falls Sie auf Basis der Analyse Ihres KI-Systems unsicher hinsichtlich der Risikoeinschätzung sind, so wenden Sie sich an die Senatsbeauftragte Person für KI.

Hochrisiko-KI-Systeme in Bildung und Beschäftigung
Bestimmte KI-Systeme werden aufgrund ihrer potenziellen Auswirkungen als "Hochrisiko-KI-Systeme" eingestuft. Diese unterliegen strengeren Anforderungen. Für Hochschulen sind insbesondere folgende Anwendungsbereiche relevant:

• Bildung und Berufsbildung: KI-Systeme, die verwendet werden, um den Zugang oder die Zulassung zu Bildungseinrichtungen zu bestimmen, Lernergebnisse zu beurteilen, das angemessene Bildungsniveau zu bewerten oder das Verhalten von Personen während Prüfungen zu überwachen, gelten als hochriskant. Eine unsachgemäße Nutzung solcher Systeme kann das Recht auf Bildung und Nichtdiskriminierung verletzen.
• Beschäftigung und Personalmanagement: KI-Systeme, die für die Einstellung oder Auswahl von Personal (z.B. Sichtung von Bewerbungen), für Entscheidungen über Arbeitsbedingungen, Beförderung oder Beendigung von Arbeitsverhältnissen, die Zuweisung von Arbeitsaufgaben oder die Überwachung und Bewertung von Mitarbeitenden verwendet werden, sind ebenfalls hochriskant. Solche Systeme können Diskriminierungsmuster fortschreiben oder das Recht auf Datenschutz und Privatsphäre untergraben.

Wenn Sie ein Hochrisiko-KI-System verwenden:

• Sie, als Betreiber, müssen geeignete technische und organisatorische Maßnahmen ergreifen, um das System gemäß der Betriebsanleitung zu verwenden und dessen Funktion zu überwachen.
• Sie sollten Informations- und Aufzeichnungspflichten erfüllen.
• Sie müssen sicherstellen, dass die Personen, die das System bedienen oder beaufsichtigen, die erforderliche Kompetenz, Schulung und Befugnis besitzen.
• Bevor ein Hochrisiko-KI-System in Betrieb genommen wird (insbesondere durch öffentliche Einrichtungen oder private Einrichtungen, die öffentliche Dienste wie Bildung anbieten), muss eine Grundrechte-Folgenabschätzung durchgeführt werden. Ziel ist es, spezifische Risiken für Personen oder Personengruppen zu identifizieren und Maßnahmen zur Risikominderung festzulegen. Die „zuständige Marktüberwachungsbehörde“ muss über diese Abschätzung informiert werden.
• Arbeitgeber müssen Arbeitnehmer und deren Vertreter informieren, wenn sie einem Hochrisiko-KI-System am Arbeitsplatz unterliegen werden.
• Personen, die von Entscheidungen betroffen sind, die maßgeblich auf den Ausgaben eines Hochrisiko-KI-Systems beruhen und erhebliche negative Auswirkungen auf ihre Gesundheit, Sicherheit oder Grundrechte haben, haben ein Recht auf Erklärung. Die Erklärung soll klar und aussagekräftig sein.

Umgang mit KI-generierten Inhalten (Deepfakes und Texte)

Die Verordnung adressiert ebenfalls die Zunahme von KI-generierten Inhalten.

• Transparenzpflicht: Wenn Sie ein KI-System verwenden, um Bild-, Audio- oder Videoinhalte zu erzeugen oder zu manipulieren, die echten Personen oder Ereignissen ähneln und fälschlicherweise als echt erscheinen könnten (Deepfakes), müssen Sie klar und deutlich offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.
• KI-generierter Text: Wenn KI-Systeme Text erzeugen oder manipulieren, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, muss offengelegt werden, dass der Text künstlich erzeugt oder manipuliert wurde. Dies gilt nicht, wenn der Inhalt menschlich überprüft oder redaktionell kontrolliert wurde und eine natürliche oder juristische Person die redaktionelle Verantwortung trägt.

Qualität und Dokumentation

• Datenqualität: Hochwertige Trainings-, Validierungs- und Testdatensätze sind entscheidend, um sicherzustellen, dass KI-Systeme sicher und bestimmungsgemäß funktionieren und keine Diskriminierung verursachen. Daten sollten relevant, repräsentativ, fehlerfrei und vollständig sein und mögliche Verzerrungen (Bias) minimieren, die zu Diskriminierung führen könnten.
• Technische Dokumentation: Für Hochrisiko-KI-Systeme muss der Anbieter eine technische Dokumentation erstellen und aktuell halten, die alle erforderlichen Informationen enthält, um die Konformität des Systems zu beurteilen und die Beobachtung nach dem Inverkehrbringen zu erleichtern. Diese Dokumentation muss die Merkmale, Fähigkeiten und Grenzen des Systems, verwendete Algorithmen und Daten sowie die Ergebnisse von Trainings- und Testverfahren umfassen.
• Protokollierung: Hochrisiko-KI-Systeme müssen technisch die automatische Aufzeichnung von Ereignissen (Protokolle) während ihrer Lebensdauer ermöglichen, um die Nachvollziehbarkeit zu gewährleisten. Wir werden zeitnah die notwendigen Formulare zur Verfügung stellen. Hierzu stehen wir mit dem KI Büro (AI Office) der EU in Kontakt.

Unterstützung und Aufsicht

• Es wird ein Europäisches Gremium für Künstliche Intelligenz (KI-Gremium) und ein Büro für Künstliche Intelligenz (KI-Büro) eingerichtet werden, die die Kommission bei der Förderung der KI-Kompetenz und der Sensibilisierung unterstützen sollen.
• Das Büro für Künstliche Intelligenz wird auch praktische Leitfäden zur Anwendung der Verordnung ausarbeiten.
• Es ist eine EU-Datenbank für Hochrisiko-KI-Systeme vorgesehen, die von der Kommission verwaltet wird. Anbieter von Hochrisiko-KI-Systemen, die nicht unter andere EU-Harmonisierungsrechtsvorschriften fallen, und solche, die eine Ausnahme für ein eigentlich hochriskantes System in Anspruch nehmen, müssen sich und ihr System dort registrieren. Betreiber, die Behörden sind, müssen sich ebenfalls registrieren, wenn sie solche Systeme nutzen. Dieser öffentliche Teil der Datenbank soll leicht zugänglich und verständlich sein.

Indem alle Hochschulangehörigen sich mit diesen Grundsätzen und Pflichten vertraut machen, kann die Hochschule eine vertrauenswürdige und ethisch verantwortungsvolle Nutzung von KI-Systemen im Lehr-, Lern- und Verwaltungsalltag gewährleisten.

Urteil zur fairen Nutzung (Fair Use): Ein US-Bezirksgericht hat entschieden, dass das Training von großen Sprachmodellen (LLMs) mit urheberrechtlich geschützten Büchern "faire Nutzung" (fair use) darstellt. Autoren hatten Anthropic verklagt, weil das Unternehmen seine Modelle ohne Erlaubnis auf ihren Büchern trainiert hatte. Richter Alsup stellte fest, dass dies "nicht anders wäre, als wenn sie sich darüber beschweren würden, dass das Training von Schulkindern zu gutem Schreiben zu einer Explosion konkurrierender Werke führen würde". Das Urteil besagt, dass es in Ordnung ist, Modelle auf rechtmäßig erworbenen Daten zu trainieren, um transformative Ausgaben zu erzeugen, und dass die Umwandlung von gedruckten Büchern in digitale Form für diesen Zweck ebenfalls faire Nutzung ist. Ein wichtiger Punkt ist jedoch, dass die Verwendung von piratiertem Material (z.B. von Piraten-Websites heruntergeladene Texte) nicht als faire Nutzung gilt und LLM-Anbieter ihre Praktiken in dieser Hinsicht überprüfen müssen. Das Urteil wird als positiv für den KI-Fortschritt betrachtet, da es die Ambiguität in Bezug auf KI-Training und Urheberrecht reduziert und den Fahrplan für die Compliance klarer macht

(Link: info.deeplearning.ai/judge-rules-training-ai-on-copyrighted-works-is-fair-use-agentic-biology-evolves-meta-befriends-alexandr-wang-1

Free AI Detector by Grammarly
Hierbei handelt es sich um einen KI-Checker, der darauf trainiert ist, KI-generierten Text zu erkennen. Das Ergebnis zeigt an, wie viel der eingegebenen Daten mit einer gewissen Wahrscheinlichkeit mit KI geschrieben wurde. Hier wird keine Aussage zur Zuverlässigkeit dieser Prüfung gegeben.

VRCP Show + Share Challgenges KI-Tools (Challenge #7 und #7a)

Die EU-KI-Verordnung (Verordnung (EU) 2024/1689), die am 13. Juni 2024 verabschiedet wurde, ist die weltweit erste umfassende Gesetzgebung zur Regulierung der künstlichen Intelligenz. Ihr Hauptzweck ist es, das Funktionieren des Binnenmarktes zu verbessern, indem ein harmonisierter Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Nutzung von KI-Systemen in der Europäischen Union geschaffen wird. Dies soll die Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen KI fördern und gleichzeitig ein hohes Schutzniveau für Gesundheit, Sicherheit und Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, vor schädlichen Auswirkungen von KI-Systemen gewährleisten. Zudem zielt die Verordnung darauf ab, Innovationen zu unterstützen, insbesondere für kleine und mittlere Unternehmen (KMU) und Start-ups in Europa.

Die EU-KI-Verordnung (Verordnung (EU) 2024/1689) ist offiziell am 1. August 2024 in Kraft getreten. Der Gesetzestext wurde bereits am 12. Juli 2024 im Amtsblatt der Europäischen Union veröffentlicht. 

Die Verordnung sieht einen gestaffelten Geltungsbeginn vor. Das bedeutet, die meisten Verpflichtungen werden erst schrittweise in den kommenden Jahren anwendbar.

Ab 2. Februar 2025: Die Verbote von KI-Systemen mit inakzeptablen Risiken (z.B. KI für "Social Scoring" oder bestimmte Formen der Emotionserkennung) werden verbindlich.

Ab 2. August 2025: Die Regeln für KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI Models - GPAI), die Grundlagen der Governance-Struktur (wie das KI-Büro oder das KI-Board) sowie die allgemeinen Bestimmungen zu Sanktionen treten in Kraft. Dazu zählen u. a. technische Dokumentation, Urheberrechtsregelungen und ein Bericht über Trainingsdaten.

Ab 2. August 2027: Die allgemeinen Pflichten für Hochrisiko-KI-Systeme werden anwendbar. Dies betrifft Systeme, die beispielsweise in der Bildung zur Bewertung von Lernergebnissen oder zur Steuerung des Lernprozesses eingesetzt werden.

ISO7IEC 42001:2023 ist eine internationale Norm, die Anforderungen und Leitlinien für ein KI Managementsystem definiert. Siehe auch https://www.iso.org/standard/4200. Diese Norm kann als nützliches Instrument dienen, um Anforderungen des AI-Acts zu erfüllen. Die Einhaltung ist jedoch nicht verpflichtend.

Kontaktieren Sie in diesem Fall ihre EU-AI Act beauftragte Person.

Die EU-KI-Verordnung verfolgt einen risikobasierten Ansatz zur Klassifizierung von KI-Systemen. Die Art und der Umfang der Vorschriften richten sich nach dem potenziellen Risiko, das von den Systemen ausgehen kann. 

Es gibt vierHauptrisikostufen:

Unannehmbares Risiko: Diese KI-Systeme sind verboten, da sie eine klare Bedrohung für die Grundrechte darstellen. Beispiele hierfür sind kognitive Verhaltensmanipulation, soziale Scoring-Systeme, biometrische Kategorisierung sensibler Attribute (wie Rasse oder politische Meinungen), und Echtzeit-Biometrische Fernidentifizierung in öffentlich zugänglichen Räumen (mit sehr begrenzten Ausnahmen für Strafverfolgungszwecke in schwerwiegenden Fällen).

Hohes Risiko: Diese Systeme haben das Potenzial, die Gesundheit, Sicherheit oder Grundrechte erheblich zu beeinträchtigen. Sie unterliegen strengen Anforderungen vor dem Inverkehrbringen und während ihres gesamten Lebenszyklus. Beispiele für Hochrisiko-KI-Systeme umfassen solche, die als Sicherheitskomponenten in Produkten (z.B. medizinische Geräte, Autos) verwendet werden, oder in kritischen Infrastrukturen, Bildung, Beschäftigung, Zugang zu wesentlichen Dienstleistungen, Strafverfolgung, Migration und Justiz eingesetzt werden.

Begrenztes Risiko: Systeme mit begrenztem Risiko unterliegen leichteren Transparenzpflichten. Dazu gehören KI-Systeme, die mit Menschen interagieren (z.B. Chatbots), oder die Inhalte generieren oder manipulieren (z.B. Deepfakes). Die Nutzer müssen darüber informiert werden, dass sie mit einer KI interagieren oder dass Inhalte KI-generiert sind.

Minimales Risiko: Die meisten KI-Anwendungen fallen in diese Kategorie und sind weitgehend unreguliert, wie z.B. KI-gesteuerte Videospiele oder Spam-Filter. Es wird davon ausgegangen, dass sie nur ein minimales oder gar kein Risiko darstellen.

Für KI-Systeme mit begrenztem Risiko und generative KI-Modelle wie ChatGPT gelten spezifische Transparenzanforderungen:

Interaktion mit KI: Nutzer müssen darüber informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus den Umständen offensichtlich.

Generierte Inhalte: Anbieter von KI-Systemen, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, müssen sicherstellen, dass diese Ausgaben in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Dies gilt auch für "Deepfakes", bei denen der KI-generierte oder -manipulierte Inhalte so klar wie möglich offengelegt werden müssen, es sei denn, er ist Teil eines offensichtlich künstlerischen, satirischen oder fiktionalen Werks.
Bei der Generierung von Textinhalten entfällt die Kennzeichnungspflicht, wenn eine manuelle Kontrolle (ein Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle) erfolgt ist. Falls KI-generierte Texte automatisiert veröffentlich werden, so muss der Text als KI-generiert erkennbar sein.

Urheberrecht und Trainingsdaten: Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI-Modellen) müssen eine Strategie zur Einhaltung des EU-Urheberrechts umsetzen und eine ausreichend detaillierte Zusammenfassung der für das Training verwendeten urheberrechtlich geschützten Inhalte veröffentlichen.

GPAI-Modelle sind KI-Modelle, die eine erhebliche allgemeine Verwendbarkeit aufweisen und eine breite Palette unterschiedlicher Aufgaben erfüllen können. Für alle Anbieter von GPAI-Modellen gelten bestimmte Pflichten:

Technische Dokumentation: Erstellung und Aktualisierung technischer Dokumentationen, einschließlich Trainings- und Testergebnisse.

Informationen für Downstream-Anbieter: Bereitstellung von Informationen und 
Dokumentationen, die es Downstream-Anbietern von KI-Systemen ermöglichen, die Fähigkeiten und Grenzen des GPAI-Modells zu verstehen und ihre eigenen Verpflichtungen zu erfüllen.

Urheberrecht: Einführung einer Strategie zur Einhaltung des EU-Urheberrechts.

Trainingsdaten-Zusammenfassung: Veröffentlichung einer detaillierten Zusammenfassung der für das Training des Modells verwendeten Inhalte.

Systemische Risiken: GPAI-Modelle, die ein systemisches Risiko darstellen, unterliegen zusätzlichen strengen Anforderungen. Ein Modell wird als systemisch eingestuft, wenn die kumulierte Rechenleistung für sein Training 10^25 FLOPS (Floating Point Operations Per Second) übersteigt oder wenn die Kommission aufgrund spezifischer Kriterien feststellt, dass es über hochwirksame Fähigkeiten oder Auswirkungen verfügt. Anbieter solcher Modelle müssen:

Modellbewertungen und Angriffstests durchführen, um systemische Risiken zu identifizieren und zu mindern.

Mögliche systemische Risiken bewerten und mindern.

Schwerwiegende Vorfälle verfolgen, dokumentieren und der Europäischen Kommission und den zuständigen nationalen Behörden melden.

Ein angemessenes Maß an Cybersicherheit gewährleisten.

Die Verordnung sieht einen umfassenden Governance-Rahmen vor:

EU-KI-Büro: Innerhalb der Europäischen Kommission wird ein KI-Büro eingerichtet, das Fachwissen und Kapazitäten im Bereich der KI entwickelt und zur Umsetzung der Verordnung beiträgt, insbesondere zur Überwachung von GPAI-Modellen.

Europäisches Gremium für künstliche Intelligenz (AI-Board): Dieses Gremium setzt sich aus Vertretern der Mitgliedstaaten zusammen und berät die Kommission und die Mitgliedstaaten bei der einheitlichen und wirksamen Anwendung der Verordnung, fördert die Koordinierung und den Austausch bewährter Verfahren.

Wissenschaftliches Gremium unabhängiger Sachverständiger: Dieses Gremium unterstützt das KI-Büro bei der Überwachung und Durchsetzung, insbesondere bei der Identifizierung und Bewertung von systemischen Risiken bei GPAI-Modellen.

Nationale zuständige Behörden: Jeder Mitgliedstaat muss mindestens eine notifizierende Behörde (für Konformitätsbewertungsstellen) und eine Marktüberwachungsbehörde (zur Überwachung der Einhaltung der Vorschriften) benennen.

EU-Datenbank für Hochrisiko-KI-Systeme: Eine öffentlich zugängliche Datenbank wird eingerichtet, in der Anbieter Informationen über ihre Hochrisiko-KI-Systeme registrieren müssen. Sensible Informationen für Strafverfolgungszwecke werden in einem sicheren, nicht öffentlichen Teil gespeichert.

Sanktionen: Die Mitgliedstaaten müssen wirksame, verhältnismäßige und abschreckende Sanktionen für Verstöße festlegen, einschließlich hoher Geldstrafen, insbesondere für die Missachtung verbotener KI-Praktiken oder schwerwiegender Verstöße gegen die Anforderungen an Hochrisiko-KI-Systeme und GPAI-Modelle.

Um Innovationen zu fördern und Unternehmen beim Testen von KI-Systemen in einer kontrollierten Umgebung zu unterstützen, sieht die Verordnung zwei Konzepte vor:

KI-Reallabore (AI Sandboxes): Die Mitgliedstaaten müssen mindestens ein KI-Reallabor einrichten, das eine kontrollierte Umgebung bietet, in der innovative KI-Systeme über einen begrenzten Zeitraum unter Aufsicht der zuständigen Behörden entwickelt, trainiert, getestet und validiert werden können, bevor sie in Verkehr gebracht werden. Ziel ist es, die Rechtssicherheit für Innovatoren zu verbessern, Risiken frühzeitig zu erkennen und den Marktzugang zu beschleunigen, insbesondere für KMU.

Tests unter Realbedingungen (Real-World Testing): Anbieter oder zukünftige Anbieter von Hochrisiko-KI-Systemen können diese auch außerhalb von KI-Reallaboren unter Realbedingungen testen. Dies erfordert jedoch die Genehmigung der Marktüberwachungsbehörde, eine klare Dokumentation des Testplans, die informierte Einwilligung der Testteilnehmer (mit Ausnahmen für die Strafverfolgung, wo der Schutz der Daten gewährleistet sein muss), und eine Begrenzung der Testdauer.

Beide Maßnahmen zielen darauf ab, regulatorisches Lernen zu ermöglichen und die Markteinführung vertrauenswürdiger KI-Systeme zu erleichtern.

Die EU-KI-Verordnung ist darauf ausgelegt, ein innovationsfreundliches Umfeld zu schaffen und KMU sowie Start-ups besonders zu unterstützen:

• Priorisierter Zugang zu Reallaboren: KMU und Start-ups mit Sitz in der EU erhalten vorrangigen Zugang zu den KI-Reallaboren.
• Sensibilisierungs- und Schulungsmaßnahmen: Mitgliedstaaten und das KI-Büro sollen spezifische Sensibilisierungs- und Schulungsmaßnahmen zur Anwendung der Verordnung anbieten, die auf die Bedürfnisse von KMU zugeschnitten sind.
• Informationskanäle: Es sollen Kanäle für die Kommunikation mit KMU und anderen Innovatoren eingerichtet werden, um Ratschläge zu geben und Fragen zur Umsetzung der Verordnung zu beantworten.
• Geringere Gebühren für Konformitätsbewertung: Bei der Festsetzung der Gebühren für die Konformitätsbewertung durch die notifizierten Stellen sollen die besonderen Interessen und Bedürfnisse von KMU berücksichtigt und die Gebühren proportional zur Unternehmensgröße gesenkt werden.
• Vereinfachte Dokumentation: Für Kleinstunternehmen können vereinfachte Verfahren zur Erfüllung bestimmter Dokumentationspflichten (z.B. Qualitätsmanagementsysteme) vorgesehen werden.

Zentrale Informationsplattform: Das KI-Büro wird eine zentrale Informationsplattform mit leicht nutzbaren Informationen zur Verordnung bereitstellen.

"Ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, die physische oder virtuelle Umgebungen beeinflussen können"(EUR-Lex Source, Art. 3(1)).

Im EU AI Act (Verordnung (EU) 2024/1689) wird KI-Kompetenz (im Englischen „AI literacy") als ein grundlegendes Element für den vertrauenswürdigen Umgang mit künstlicher Intelligenz definiert und adressiert.

Nach Artikel 3 Nummer 56 des EU AI Acts bezeichnet KI-Kompetenz: 

„die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden."

Eine natürliche oder juristische Person, die ein KI-System oder GPAI-Modell entwickelt und unter eigenem Namen in Verkehr bringt oder in Betrieb nimmt (EUR-Lex Source, Art. 3(3)).

Eine natürliche oder juristische Person, die ein KI-System in eigener Verantwortung nutzt (außer für persönliche, nicht-berufliche Zwecke) (EUR-Lex Source, Art. 3(4)).

Personenbezogene Daten über physische, physiologische oder verhaltensbezogene Merkmale einer natürlichen Person (EUR-Lex Source, Art. 3(34)).

"einen durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde" (EUR-Lex Source, Art. 3(60)).

Die "zuständige Marktüberwachungsbehörde" im Kontext des EU AI Acts ist eine nationale Behörde, die von jedem Mitgliedstaat der Europäischen Union benannt oder eingerichtet werden muss, um die Anwendung und Durchsetzung dieser Verordnung zu überwachen. Ihre Hauptaufgabe ist die Beaufsichtigung und Durchsetzung der Bestimmungen des EU AI Act, insbesondere in Bezug auf Hochrisiko-KI-Systeme.

Die zuständige Behörde ist in Form der Bundesnetzagentur identifiziert und hat ihre Arbeit (insbesondere beratend) bereits aufgenommen. Die vollständige gesetzliche Legitimation durch das nationale Begleitgesetz befindet sich in der finalen Phase.