Umgang mit KI an der Hochschule Trier

Die Informationen auf dieser Webseite berücksichtigen die Verordnung (EU) 2024/1689 in der durch die Verordnung (EU) 2026/1744 geänderten Fassung. Die Digital-Omnibus-Verordnung zur KI ist seit dem 27. Juli 2026 in Kraft. Stand dieser Informationen: 19. Oktober 2026. Die Inhalte dienen der allgemeinen Orientierung und Bildung und stellen keine Rechtsberatung dar. Maßgeblich sind die jeweils geltende EU-KI-Verordnung sowie ergänzende europäische und nationale Vorschriften. Die EU-KI-Verordnung gilt unmittelbar; nationale Vorschriften ergänzen insbesondere Zuständigkeiten und Durchsetzung.

Diese Seiten werden möglichst zeitnah entsprechend der aktuellen Anpassungen der KI-Verordnung fortgeschrieben. Zunächst haben wir uns als Hochschule darauf konzentriert, die wichtigsten Informationen für unsere Hochschule bereitzustellen. Wir sind offen für Anpassungen und freuen uns über Ihre Vorschläge.

KI im Hochschulalltag: Eine Information für alle Hochschulangehörigen

Die neue EU-Verordnung zur Künstlichen Intelligenz (EU AI Act) soll sicherstellen, dass KI-Systeme in Europa verantwortungsvoll eingesetzt werden – also sicher, vertrauenswürdig und im Einklang mit den Grundrechten.

Für unsere Hochschule heißt das: Wir alle – ob in der Lehre, in der Verwaltung oder im Studium – sollten wissen, worauf beim Einsatz von KI-Systemen zu achten ist. Diese Systeme werden zunehmend in unserem Arbeitsalltag verwendet, ob bei der Textgenerierung, Programmierung, bei automatisierten Entscheidungen oder im Umgang mit sensiblen Daten.

Einige Regelungen des EU AI Act gelten bereits jetzt, weitere Pflichten werden schrittweise eingeführt. Daher ist jetzt der richtige Zeitpunkt sich mit dem Thema genauer auseinanderzusetzen. 

KI und Forschung an der Hochschule

Der EU AI Act unterscheidet zwei Forschungsausnahmen. Nach Artikel 2 Absatz 6 gilt er nicht für KI-Systeme oder KI-Modelle einschließlich ihrer Ergebnisse, die speziell für den alleinigen Zweck wissenschaftlicher Forschung und Entwicklung entwickelt und in Betrieb genommen werden.

Artikel 2 Absatz 8 nimmt Forschungs-, Test- und Entwicklungstätigkeiten an KI-Systemen oder -Modellen vor deren Inverkehrbringen oder Inbetriebnahme aus. Tests unter Realbedingungen sind von dieser zweiten Ausnahme nicht erfasst. Die beiden Ausnahmen müssen deshalb getrennt geprüft werden.

Die Veröffentlichung eines wissenschaftlichen Papers oder von Forschungsergebnissen führt für sich genommen nicht zur Anwendung sämtlicher KI-Pflichten. Entscheidend sind insbesondere Zweckbestimmung, Bereitstellung und Nutzung des Systems oder Modells.

Wer marktübliche KI-Werkzeuge beruflich zur Literaturrecherche oder für Textentwürfe nutzt, ist nicht allein aufgrund des Forschungsbezugs ausgenommen. Die einschlägigen Pflichten hängen von der Rolle und dem konkreten Einsatz ab. Eine allgemeine Pflicht zur Kennzeichnung jeder wissenschaftlichen KI-Nutzung enthält der AI Act nicht. Vorgaben guter wissenschaftlicher Praxis und der jeweiligen Publikationsorgane bleiben zu beachten.

KI-Reallabore ermöglichen Entwicklung und Erprobung unter behördlicher Aufsicht nach den Artikeln 57 ff. Sie begründen keine frei vereinbare allgemeine Ausnahme. Datenschutz, Urheberrecht und andere einschlägige Vorschriften bleiben zu prüfen.

Wichtig: Diese Ausnahme gilt nicht für „Tests unter Realbedingungen“ (Real-World Testing). Wenn Sie ChatGPT oder ähnliche Tools also nicht selbst entwickeln, sondern diese für Ihre Forschung (z.B. Literaturrecherche, Textgenerierung für Entwürfe) nutzen, ist zu prüfen, ob dies als rein persönliche/nicht-berufliche Nutzung oder als professionelle Nutzung im Rahmen einer breiteren Forschungstätigkeit gilt. Wenn es sich um die Anwendung eines bereits auf dem Markt verfügbaren Tools handelt, fallen die unten genannten Transparenzpflichten an, sofern die Nutzung in einem professionellen Kontext erfolgt.


Bei Fragen zu Forschungsvorhaben, wenden Sie sich bitte an die Senatsbeauftragte Person für KI der Hochschule Trier.

Einsatz von KI-Tools (z.B. ChatGPT) an der Hochschule

Wer ein KI-System unter eigener Verantwortung einsetzt, kann Betreiber im Sinne des EU AI Act sein. Bei einem institutionell verantworteten Einsatz ist regelmäßig die Hochschule Betreiberin; Beschäftigte handeln dann im Rahmen der festgelegten Zuständigkeiten. Die rechtliche Rolle ist für die konkrete Anwendung zu bestimmen. Rein persönliche, nicht berufliche Nutzung natürlicher Personen ist von den Betreiberpflichten ausgenommen.

Die Risikoeinstufung richtet sich nach Zweckbestimmung und Einsatz des Systems. Ein KI-Modell mit allgemeinem Verwendungszweck (GPAI-Modell) ist keine eigene Risikostufe. Ein darauf aufbauendes System kann etwa als allgemeine Schreibhilfe genutzt werden oder bei einem Einsatz zur Bewerberauswahl beziehungsweise Leistungsbewertung Hochrisiko-Vorschriften auslösen.

Die folgenden Hinweise unterscheiden deshalb Pflichten von Anbietern und Betreibern. Beim Entwickeln oder Bereitstellen eigener Anwendungen unter dem Namen der Hochschule sind zusätzlich mögliche Anbieterpflichten zu prüfen.

Hier sind die wichtigsten Pflichten, die sich für Sie als Anwender im professionellen Kontext einer Hochschule ergeben:

Transparenzpflichten

Machen Sie sichtbar, wenn Personen mit einem KI-System interagieren

Artikel 50 Absatz 1 richtet sich an Anbieter: Sie müssen Systeme zur direkten Interaktion mit Menschen so gestalten, dass die Betroffenen über die KI-Interaktion informiert werden, sofern dies nicht aus den Umständen offensichtlich ist. Für eigene Hochschul-Chatbots ist zu prüfen, ob die Hochschule zugleich Anbieterin ist. Ein klarer Hinweis sollte unmittelbar in der Benutzeroberfläche stehen, spätestens bei der ersten Interaktion.

Kennzeichnen Sie generierte oder manipulierte Inhalte 

  • Wenn Sie ein KI-System verwenden, um Bild-, Audio- oder Videoinhalte zu erzeugen oder zu manipulieren, die „Deepfakes“ sind (d.h. echten Personen, Objekten, Orten, Einrichtungen oder Ereignissen täuschend ähnlich sind und einer Person fälschlicherweise als echt oder wahr erscheinen würden), müssen Sie klar und deutlich offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Dies geschieht durch eine entsprechende Kennzeichnung der KI-Ausgaben und einem Hinweis auf ihren künstlichen Ursprung.
     
  • Diese Pflicht gilt auch für durch KI erzeugte oder manipulierte Texte, die veröffentlicht werden, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren.
    • Eine Ausnahme besteht, wenn die KI-generierten Inhalte einer menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung trägt. In diesem Fall müssen Sie nicht angeben, dass (Teile der) Inhalte KI-generiert sind.
       
  • Für Inhalte, die offensichtlich Teil eines kreativen, satirischen, künstlerischen, fiktionalen Werkes oder Programms sind, beschränkt sich die Transparenzpflicht auf eine angemessene Offenlegung des Vorhandenseins solcher Inhalte, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.

Diese Informationen müssen spätestens zum Zeitpunkt der ersten Interaktion oder des ersten Kontakts klar und eindeutig bereitgestellt werden und den geltenden Barrierefreiheitsanforderungen entsprechen.
 

Prüfungen an der Hochschule: Die Kennzeichnung der Verwendung von KI-generierten Inhalten bei der Erstellung prüfungsrelevanter Inhalte wie Hausarbeiten, Projektarbeiten oder Abschlussarbeiten wird derzeit durch individuelle Regelungen und Vorgaben der jeweiligen Fachbereiche der Hochschule geregelt. Der Senatsausschuss für Künstliche Intelligenz und Medien arbeitet an aktuellen Anpassungen. Wenden Sie sich bei Fragen zu diesem Punkt an das Dekanat des jeweiligen Fachbereichs.

KI und Urheberrecht

Anbieter von GPAI-Modellen müssen eine Strategie zur Einhaltung des EU-Urheberrechts umsetzen, insbesondere zur Beachtung einschlägiger Rechtevorbehalte beim Text- und Data-Mining.

Auch die Nutzung von KI-Diensten muss urheberrechtlich zulässig sein. Vor dem Hochladen fremder Inhalte sind insbesondere Nutzungsrechte, gesetzliche Erlaubnisse, Lizenzbedingungen und die Verarbeitung durch den Dienst zu prüfen. Ein urheberrechtlich geschütztes Lehrbuch-PDF darf deshalb weder pauschal als erlaubt noch pauschal als verboten eingeordnet werden; entscheidend sind die konkreten Rechte und Umstände. Datenschutz und Vertraulichkeit sind zusätzlich zu beachten.

Welche weiteren Pflichten gelten, richtet sich nach Rolle und Einsatz. Artikel 50 verlangt insbesondere die Offenlegung von Deepfakes und unter bestimmten Voraussetzungen von KI-Texten zur Information der Öffentlichkeit über Angelegenheiten öffentlichen Interesses. Die Pflicht zur Förderung der KI-Kompetenz sowie besondere Pflichten bei Hochrisiko-Anwendungen sind gesondert zu beachten.

Was bietet die Hochschule zur Förderung der KI-Kompetenz an?

Die Hochschule Trier unterstützt die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen, die in ihrem Auftrag KI-Systeme betreiben oder nutzen. Die Maßnahmen berücksichtigen insbesondere Vorwissen, Erfahrung, Aus- und Fortbildung sowie Einsatzkontext und betroffene Personengruppen. Artikel 4 verlangt keine Garantie eines bestimmten individuellen Kompetenzniveaus.

Schulungen und Informationen sollen die sachkundige Nutzung und die Einschätzung von Chancen, Risiken und Grenzen unterstützen. Besondere Anforderungen an qualifizierte menschliche Aufsicht bei Hochrisiko-Systemen bleiben bestehen. Informationen zu den Angeboten erhalten Sie bei den KI-Beauftragten der Hochschule. Ergänzend können die nachfolgend verlinkten Angebote genutzt werden.

Die Hochschule Trier ergreift derzeit mehrere Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal, das mit der Verwendung und Nutzung von KI befasst ist, über eine ausreichende einsatzbezogene KI-Kompetenz verfügt. Im Rahmen des Projektes KI-Rollout wurden bereits entsprechende Schulungen/Workshops angeboten. Dieses Angebot wird weiterhin regelmäßig zur Verfügung stehen und ist um ein spezifisches Schulungsangebot für Studierende erweitert worden. Aktuelle Informationen hierzu werden hier veröffentlicht.

Ergänzend stehen landesweit die Angebote des Virtuellen Campus Rheinland-Pfalz (VCRP; www.vcrp.de) zur Verfügung; diese können die hochschulinternen Maßnahmen sinnvoll ergänzen.

Was sind verbotene bzw. hochrisiko-KI-Systeme?

Im Folgenden haben wir etwas detaillierter den Umgang mit hochrisiko-KI-Systemen, verbotenen KI-Systemen und den Umgang mit KI-generierten Inhalten beschrieben.
Zur Einschätzung, ob ein System ein KI-System ist und welcher Risikoeinstufung es gegebenenfalls unterliegt, ist der EU AI Act Compliance Checker (Link: https://artificialintelligenceact.eu/de/bewertung/eu-ai-act-compliance-checker/) verfügbar. 

Der EU AI Act Compliance Checker

Der EU AI Act Compliance Checker ist ein interaktives Online-Tool, das vom Team des Future of Life Institute (FLI) entwickelt wurde, um Unternehmen und Nutzern dabei zu helfen, festzustellen, ob ihr KI-System von den Verpflichtungen des EU-Gesetzes über künstliche Intelligenz (EU AI Act, Verordnung (EU) 2024/1689, Fassung vom 13. Juni 2024) betroffen ist. Das Tool ist nicht mit der Europäischen Union verbunden. Darüber hinaus gibt es weitere Anbieter solcher Systeme. An dieser Stelle ist nur dieses Werkzeug genannt.

Nutzen der Anwendung 
Die Anwendung führt durch Fragen zu einem möglichen KI-Einsatz und liefert eine erste Orientierung. Vor der Nutzung ist zu prüfen, welchen Rechtsstand das Werkzeug berücksichtigt. Eine rechtliche Bewertung der konkreten Anwendung wird dadurch nicht ersetzt. Für Angaben zu Datenspeicherung und Datenverarbeitung gelten die aktuellen Informationen des Anbieters.

Ergänzend stehen der AI Act Explorer und der AI Act Service Desk der Europäischen Kommission zur Verfügung.

Ergebnis der Anwendung 
Das Ergebnis ist eine Einschätzung, ob und inwiefern das eingegebene KI-System von den Verpflichtungen des EU AI Act betroffen ist. Dies basiert auf der Risikoklassifizierung des KI-Systems, die in folgende Kategorien fallen kann: unannehmbares Risiko (verboten), hohes Risiko, begrenztes Risiko oder minimales Risiko. Das Tool zeigt anschließend die konkreten Pflichten und Anforderungen an, die sich aus dieser Klassifizierung ergeben.

Verpflichtungen der einzelnen Risikoklassifizierungen eines KI-Systems

KI-Systeme mit unannehmbarem Risiko
Einige KI-Systeme sind aufgrund ihrer inhärenten Risiken verboten:

  1. Emotionale Zustände erkennen: Die Verwendung von KI-Systemen zur Ableitung von Emotionen natürlicher Personen am Arbeitsplatz oder in Bildungseinrichtungen ist grundsätzlich verboten. Gesetzlich vorgesehene Ausnahmen bestehen für medizinische oder sicherheitsbezogene Zwecke. Für die genaue Reichweite ist Artikel 5 Absatz 1 Buchstabe f maßgeblich.
  2. Gesichtserkennungsdatenbanken: KI-Systeme, die Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder Videoüberwachungsaufnahmen erstellen oder erweitern, sind verboten, da dies das Gefühl der Massenüberwachung verstärkt und die Grundrechte verletzen kann.
  3. Social Scoring: Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen zur Bewertung oder Einstufung von natürlichen Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften ist verboten. Insbesondere verboten sind die in Artikel 5 Absatz 1 Buchstabe c beschriebenen Bewertungen oder Einstufungen, wenn sie zu nachteiliger Behandlung in sachfremden sozialen Zusammenhängen oder zu ungerechtfertigter beziehungsweise unverhältnismäßiger nachteiliger Behandlung führen.

Weitere KI-Systeme mit unannehmbarem Risiko sind in „Artikel 5: Verbotene AI-Praktiken“ (https://artificialintelligenceact.eu/de/article/5/) aufgelistet. An dieser Stelle wird auf eine Wiederholung dieser Liste verzichtet. 

Zusätzliche Verbote ab 2. Dezember 2026: Artikel 5 erfasst dann auch bestimmte KI-Systeme, die ohne die erforderliche Zustimmung realistische intime oder sexuell explizite Darstellungen identifizierbarer Personen erzeugen oder manipulieren, sowie bestimmte Systeme zur Erzeugung oder Manipulation von Darstellungen sexuellen Kindesmissbrauchs. Für die genaue Reichweite, die Unterscheidung zwischen Bereitstellung und Nutzung sowie gesetzliche Ausnahmen ist Artikel 5 maßgeblich.

Eines vorweg zu diesem Punkt: Forschung ist weiterhin möglich – auch an KI-Systemen, deren Einsatz sonst verboten wäre. Voraussetzung ist, dass es tatsächlich um die wissenschaftliche Erforschung des Systems geht. Für einen Einsatz im Hochschulalltag oder Tests unter realen Bedingungen muss gesondert geprüft werden, welche Regeln gelten. Datenschutz und andere gesetzliche Vorgaben sind auch bei der Forschung zu beachten.

Falls Sie auf Basis der Analyse Ihres KI-Systems unsicher hinsichtlich der Risikoeinschätzung sind, so wenden Sie sich an die Senatsbeauftragte Person für KI.

 

Hochrisiko-KI-Systeme in Bildung und Beschäftigung
Bestimmte KI-Systeme werden aufgrund ihrer potenziellen Auswirkungen als "Hochrisiko-KI-Systeme" eingestuft. Diese unterliegen strengeren Anforderungen. Für Hochschulen sind insbesondere folgende Anwendungsbereiche relevant:

  • Bildung und Berufsbildung: Anhang III Nummer 3 erfasst insbesondere KI-Systeme zur Entscheidung über Zugang, Zulassung oder Zuweisung zu Bildungseinrichtungen, zur Bewertung von Lernergebnissen einschließlich ihrer Verwendung zur Lernsteuerung, zur Bewertung des zugänglichen Bildungsniveaus sowie zur Überwachung und Erkennung verbotenen Verhaltens bei Prüfungen. Möchten Sie KI einsetzen, um beispielsweise Bewerbungen zu bewerten, studentische Leistungen einzuschätzen, individuelle Lernwege festzulegen oder Täuschungsversuche bei Prüfungen zu erkennen? Solche Anwendungen können als Hochrisiko-KI gelten. Wenden Sie sich deshalb vor der Einführung an die KI-Beauftragten der Hochschule und melden Sie die geplante Anwendung über das KI-Meldeformular. Gemeinsam wird geklärt, welche Anforderungen gelten und was für den Einsatz vorbereitet werden muss.
  • Die reine Erstellung von Lehrmaterialien oder Übungsaufgaben fällt nicht allein deshalb unter diese Hochrisiko-Regeln. Entscheidend ist insbesondere, ob die KI einzelne Personen bewertet oder Entscheidungen über sie beeinflusst.
  • Beschäftigung und Personalmanagement: Möchten Sie KI einsetzen, um Bewerbungen zu sortieren, Bewerberinnen und Bewerber zu bewerten, die Leistung von Beschäftigten einzuschätzen oder Aufgaben anhand persönlicher Eigenschaften beziehungsweise bisherigen Verhaltens zu verteilen? Solche Anwendungen können als Hochrisiko-KI gelten. Das gilt auch, wenn ein Mensch die abschließende Entscheidung trifft. 

    Wenden Sie sich vor der Einführung an die KI-Beauftragten der Hochschule und melden Sie die geplante Anwendung über das KI-Meldeformular. Beziehen Sie auch die zuständige Personalstelle ein. Gemeinsam wird geklärt, welche Anforderungen gelten und welche weiteren Stellen beteiligt werden müssen.

    Eine reine Schreibhilfe ist anders einzuordnen: Wenn KI beispielsweise den Wortlaut einer Stellenausschreibung verbessert oder eine allgemeine Checkliste für Vorstellungsgespräche erstellt, ist das allein noch keine Hochrisiko-Anwendung. Datenschutz und Vertraulichkeit bleiben dennoch zu beachten.

    Entscheidend ist: Unterstützt die KI nur beim Formulieren und Organisieren – oder bewertet sie konkrete Menschen und beeinflusst Entscheidungen über sie? Im zweiten Fall sollten Sie den Einsatz vorab abstimmen. Ob eine Ausnahme greift, müssen Sie nicht selbst beurteilen.

Wenn Sie ein Hochrisiko-KI-System verwenden:

  • Sie, als Betreiber, müssen geeignete technische und organisatorische Maßnahmen ergreifen, um das System gemäß der Betriebsanleitung zu verwenden und dessen Funktion zu überwachen.
  • Ab dem einschlägigen Anwendungsbeginn sind die gesetzlichen Informations- und Aufzeichnungspflichten verbindlich zu erfüllen. Betreiber müssen die unter ihrer Kontrolle stehenden automatisch erzeugten Protokolle grundsätzlich mindestens sechs Monate aufbewahren, soweit andere Vorschriften nichts Abweichendes bestimmen. Bei relevanten Risiken oder schwerwiegenden Vorfällen bestehen unverzügliche Informationspflichten und gegebenenfalls die Pflicht, die Nutzung auszusetzen.
  • Sie müssen sicherstellen, dass die Personen, die das System bedienen oder beaufsichtigen, die erforderliche Kompetenz, Schulung und Befugnis besitzen.
  • Vor dem erstmaligen Einsatz eines einschlägigen Hochrisiko-Systems nach Artikel 6 Absatz 2 muss die Hochschule nach Maßgabe des Artikels 27 eine Grundrechte-Folgenabschätzung durchführen. Ausgenommen sind die dort genannten Systeme kritischer Infrastruktur. Artikel 27 erfasst nicht pauschal alle produktbezogenen Hochrisiko-Systeme nach Artikel 6 Absatz 1. Die Abschätzung beschreibt insbesondere Einsatzprozesse, betroffene Gruppen, Risiken, menschliche Aufsicht und Schutzmaßnahmen. Ihre Ergebnisse sind nach den gesetzlichen Vorgaben der zuständigen Marktüberwachungsbehörde mitzuteilen. Bereits durch eine Datenschutz-Folgenabschätzung erfüllte Teile können durch Verweise oder Übernahme berücksichtigt werden. Anwendungsbeginn und Bestandsschutz sind gesondert zu prüfen.
  • Arbeitgeber müssen Arbeitnehmer und deren Vertreter informieren, wenn sie einem Hochrisiko-KI-System am Arbeitsplatz unterliegen werden.
  • Personen, die von Entscheidungen betroffen sind, die maßgeblich auf den Ausgaben eines Hochrisiko-KI-Systems beruhen und erhebliche negative Auswirkungen auf ihre Gesundheit, Sicherheit oder Grundrechte haben, haben ein Recht auf Erklärung. Artikel 86 gewährt unter den dort genannten Voraussetzungen ein Recht auf verständliche und aussagekräftige Erklärungen zur Rolle der KI und zu den wesentlichen Entscheidungsgrundlagen. Erfasst sind bestimmte Entscheidungen auf Grundlage von Anhang-III-Hochrisiko-Systemen, die rechtliche oder ähnlich erhebliche Wirkungen für die betroffene Person haben und aus deren Sicht nachteilige Auswirkungen auf Gesundheit, Sicherheit oder Grundrechte besitzen. Gesetzliche Ausnahmen und bereits anderweitig geregelte Erklärungsrechte sind zu berücksichtigen.

 

Umgang mit KI-generierten Inhalten (Deepfakes und Texte)

Die Verordnung adressiert ebenfalls die Zunahme von KI-generierten Inhalten.

  • Transparenzpflicht: Wenn Sie ein KI-System verwenden, um Bild-, Audio- oder Videoinhalte zu erzeugen oder zu manipulieren, die echten Personen oder Ereignissen ähneln und fälschlicherweise als echt erscheinen könnten (Deepfakes), müssen Sie klar und deutlich offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.
  • KI-generierter Text: Wenn KI-Systeme Text erzeugen oder manipulieren, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, muss offengelegt werden, dass der Text künstlich erzeugt oder manipuliert wurde. Dies gilt nicht, wenn der Inhalt menschlich überprüft oder redaktionell kontrolliert wurde und eine natürliche oder juristische Person die redaktionelle Verantwortung trägt.

 

Qualität und Dokumentation

  • Datenqualität: Hochwertige Trainings-, Validierungs- und Testdatensätze sind entscheidend, um sicherzustellen, dass KI-Systeme sicher und bestimmungsgemäß funktionieren und keine Diskriminierung verursachen. Daten sollten relevant, repräsentativ, fehlerfrei und vollständig sein und mögliche Verzerrungen (Bias) minimieren, die zu Diskriminierung führen könnten.
  • Technische Dokumentation: Für Hochrisiko-KI-Systeme muss der Anbieter eine technische Dokumentation erstellen und aktuell halten, die alle erforderlichen Informationen enthält, um die Konformität des Systems zu beurteilen und die Beobachtung nach dem Inverkehrbringen zu erleichtern. Diese Dokumentation muss die Merkmale, Fähigkeiten und Grenzen des Systems, verwendete Algorithmen und Daten sowie die Ergebnisse von Trainings- und Testverfahren umfassen.
  • Protokollierung: Hochrisiko-KI-Systeme müssen technisch die automatische Aufzeichnung von Ereignissen (Protokolle) während ihrer Lebensdauer ermöglichen, um die Nachvollziehbarkeit zu gewährleisten. Wir werden zeitnah die notwendigen Formulare zur Verfügung stellen. Hierzu stehen wir mit dem KI Büro (AI Office) der EU in Kontakt.

 

Unterstützung und Aufsicht

  • Das europäische KI-Büro und das Europäische Gremium für Künstliche Intelligenz (KI-Gremium) sind eingerichtet. Sie unterstützen die Umsetzung und einheitliche Anwendung der Verordnung. Das KI-Büro übernimmt insbesondere Aufsichtsaufgaben für GPAI-Modelle und nach dem Omnibus bestimmte weitere KI-Systeme. Aktuelle Erläuterungen und Umsetzungshilfen stellt unter anderem der AI Act Service Desk der Europäischen Kommission bereit. Antworten auf häufige Fragen finden Sie in den FAQ der Europäischen Kommission.
  • Das Büro für Künstliche Intelligenz wird auch praktische Leitfäden zur Anwendung der Verordnung ausarbeiten.
  • Für die in Artikel 49 erfassten KI-Systeme bestehen Registrierungspflichten in der EU-Datenbank. Öffentliche Betreiber müssen bei einschlägigen Anhang-III-Hochrisiko-Systemen auch sich selbst und die Nutzung registrieren. Sonderregelungen gelten unter anderem für kritische Infrastruktur und bestimmte Sicherheitsbereiche.
  • Auch Systeme, die nach Artikel 6 Absatz 3 ausnahmsweise nicht als hochriskant eingestuft werden, bleiben registrierungspflichtig. Der Omnibus vereinfacht hierfür den Umfang der Angaben; die begründete Bewertung der Einstufung ist weiterhin zu dokumentieren. Der einschlägige Anwendungsbeginn und Übergangsregelungen sind jeweils zu berücksichtigen.

Indem alle Hochschulangehörigen sich mit diesen Grundsätzen und Pflichten vertraut machen, kann die Hochschule eine vertrauenswürdige und ethisch verantwortungsvolle Nutzung von KI-Systemen im Lehr-, Lern- und Verwaltungsalltag gewährleisten.

Interessante Links

Meldung KI-basierter Anwendungen

Die Meldung erfolgt über den folgenden Link:  https://formulare.hochschule-trier.de/formcycle/form/alias/hstr/ki-meldeformular/

Die hier beschriebene Meldung dient dem hochschulinternen Prüf- und Abstimmungsprozess. Sie ersetzt keine gesetzlich erforderliche Registrierung oder Behördenmeldung. Auch ein intern nicht meldepflichtiger Einsatz muss die einschlägigen gesetzlichen und hochschulinternen Vorgaben erfüllen.

Handreichung KI in Studium und Lehre

Nach Login ist der Bericht hier einsehbar.

Urteil zur fairen Nutzung (Fair Use)

Urteil zur fairen Nutzung (Fair Use): Ein US-Bezirksgericht hat entschieden, dass das Training von großen Sprachmodellen (LLMs) mit urheberrechtlich geschützten Büchern "faire Nutzung" (fair use) darstellt. Autoren hatten Anthropic verklagt, weil das Unternehmen seine Modelle ohne Erlaubnis auf ihren Büchern trainiert hatte. Richter Alsup stellte fest, dass dies "nicht anders wäre, als wenn sie sich darüber beschweren würden, dass das Training von Schulkindern zu gutem Schreiben zu einer Explosion konkurrierender Werke führen würde". Das Urteil besagt, dass es in Ordnung ist, Modelle auf rechtmäßig erworbenen Daten zu trainieren, um transformative Ausgaben zu erzeugen, und dass die Umwandlung von gedruckten Büchern in digitale Form für diesen Zweck ebenfalls faire Nutzung ist. Ein wichtiger Punkt ist jedoch, dass die Verwendung von piratiertem Material (z.B. von Piraten-Websites heruntergeladene Texte) nicht als faire Nutzung gilt und LLM-Anbieter ihre Praktiken in dieser Hinsicht überprüfen müssen. Das Urteil wird als positiv für den KI-Fortschritt betrachtet, da es die Ambiguität in Bezug auf KI-Training und Urheberrecht reduziert und den Fahrplan für die Compliance klarer macht.

Einordnung für die Hochschule: Die verlinkte Darstellung betrifft eine US-amerikanische Einzelfallentscheidung. Daraus folgt keine allgemeine Erlaubnis für KI-Training oder das Hochladen geschützter Inhalte nach deutschem oder europäischem Recht. Die Zulässigkeit eines konkreten Einsatzes ist anhand der hier geltenden Vorschriften und Nutzungsrechte zu prüfen.

(Link: info.deeplearning.ai/judge-rules-training-ai-on-copyrighted-works-is-fair-use-agentic-biology-evolves-meta-befriends-alexandr-wang-1

Free AI Detector by Grammarly

Free AI Detector by Grammarly
Hierbei handelt es sich um einen KI-Checker, der darauf trainiert ist, KI-generierten Text zu erkennen. Das Ergebnis zeigt an, wie viel der eingegebenen Daten mit einer gewissen Wahrscheinlichkeit mit KI geschrieben wurde. Hier wird keine Aussage zur Zuverlässigkeit dieser Prüfung gegeben.

KI-Detektoren schätzen anhand statistischer Merkmale ein, ob ein Text KI-generiert sein könnte. Dabei sind Fehlklassifikationen möglich. Ein Ergebnis ist kein verlässlicher alleiniger Nachweis einer unerlaubten KI-Nutzung und sollte nicht allein Grundlage einer Prüfungsentscheidung sein. Vor dem Hochladen von Texten sind zudem Datenschutz, Vertraulichkeit und Nutzungsrechte zu prüfen.

VRCP Show + Share Challgenges KI-Tools (Challenge #7 und #7a)

VRCP Show + Share Challgenges KI-Tools (Challenge #7 und #7a)

Häufig gestellte Fragen

Was ist der Hauptzweck des EU AI Act?

Die EU-KI-Verordnung (Verordnung (EU) 2024/1689), die am 13. Juni 2024 verabschiedet wurde, ist die weltweit erste umfassende Gesetzgebung zur Regulierung der künstlichen Intelligenz. Ihr Hauptzweck ist es, das Funktionieren des Binnenmarktes zu verbessern, indem ein harmonisierter Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Nutzung von KI-Systemen in der Europäischen Union geschaffen wird. Dies soll die Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen KI fördern und gleichzeitig ein hohes Schutzniveau für Gesundheit, Sicherheit und Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, vor schädlichen Auswirkungen von KI-Systemen gewährleisten. Zudem zielt die Verordnung darauf ab, Innovationen zu unterstützen, insbesondere für kleine und mittlere Unternehmen (KMU) und Start-ups in Europa.

Wann ist eine Meldung der Verwendung einer KI-Anwendung in der Regel nicht erforderlich?

In der Regel ist keine gesonderte Meldung erforderlich, wenn allgemein verfügbare KI-Werkzeuge lediglich unterstützend genutzt werden, ohne dass dadurch ein neuer formaler Prozess, eine eigenständige KI-Anwendung oder eine KI-gestützte Entscheidungslogik eingeführt wird.

Dies kann zum Beispiel der Fall sein bei:

  • Formulierungshilfen für E-Mails, Ankündigungen oder allgemeine Informationstexte
  • sprachlicher Überarbeitung oder Strukturierung selbst verfasster Inhalte
  • Ideenfindung für Lehrveranstaltungen, Fallbeispiele oder Diskussionsfragen
  • Unterstützung bei der Gliederung von Besprechungsvorlagen, Handreichungen oder Lehrmaterialien
Wann ist eine Meldung der Verwendung einer KI-Anwendung erforderlich?

Eine Meldung ist in der Regel erforderlich, wenn eine Anwendung oder ein Verfahren eingeführt, in Betrieb genommen oder wesentlich genutzt werden soll, in dem KI eine fachlich wesentliche Funktion übernimmt.

Dies kann beispielsweise der Fall sein bei:

  • Einführung eines KI-gestützten Chatbots oder Assistenzsystems für Auskünfte an Studierende oder Beschäftigte
  • Einsatz eines KI-Systems zur Sortierung, Priorisierung oder Bewertung von Anträgen, Vorgängen oder Bewerbungen
  • Integration von KI in geregelte Verwaltungsabläufe oder Entscheidungsprozesse
  • Nutzung von KI in Lehr- oder Prüfungszusammenhängen mit bewertender oder entscheidungsvorbereitender Funktion
  • Überführung eines KI-Prototyps in den regulären Betrieb der Hochschule

Kontaktieren Sie bitte die KI-Beauftragten, wenn Sie unsicher sind hinsichtlich der Meldung.

Was muss ich hinsichtlich Datenschutz beachten?

Unabhängig von einer möglichen Meldepflicht gilt:
Personenbezogene, vertrauliche oder sensible Daten sollten nicht (ohne vorherige Prüfung) in externe oder allgemein verfügbare KI-Dienste eingegeben werden.

Dies betrifft insbesondere:

  • Daten von Studierenden oder Beschäftigten
  • Prüfungs-, Bewerbungs- oder Personalangelegenheiten
  • Beratungs- und Beschwerdefälle
  • Gesundheitsbezogene Informationen
  • interne oder vertrauliche Unterlagen
  • urheberrechtlich geschützte Materialien (z. B. Buchkapitel, Fachartikel, Lehrbücher, Skripte, Präsentationen oder Grafiken), für deren Nutzung oder Weitergabe keine entsprechenden Rechte vorliegen
  • lizenzierte Inhalte aus Datenbanken, Verlagen oder kostenpflichtigen Plattformen (z. B. wissenschaftliche Journals, Normen, Standards, E-Book-Sammlungen)
  • Materialien von Lehrveranstaltungen anderer Personen, sofern deren Weitergabe oder Verarbeitung nicht ausdrücklich erlaubt ist
  • Software-Code oder Dokumentationen aus proprietären Projekten oder kommerziellen Produkten
  • vertrauliche Forschungsunterlagen oder unveröffentlichte Manuskripte (z. B. Preprints, Gutachten, Projektanträge)

Das bedeutet: Auch ein Einsatz, der nicht meldepflichtig ist, kann datenschutzrechtlich sensibel sein. Eine besondere Regel enthält Artikel 4a für die Erkennung und Korrektur bestimmter Verzerrungen. Unter strengen Voraussetzungen können dafür ausnahmsweise besondere Kategorien personenbezogener Daten verarbeitet werden. Erforderlich sind insbesondere nachgewiesene unbedingte Notwendigkeit und besondere Schutzmaßnahmen; anonymisierte oder synthetische Daten haben Vorrang, soweit sie den Zweck wirksam erfüllen. Die Regelung erlaubt keine allgemeine Eingabe sensibler Daten in KI-Dienste. Ein entsprechendes Vorhaben ist vorab mit den zuständigen Datenschutzstellen abzustimmen.

Muss man sich bereits jetzt an den EU AI Act halten?

Die EU-KI-Verordnung ist am 1. August 2024 in Kraft getreten. Ihre Vorschriften werden schrittweise anwendbar. Der Digitale Omnibus zur KI hat insbesondere die Hochrisiko-Fristen geändert.

Seit 2. Februar 2025 gelten die allgemeinen Bestimmungen und die ursprünglichen Verbote nach Artikel 5. Die Regelung zur Förderung der KI-Kompetenz wurde inzwischen durch den Omnibus angepasst.

Seit 2. August 2025 gelten grundsätzlich die Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI). Für Modelle, die bereits vor diesem Datum in Verkehr gebracht wurden, gilt eine Übergangsfrist bis 2. August 2027.

Seit 2. August 2026 gelten insbesondere die Transparenzpflichten nach Artikel 50.

Ab 2. Dezember 2026 gelten die neuen Verbote für bestimmte nicht einvernehmliche sexuelle KI-Darstellungen und Darstellungen sexuellen Kindesmissbrauchs. Bis zu diesem Datum müssen Anbieter generativer KI-Systeme, die vor dem 2. August 2026 in Verkehr gebracht wurden, die Anforderungen des Artikels 50 Absatz 2 zur maschinenlesbaren Kennzeichnung und Erkennbarkeit ihrer Ausgaben erfüllen. Diese Übergangsfrist gilt nicht für die Offenlegungspflichten der Betreiber nach Artikel 50 Absatz 4.

Ab 2. Dezember 2027 werden grundsätzlich die Hochrisiko-Vorschriften für die in Anhang III genannten Anwendungen anwendbar, etwa für bestimmte KI-Anwendungen in Bildung und Beschäftigung.

Ab 2. August 2028 gilt grundsätzlich der entsprechende Anwendungsbeginn für produktbezogene Hochrisiko-KI nach Artikel 6 Absatz 1. Besondere Übergangsregelungen für bestehende Systeme sind gesondert zu prüfen.

Welche Übergangsregelungen gelten für bereits bestehende Hochrisiko-KI-Systeme?

Artikel 111 Absatz 2 knüpft den Bestandsschutz nun an den jeweiligen Anwendungsbeginn der Hochrisiko-Vorschriften an. Für Systeme nach Anhang III ist dies der 2. Dezember 2027, für Systeme nach Artikel 6 Absatz 1 grundsätzlich der 2. August 2028. Die Übergangsregel ist daher nicht mehr pauschal auf den 2. August 2026 bezogen.

Die Hochrisiko-Anforderungen greifen bei erfassten Bestandssystemen grundsätzlich erst, wenn diese nach dem maßgeblichen Datum in ihrer Konzeption erheblich verändert werden. Für Hochrisiko-Systeme, die bestimmungsgemäß von Behörden verwendet werden sollen, müssen Anbieter und Betreiber die erforderlichen Anpassungen spätestens bis zum 2. August 2030 vornehmen. Die Verbote nach Artikel 5 bleiben unberührt. Ob die Übergangsregel im konkreten Fall greift, muss dokumentiert geprüft werden.

Was ist die ISO 42001 und was ist der Zusammenhang zum EU AI Act?

ISO7IEC 42001:2023 ist eine internationale Norm, die Anforderungen und Leitlinien für ein KI Managementsystem definiert. Siehe auch https://www.iso.org/standard/4200. Diese Norm kann als nützliches Instrument dienen, um Anforderungen des AI-Acts zu erfüllen. Die Einhaltung ist jedoch nicht verpflichtend.

Ich bin unsicher, ob mich der EU AI Act betrifft. Was kann ich jetzt tun?

Kontaktieren Sie in diesem Fall ihre EU-AI Act beauftragte Person.

Wie klassifiziert der EU AI Act KI-Systeme und welche Risikostufen gibt es?

Die EU-KI-Verordnung verfolgt einen risikobasierten Ansatz zur Klassifizierung von KI-Systemen. Die Art und der Umfang der Vorschriften richten sich nach dem potenziellen Risiko, das von den Systemen ausgehen kann. 

Es gibt vierHauptrisikostufen:

Unannehmbares Risiko: Diese KI-Systeme sind verboten, da sie eine klare Bedrohung für die Grundrechte darstellen. Beispiele hierfür sind kognitive Verhaltensmanipulation, soziale Scoring-Systeme, biometrische Kategorisierung sensibler Attribute (wie Rasse oder politische Meinungen), und Echtzeit-Biometrische Fernidentifizierung in öffentlich zugänglichen Räumen (mit sehr begrenzten Ausnahmen für Strafverfolgungszwecke in schwerwiegenden Fällen).

Hohes Risiko: Diese Systeme haben das Potenzial, die Gesundheit, Sicherheit oder Grundrechte erheblich zu beeinträchtigen. Sie unterliegen strengen Anforderungen vor dem Inverkehrbringen und während ihres gesamten Lebenszyklus. Beispiele für Hochrisiko-KI-Systeme umfassen solche, die als Sicherheitskomponenten in Produkten (z.B. medizinische Geräte, Autos) verwendet werden, oder in kritischen Infrastrukturen, Bildung, Beschäftigung, Zugang zu wesentlichen Dienstleistungen, Strafverfolgung, Migration und Justiz eingesetzt werden.

Begrenztes Risiko: Systeme mit begrenztem Risiko unterliegen leichteren Transparenzpflichten. Dazu gehören KI-Systeme, die mit Menschen interagieren (z.B. Chatbots), oder die Inhalte generieren oder manipulieren (z.B. Deepfakes). Die Nutzer müssen darüber informiert werden, dass sie mit einer KI interagieren oder dass Inhalte KI-generiert sind.

Minimales Risiko: Die meisten KI-Anwendungen fallen in diese Kategorie und sind weitgehend unreguliert, wie z.B. KI-gesteuerte Videospiele oder Spam-Filter. Es wird davon ausgegangen, dass sie nur ein minimales oder gar kein Risiko darstellen.

 

Welche Transparenzanforderungen gelten für KI-Systeme, insbesondere für generative KI?

Nicht jede KI-Nutzung muss gekennzeichnet werden. Entscheidend ist, wofür Sie die KI einsetzen und welche Inhalte Sie veröffentlichen.

Wenn Sie einen Hochschul-Chatbot bereitstellen
Machen Sie unmittelbar in der Benutzeroberfläche deutlich, dass die Nutzerinnen und Nutzer mit einer KI kommunizieren, sofern dies nicht ohnehin offensichtlich ist. Ein möglicher Hinweis lautet: „Sie kommunizieren mit einem KI-System. Antworten können Fehler enthalten.“ Stimmen Sie die Einführung eigener Chatbots mit den KI-Beauftragten ab.

Wenn Sie täuschend echte Bilder, Tonaufnahmen oder Videos erzeugen
Könnten Menschen solche Inhalte irrtümlich für echte Aufnahmen halten, müssen Sie deren künstlichen Ursprung offenlegen. Das betrifft beispielsweise eine künstlich erzeugte Videoansprache einer realen Person. Ein möglicher Hinweis lautet: „Dieses Video wurde mit KI erzeugt.“ Auch bei Kunst oder Satire bleibt ein angemessener Hinweis erforderlich, etwa im Abspann.

Wenn Sie KI-Texte veröffentlichen
Bei Texten, die die Öffentlichkeit über Angelegenheiten öffentlichen Interesses informieren sollen, müssen Sie die KI-Erzeugung grundsätzlich offenlegen. Diese Pflicht entfällt, wenn der Inhalt menschlich überprüft oder redaktionell kontrolliert wurde und eine Person oder Einrichtung die redaktionelle Verantwortung übernimmt. Eine reine Formulierungshilfe für eine gewöhnliche E-Mail muss deshalb nicht automatisch gekennzeichnet werden.

Bei Prüfungsleistungen
Beachten Sie zusätzlich die jeweils geltenden Vorgaben zur erlaubten KI-Nutzung und deren Dokumentation. Diese können über die Kennzeichnungspflichten des AI Act hinausgehen.

Was übernehmen die Anbieter der KI-Werkzeuge?
Die technische, maschinenlesbare Kennzeichnung generierter Inhalte ist grundsätzlich Aufgabe der Anbieter. Dafür müssen Sie bei der gewöhnlichen Nutzung eines KI-Dienstes kein eigenes Verfahren entwickeln. Auch die Veröffentlichung einer Zusammenfassung der Trainingsinhalte ist eine Pflicht der Modellanbieter.

Seit wann gelten diese Regeln?
Die Transparenzpflichten gelten grundsätzlich seit dem 2. August 2026. Für bestimmte bereits zuvor angebotene Systeme haben Anbieter bis zum 2. Dezember 2026 Zeit, die technische Kennzeichnung umzusetzen. Ihre eigenen Offenlegungspflichten werden dadurch nicht verschoben.

Weitere Informationen und Unterstützung
Die rechtlichen Einzelheiten stehen in Artikel 50 zu Transparenzpflichten, Artikel 111 zu Übergangsfristen und Artikel 53 zu Pflichten der Modellanbieter. Bei Fragen zu Ihrem konkreten Einsatz helfen Ihnen die KI-Beauftragten der Hochschule.

Welche besonderen Regeln gelten für KI-Modelle mit allgemeinem Verwendungszweck (GPAI-Modelle) und solche mit systemischem Risiko?

GPAI-Modelle sind KI-Modelle, die eine erhebliche allgemeine Verwendbarkeit aufweisen und eine breite Palette unterschiedlicher Aufgaben erfüllen können. Für alle Anbieter von GPAI-Modellen gelten bestimmte Pflichten:

Technische Dokumentation: Erstellung und Aktualisierung technischer Dokumentationen, einschließlich Trainings- und Testergebnisse.

Informationen für Downstream-Anbieter: Bereitstellung von Informationen und 
Dokumentationen, die es Downstream-Anbietern von KI-Systemen ermöglichen, die Fähigkeiten und Grenzen des GPAI-Modells zu verstehen und ihre eigenen Verpflichtungen zu erfüllen.

Urheberrecht: Einführung einer Strategie zur Einhaltung des EU-Urheberrechts.

Trainingsdaten-Zusammenfassung: Veröffentlichung einer detaillierten Zusammenfassung der für das Training des Modells verwendeten Inhalte. Für bestimmte unter freien und quelloffenen Lizenzen veröffentlichte Modelle gelten Ausnahmen von den Dokumentations- und Informationspflichten nach Artikel 53 Absatz 1 Buchstaben a und b. Die Voraussetzungen des Artikels 53 Absatz 2 müssen erfüllt sein. Modelle mit systemischem Risiko sind von dieser Ausnahme ausgeschlossen. Die Pflichten zur Urheberrechtsstrategie und zur Zusammenfassung der Trainingsinhalte bleiben auch bei den begünstigten offenen Modellen bestehen.

Systemische Risiken: Für GPAI-Modelle mit systemischem Risiko gelten zusätzliche Anforderungen. Bei einem Trainingsaufwand von mehr als 10²⁵ Gleitkommaoperationen besteht die gesetzliche Vermutung hochwirksamer Fähigkeiten. Gemeint ist die Gesamtzahl der Rechenoperationen, nicht die Rechenleistung pro Sekunde. Die Einstufung und ein möglicher begründeter Gegenbeleg richten sich nach den Artikeln 51 und 52; auch eine gesonderte Einstufung durch die Kommission ist möglich. Anbieter solcher Modelle müssen insbesondere die folgenden Pflichten erfüllen:

  • Modellbewertungen und Angriffstests durchführen, um systemische Risiken zu identifizieren und zu mindern.
  • Mögliche systemische Risiken bewerten und mindern.
  • Schwerwiegende Vorfälle verfolgen, dokumentieren und der Europäischen Kommission und den zuständigen nationalen Behörden melden.
  • Ein angemessenes Maß an Cybersicherheit gewährleisten.
Wie wird die Einhaltung des EU AI Act überwacht und durchgesetzt?

Die Verordnung sieht einen umfassenden Governance-Rahmen vor:

EU-KI-Büro: Das KI-Büro innerhalb der Europäischen Kommission ist eingerichtet. Es übernimmt insbesondere die Aufsicht über GPAI-Modelle und nach Maßgabe des geänderten AI Act über bestimmte weitere KI-Systeme.

Europäisches Gremium für künstliche Intelligenz (AI-Board): Dieses Gremium setzt sich aus Vertretern der Mitgliedstaaten zusammen und berät die Kommission und die Mitgliedstaaten bei der einheitlichen und wirksamen Anwendung der Verordnung, fördert die Koordinierung und den Austausch bewährter Verfahren.

Wissenschaftliches Gremium unabhängiger Sachverständiger: Dieses Gremium unterstützt das KI-Büro bei der Überwachung und Durchsetzung, insbesondere bei der Identifizierung und Bewertung von systemischen Risiken bei GPAI-Modellen.

Nationale zuständige Behörden: In Deutschland regelt das KI-Marktüberwachungs-und-Innovationsförderungs-Gesetz die Zuständigkeiten. Grundsätzlich ist die Bundesnetzagentur Marktüberwachungsbehörde; daneben bestehen gesetzliche Sonderzuständigkeiten, insbesondere bei bestimmten produktbezogenen und finanzbezogenen Systemen.

EU-Datenbank für Hochrisiko-KI-Systeme: Eine öffentlich zugängliche Datenbank wird eingerichtet, in der Anbieter Informationen über ihre Hochrisiko-KI-Systeme registrieren müssen. Sensible Informationen für Strafverfolgungszwecke werden in einem sicheren, nicht öffentlichen Teil gespeichert.

Sanktionen: Die Mitgliedstaaten müssen wirksame, verhältnismäßige und abschreckende Sanktionen für Verstöße festlegen, einschließlich hoher Geldstrafen, insbesondere für die Missachtung verbotener KI-Praktiken oder schwerwiegender Verstöße gegen die Anforderungen an Hochrisiko-KI-Systeme und GPAI-Modelle.

Was sind die "KI-Reallabore" und "Tests unter Realbedingungen"?

KI-Reallabore bieten einen beaufsichtigten Rahmen für die Entwicklung, das Training und die Erprobung innovativer KI-Systeme auf Grundlage eines mit der zuständigen Behörde vereinbarten Plans. Sie sind keine allgemeine Befreiung von geltenden Vorschriften. Die Mitgliedstaaten müssen bis zum 2. August 2027 mindestens ein betriebsbereites nationales Reallabor gewährleisten. Das KI-Büro kann zusätzlich für bestimmte Systeme ein Reallabor auf Unionsebene einrichten.

Tests unter Realbedingungen können unter den Voraussetzungen der Artikel 60, 60a und 61 auch außerhalb von Reallaboren stattfinden. Dabei sind insbesondere das einschlägige Verfahren, ein Testplan, erforderliche Genehmigungen beziehungsweise Zustimmungen, Schutzvorkehrungen und die zeitliche Begrenzung zu beachten. Nicht jede Vorführung eines Forschungsprototyps ist bereits ein solcher Test.

Für Forschungseinrichtungen, Hochschulen und deren Ausgründungen sieht § 13 Absatz 3 KI-MIG unter den dort genannten Bedingungen vorrangigenZugang zum Reallabor der Bundesnetzagentur vor.

Welche Maßnahmen ergreift die Verordnung, um Innovationen und KMU zu unterstützen?

Die EU-KI-Verordnung ist darauf ausgelegt, ein innovationsfreundliches Umfeld zu schaffen und KMU sowie Start-ups besonders zu unterstützen:

  • Die EU-KI-Verordnung unterstützt Innovationen durch beaufsichtigte Reallabore, Informations- und Beratungsangebote sowie verhältnismäßige Anforderungen. Der Omnibus erweitert bestimmte bislang für KMU und Start-ups vorgesehene Maßnahmen und Erleichterungen auf kleine Midcap-Unternehmen.
  • Sensibilisierungs- und Schulungsmaßnahmen: Mitgliedstaaten und das KI-Büro sollen spezifische Sensibilisierungs- und Schulungsmaßnahmen zur Anwendung der Verordnung anbieten, die auf die Bedürfnisse von KMU zugeschnitten sind.
  • Dazu gehören je nach Vorschrift insbesondere vorrangiger Zugang zu Reallaboren, Unterstützung bei der Umsetzung sowie Erleichterungen bei Dokumentation und Qualitätsmanagement. Die konkrete Begünstigung richtet sich nach den Voraussetzungen der jeweiligen Vorschrift; eine Hochschule ist nicht allein aufgrund ihrer Größe als KMU einzuordnen. Für Hochschulen und Ausgründungen sind zusätzlich die Zugangsregeln des KI-MIG zu beachten.
  • Informationskanäle: Aktuelle Umsetzungshilfen stellt der AI Act Service Desk der Europäischen Kommission bereit.

Zentrale Informationsplattform: Das europäische KI-Büro stellt mit dem AI Act Service Desk eine zentrale Informationsplattform zur EU-KI-Verordnung bereit. Sie bietet Informationen und Hilfestellungen zur Anwendung der Verordnung und wird fortlaufend gepflegt.

Begriffsbestimmungen (Auszug)

KI-System

"Ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, die physische oder virtuelle Umgebungen beeinflussen können"(EUR-Lex Source, Art. 3(1)).

KI-Kompetenz

Im EU AI Act (Verordnung (EU) 2024/1689) wird KI-Kompetenz (im Englischen „AI literacy") als ein grundlegendes Element für den vertrauenswürdigen Umgang mit künstlicher Intelligenz definiert und adressiert.

Nach Artikel 3 Nummer 56 des EU AI Acts bezeichnet KI-Kompetenz: 

„die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden."

Anbieter

Anbieter: Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder GPAI-Modell entwickelt oder entwickeln lässt und das Modell in Verkehr bringt beziehungsweise das System unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt, unabhängig davon, ob entgeltlich oder unentgeltlich (Artikel 3 Nummer 3; sinngemäß).

Betreiber

Eine natürliche oder juristische Person, die ein KI-System in eigener Verantwortung nutzt (außer für persönliche, nicht-berufliche Zwecke) (EUR-Lex Source, Art. 3(4)).

Biometrische Daten

BiometrischeDaten: Personenbezogene Daten, die durch spezifische technische Verarbeitung körperlicher, physiologischer oder verhaltensbezogener Merkmale einer natürlichen Person gewonnen werden und deren eindeutige Identifizierung ermöglichen oder bestätigen, etwa Gesichtsbilder oder daktyloskopische Daten (Artikel 3 Nummer 34; sinngemäß).

Deepfake

"einen durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde" (EUR-Lex Source, Art. 3(60)).

Zuständige Marktüberwachungsbehörde

Die "zuständige Marktüberwachungsbehörde" im Kontext des EU AI Acts ist eine nationale Behörde, die von jedem Mitgliedstaat der Europäischen Union benannt oder eingerichtet werden muss, um die Anwendung und Durchsetzung dieser Verordnung zu überwachen. Ihre Hauptaufgabe ist die Beaufsichtigung und Durchsetzung der Bestimmungen des EU AI Act, insbesondere in Bezug auf Hochrisiko-KI-Systeme.

Die zuständige Behörde ist in Form der Bundesnetzagentur identifiziert und hat ihre Arbeit (insbesondere beratend) bereits aufgenommen. Die vollständige gesetzliche Legitimation durch das nationale Begleitgesetz befindet sich in der finalen Phase.

Alle weiteren Begriffsbestimmungen zum EU AI Act finden Sie hier.

Ansprechpartner*innen

Prof. Dr. Georg Rock
Professor FB Informatik

Kontakt

+49 651 8103-596

Standort

Schneidershof | Gebäude O | Raum 206
Prof. Dr. Andrea Walkenhorst
Professorin FB Wirtschaft

Standort

Schneidershof | Gebäude K | Raum 205
back-to-top nach oben