KI und Recht: Regeln, Risiken, Verantwortung

EU-KI-Verordnung: Risikoklassen, Transparenzpflichten und KI-Kompetenz

Die KI-Verordnung verfolgt einen risikobasierten Regulierungsansatz, um einen vertrauenswürdigen KI-Einsatz zu gewährleisten. Sie definiert vier Risikostufen: Verbotene Systeme, Hochrisiko-KI, KI mit begrenzten Transparenzpflichten und Systeme mit minimalem Risiko. Systeme mit unakzeptablem Risiko sind vollständig verboten – hierzu zählen etwa Social-Scoring-Systeme durch öffentliche Stellen, unterschwellige Verhaltensmanipulation oder (mit engsten Ausnahmen) die polizeiliche Echtzeit-Fernbiometrie im öffentlichen Raum. Hochrisiko-KI-Systeme dürfen nur unter strengen Voraussetzungen eingesetzt werden: Es gelten umfassende Pflichten zu Risikomanagement, Pro- tokollierung, menschlicher Aufsicht und Konformitätsbewertung. Diese Kategorie betrifft Bereiche wie Beschäftigung und Personalmanagement, den Zugang zu öffentlichen Leistungen, kritische Infrastruktur sowie öffentliche Sicherheit und Strafverfolgung. 

KI-Systeme mit begrenztem Risiko – das sind vor allem Chatbots und Systeme, die künstliche Bilder oder Videos erzeugen (zum Beispiel ein automatisch erstelltes Foto vom neuen Rathausplatz) – sind grundsätzlich zulässig, verlangen aber klare Transparenz: Bürgerinnen und Bürger müssen sofort erkennen können, dass sie mit einer Maschine kommunizieren oder dass ein Bild/Video nicht echt ist. Schließlich bleiben Systeme mit minimalem Risiko – wie Spam-Filter im Postfach, automatische Textvorschläge beim Schreiben von E-Mails oder die Sortierung eingehender Post – von spezifischen Pflichten der KI-VO weitgehend unberührt.

Anwendungsbereich und Pflichten für die öffentliche Hand: Die KI-VO erfasst sämtliche KI-Systeme, die in der EU in Verkehr gebracht oder verwendet werden – und zwar gleichermaßen in der Privatwirtschaft wie in Behörden. Kommunalverwaltungen unterliegen also den Regelungen sowohl, wenn sie KI-Systeme nutzen als auch, wenn sie KI-Systeme bereitstellen (zum Beispiel eine Kommune lässt eine KI-App für Bürger entwickeln). Je nach Rolle treffen die Kommune unterschiedliche Pflichten. So muss etwa der Anbieter die Konformität eines Hochrisiko-Systems zertifizieren, während der Betreiber für den regelkonformen Einsatz und die Überwachung verantwortlich ist. Wichtig ist, dass öffentliche Stellen hier nicht ausgenommen sind. Die Verordnung fordert explizit, dass auch der öffentliche Sektor KI grundrechtskonform und kompetent einsetzt.

Zeitplan: Obwohl die EU-KI-Verordnung bereits seit dem 1. August 2024 gilt, werden die meisten Pflichten erst ab dem 2. August 2026 voll wirksam. Zwei Regelungen greifen jedoch schon früher – und treffen Kommunen direkt. Seit dem 2. Februar 2025 besteht etwa die allgemeine Verpflichtung aus Artikel 4 KI-VO, geeignete Maßnahmen zur Förderung der KI-Kompetenz aller Personen zu ergreifen, die mit dem Betrieb oder der Nutzung von KI-Systemen befasst sind. Diese Regelung verpflichtet Anbieter und Anwender – auch Kommunen – dafür zu sorgen, dass ihr Personal über ein ausreichendes Maß an Verständnis und Fähigkeiten im Umgang mit KI verfügt. Mitarbeiterinnen und Mitarbeiter in der Verwaltung, die KI-Systeme bedienen, deren Ergebnisse beurteilen oder Entscheidungen auf KI-Basis treffen, müssen geschult werden. Die Verordnung nennt zwar keine genauen Inhalte oder Stundenumfänge, verlangt aber, den Einsatzkontext und die adressierten Personengruppen zu berücksichtigen. Für Kommunen empfiehlt es sich, spätestens jetzt mit Breitenschulungen zu beginnen – sei es durch interne Workshops oder externe Fortbildungen (zum Beispiel über die Verwaltungsschule des Gemeindetags) –, um eine informierte Belegschaft zu haben. Dokumentierte Nachweise schützen zudem vor Haftung: Fehlende Schulung kann bei Schäden schnell als Sorgfaltspflichtverletzung gelten.

DSGVO bleibt voll anwendbar: KI und Datenschutz

Der Einsatz von KI in Kommunen berührt nahezu immer auch den Datenschutz. Sobald KI-Systeme personenbezogene Daten verarbeiten, greift vollumfänglich die Datenschutz-Grundverordnung (DSGVO). Wichtig: Die DSGVO enthält keine Ausnahmen für die Anwendung von KI-Systemen. Sämtliche Grundprinzipien gelten unverändert weiter. KI-Entwicklung und -Nutzung müssen daher doppelt geprüft werden: Einerseits auf KI-VO-Compliance, andererseits auf DSGVO-Konformität.

Transparenz und Information der Betroffenen: Die DSGVO verpflichtet Verantwortliche, bei Datenerhebung die betroffene Person über Zweck und Art der Verarbeitung zu informieren (Artikel 13 DSGVO). Das gilt ebenso, wenn KI im Spiel ist. Bürgerinnen und Bürger haben ein Recht zu erfahren, dass und wie ihre Daten durch ein KI-System verarbeitet werden. Die Information sollte in klarer, verständlicher Form erfolgen – etwa im Datenschutzhinweis der Kommune mit Angabe, für welche Entscheidungen oder Prognosen KI eingesetzt wird. 

Automatisierte Entscheidungen und Artikel 22 DSGVO: Besonderes Augenmerk verdient Artikel 22 DSGVO, der – vereinfacht – vollautomatisierte Entscheidungen mit erheblicher Auswirkung auf Betroffene verbietet, sofern nicht eine gesetzliche Grundlage oder ausdrückliche Einwilligung dies erlaubt. In der öffentlichen Verwaltung wären etwa Bescheide, die allein durch ein KI-System erstellt würden, problematisch. Ohne menschliche Überprüfung verstieße ein solcher vollautomatisierter Verwaltungsakt in der Regel gegen Artikel 22 DSGVO. Kommunen müssen zudem die Grundsätze der Datenminimierung, Zweckbindung und Speicherbegrenzung beachten. KI-Systeme dürfen nur die für den jeweiligen Zweck erforderlichen personenbezogenen Daten nutzen und nicht länger speichern als notwendig. 

Der Einsatz innovativer KI kann hohe Risiken für die Rechte der Bürgerinnen und Bürger bergen – etwa Diskriminierung, Fehlentscheidungen oder Eingriffe in die Privatsphäre. Bei risikobehafteten Anwendungen ist daher vorab eine Datenschutz-Folgenabschätzung nach Artikel 35 DSGVO durchzuführen. Hinzu treten die Anforderungen an technische und organisatorische Maßnahmen nach Artikel 32 DSGVO, einschließlich Verschlüsselung, Zugriffsschutz, Auftragsverarbeitungsverträgen und – bei Drittstaatentransfers – der Einhaltung der Vorgaben aus Kapitel V DSGVO.

Die Herausforderung für Kommunen besteht darin, beide Regime kohärent umzusetzen. Praktisch bedeutet dies, KI-Projekte vom Start weg unter Einbindung des Datenschutzbeauftragten zu planen, Datenflüsse zu dokumentieren und bei der Konzeption die Prinzipien Privacy by Design (Artikel 25 DSGVO) zu beherzigen.

Urheberrechtliche Stolpersteine

KI-Systeme können heute Texte, Bilder, Musik oder Videos generieren. Gerade in Kommunen gibt es dafür Anwendungsszenarien – etwa automatisierte Textbausteine für Bescheide oder KI-erstellte Grafiken für Öffentlichkeitsarbeit. Dies wirft die Frage auf: Genießen KI-Ausgaben Urheberrechtsschutz? Und wer haftet, wenn KI-generierte Inhalte urheberrechtlich problematisch sind?

KI-generierte Inhalte sind mangels menschlicher Schöpfung regelmäßig nicht urheberrechtlich geschützt und damit gemeinfrei. Kommunen können sie zwar nutzen, erwerben daran jedoch keine Exklusivrechte. Dies eröffnet zugleich die Möglichkeit, dass Dritte solche Inhalte – etwa KI-erstellte Logos, Veranstaltungsbilder oder grafische Elemente für die Öffentlichkeitsarbeit – frei übernehmen und weiterverwenden, was die Kommune nur begrenzt verhindern kann. Ein urheberrechtlicher Schutz entsteht lediglich ausnahmsweise, zum Beispiel wenn der menschliche Beitrag die Gestaltung maßgeblich prägt und die KI lediglich als technisches Werkzeug eingesetzt wird.

Unabhängig vom fehlenden Schutz des Outputs besteht das Risiko, dass KI geschützte Werke reproduziert. KI-Modelle können aufgrund ihres Trainings urheberrechtlich geschützte Inhalte oder deren wesentliche Elemente wiedergeben. Nutzt eine Kommune solche Ergebnisse, kann dies eine Urheberrechtsverletzung darstellen. Entscheidend ist die Ähnlichkeit zum Original. Bei auffälligen Übereinstimmungen sollte eine Prüfung, etwa durch Bildersuche oder Plagiatskontrolle, erfolgen. 

Insgesamt bleibt KI-Output ohne menschliche, kreative Prägung schutzfrei, zugleich aber risikobehaftet. Zu empfehlen sind daher interne Vorgaben, die sicherstellen, dass KI-Inhalte vor Veröffentlichung inhaltlich und urheberrechtlich geprüft werden, um Rechtsverletzungen zu vermeiden und die Integrität behördlicher Kommunikation zu sichern.

Ausblick: Chancen und Herausforderungen

In weniger als einem Jahr wird die KI-Verordnung voll wirksam – ein kurzer Zeitraum, gemessen an den teils erheblichen organisatorischen und technischen Anpassungen, die erforderlich sind. Kommunen stehen vor der Herausforderung, ihre Prozesse, IT-Systeme und Mitarbeiterinnen und Mitarbeiter rechtzeitig auf das neue Regelwerk vorzubereiten. Gleichzeitig eröffnen KI-Technologien erhebliche Potenziale. 

Mit KI lassen sich viele kommunale Aufgaben effizienter gestalten. Offen bleiben insbesondere Fragen zur Vereinbarkeit einzelner KI-VO-Vorgaben mit nationalem Verwaltungsrecht, etwa wenn KI-gestützte Verfahren in bestehende kommunalrechtliche Abläufe integriert werden sollen. Dies betrifft beispielsweise den Einsatz von KI zur automatisierten Erstellung von Protokollen über Gemeinderatssitzungen.

Für die Kommunen bedeutet dies Arbeit – aber auch die Gelegenheit, KI bewusst und gestaltend einzuführen. Wer früh startet, klare Leitplanken setzt und Mitarbeiterinnen und Mitarbeiter mitnimmt, der kann KI als Chance nutzen, die Verwaltung zukunftsfähig zu machen.

Zum Autor

Martin Vollmer ist Fachanwalt für Verwaltungsrecht sowie für Informationstechnologierecht bei iuscomm Rechtsanwälte in Stuttgart.