Mit Künstlicher Intelligenz zu einer modernen Medienaufsicht

Kann man zeitgemäß und effektiv auf Rechtsverstöße in einem digitalen Umfeld reagieren, das täglich wächst? Kann das föderale System der Medienanstalten überhaupt über Ländergrenzen hinweg Rechtsdurchsetzung im Netz ermöglichen? Kann man seine Mitarbeitenden eigentlich vor der unmittelbaren Konfrontation mit Gewaltdarstellungen, Hardcore-Pornografie und Hassrede schützen?

Ja, das kann man – mithilfe modernster Technologie und digitalen Hilfsmitteln. Heute arbeiten fast alle Medienanstalten in Deutschland mit einer für die und mit der Medienanstalt NRW entwickelten KI-Lösung, die beim Monitoring des Netzes unterstützt. Diese KI beschleunigt, vereinfacht und verbessert die Arbeit der Medienaufsicht. Indem sie das Netz durchsucht und unsere Mitarbeitenden auf mögliche Rechtsverstöße hinweist. 
Dabei ist die Funktionsweise Grundlage der Namensgebung. So ist der Name KIVI die Verschmelzung der Begriffe KI und vigilare (lat. für wachsam sein).

Wie haben wir dieses KI-Tool entwickelt?

Um dieses Hilfsmittel zu finden, haben wir bereits im Jahr 2019 eine Machbarkeitsanalyse durchgeführt und uns anschließend darauf verständigt, ein Werkzeug basierend auf künstlicher Intelligenz zu entwickeln. Es sollte automatisch nach potenziellen Rechtsverstößen im Netz suchen und unseren Mitarbeiterinnen und Mitarbeitern vorarbeiten. Umgesetzt hat das für uns die Condat AG aus Berlin. 2020 haben wir mit der Entwicklung des Tools begonnen.

Innerhalb eines halben Jahres konnten wir einen Prototyp präsentieren. Unser Fokus lag dabei zunächst auf dem Schutz der Menschenwürde und dem Jugendschutz. Zu den konkreten Verstoßkategorien zählen beispielsweise Gewaltdarstellungen, Volksverhetzung, die Verwendung verfassungsfeindlicher Kennzeichen oder frei zugängliche Pornografie. Anschließend konnten wir das Tool Kanal für Kanal ausrollen. Von Twitter und YouTube bis zu Plattformen wie Telegram und VK kann das Tool heute täglich mehr als 10.000 Seiten automatisch durchsuchen. Ohne diese technische Hilfe, konnten wir nur einen Bruchteil davon schaffen. Die deutliche Steigerung unserer Präsenz im Netz ist ein erster großer Erfolg des Tools. Dadurch finden wir  mehr Rechtsverstöße, ohne unsere Ressourcen für die Suche zu verwenden. Zudem erhalten wir einen Überblick über die Gefahrenlage im Internet und können den Rechtsverstößen priorisiert nachgehen.

Wie verbessert KIVI die Zusammenarbeit der Medienanstalten in Deutschland – und bald auch Europa?

Die trainierten Verstoßkategorien, aber auch die Herkunft eines Verstoßes kann das Tool erkennen – zum Beispiel weist es aus, auf welchen internationalen Kanälen die Nutzerinnen und Nutzer auf Deutsch angesprochen werden. Für die territoriale Zuständigkeit der Medienanstalten ist das ein großer Vorteil. Denn das Tool kann so mutmaßliche Verstöße erkennen, die für Mediennutzerinnen und -nutzer in unserem Zuständigkeitsbereich relevant sind – oder eben für unsere Kolleginnen und Kollegen in den anderen Bundesländern. Und daher überrascht es nicht, dass wir auch aus anderen europäischen Ländern Anfragen aus der Medienaufsicht erhalten, die das Tool ebenfalls nutzen wollen.

Seit Anfang April nutzen nun die Medienanstalten in Deutschland unser KI-Tool und der Vorteil liegt auf der Hand. Das Tool durchsucht das Internet und weist der jeweiligen Medienanstalt solche Verstöße aus, die in ihre Verantwortung fallen. Außerdem können wir so – häuserübergreifend und gemeinsam – den großen Berg an Verstößen bearbeiten, bei denen uns die Herkunft eines Hass-Postings oder Gewalt-Videos nicht bekannt ist.
Ohne doppelte Arbeit, aber mit 14-facher Stärke.

"Wir sind oft gefragt worden, ob die Regulierung des Internets Sinn macht und ob wir tatsächlich glauben, das von NRW aus leisten zu können. Zwei Dinge dürften spätestens heute feststehen. Die Meinungsfreiheit im Netz zu sichern, kann nur gelingen, wenn wir Regeln zu ihrem Schutz haben und durchsetzen. Und wir zeigen, dass wir diese Aufgabe annehmen und noch nie besser dafür aufgestellt waren. Der Einsatz künstlicher Intelligenz ermöglicht eine Medienaufsicht, die menschliche Expertise und höchste technologische Standards vereint. Um beides zu erreichen: den Schutz vor Rechtsverstößen und damit die Sicherung der Meinungsfreiheit. Und ganz nebenbei beweist der Föderalismus seine Leistungsfähigkeit, denn es sind die deutschen Medienanstalten, die als erste ganzheitlich den Kampf gegen Hass und Jugendgefährdung im Netz aufnehmen können", bewertet Dr. Tobias Schmid, Direktor der Landesanstalt für Medien NRW, die deutschlandweite Anwendung des Tools.

Wie schützt das Tool die Mitarbeitenden der Medienaufsicht?

Das Ergebnis ist nicht nur eine flächendeckend bessere Erkennbarkeit von potenziellen Verstößen und schlicht drastisch mehr Ergebnisse, sondern auch ein deutlich erhöhter Schutz für unsere Mitarbeiterinnen und Mitarbeiter: Bevor sie einen Inhalt öffnen, wissen sie schon, zu welcher Kategorie er wahrscheinlich gehört. Das ist sehr viel angenehmer als unvermittelt auf ein Enthauptungsvideo oder Missbrauchsfoto zu stoßen. Sie können außerdem festlegen, welche möglicherweise verstörenden Inhalte zunächst unscharf dargestellt werden sollen – was gerade bei Gewaltdarstellungen die psychische Belastung mindern kann. Oder sie entscheiden sich, gewisse Kategorien heute nicht sichten zu wollen. Jede und jeder geht anders mit diesen rechtswidrigen Inhalten um – das Tool ermöglicht es, selbstbestimmter in der Monitoring-Arbeit zu sein, als es unser Monitoring-Team zuvor sein konnte.

Welche Rolle spielt das KIVI im Aufsichtsprozess?

Das KI-Tool ist ein Hilfsmittel. Es unterstützt uns dabei, Rechtsverstöße im Netz zu finden und für unsere Prüfung vorzubereiten. Und das ist entscheidend – es arbeitet vorbereitend. Wir haben mehrere menschliche Prüfungen im Prozess vorgeschaltet. Jeder Verdacht, den das Tool ausweist, wird zunächst von unseren Mitarbeitenden im Monitoring geprüft. Wenn sie den Verdacht bestätigen, wird dies im Tool vermerkt und der Fall an unsere Juristinnen und Juristen weitergegeben. Erst dann werden weitere Schritte gegen potenzielle Straftäterinnen oder Straftäter ergriffen. Sollte die KI einen Verdacht ausweisen, der sich nicht bestätigt, wird auch diese Information an das Tool zurückgegeben.

Und wie lernt die KI?

Die KI lernt durch Bild- und Textbespiele, die wir aktiv einspeisen und die in der Vergangenheit als Verstoß bewertet wurden sowie durch unsere tägliche Rückmeldung, ob sich ein gefundener Verdacht bestätigt hat oder nicht. Daher gilt: Je mehr Medienanstalten mit dem Tool arbeiten, desto effizienter kann die KI lernen.

Was sind unsere nächsten Projekte und welche Verbesserungen sind noch möglich?

Neben kleineren Verbesserungen aus der Nutzungspraxis heraus haben wir selbstverständlich konstant weitere Aufsichtsfelder im Blick. Dazu zählt unser Ziel, weitere relevante Plattformen in das Tool zu integrieren. Neben Odysee steht aktuell auch SoundCloud hier im Fokus. Außerdem können wir aktuell noch nicht die Angebote des Konzerns Meta monitoren. Natürlich wäre es aber unser Anspruch an die Aufsichtsarbeit, auch Angebote wie Facebook oder Instagram im Tool zu haben. Darüber hinaus arbeiten wir stets daran, KIVI auf dem aktuellen Stand der Technik zu halten. Aufgrund dessen werden neue Technologien im Bereich der Bild- und Textklassifikation evaluiert und ggf. integriert.

Aufgrund des bundesweiten Einsatzes des Tools kann zudem auf eine größere Menge an Lernmaterial zurückgegriffen und so die Leistung des Tools verbessert werden. Wir sind offen, auch solche Verbesserungen umzusetzen, die sich durch die Arbeit mit dem Tool in den anderen Medienanstalten ergeben.

Was sind die ersten Erfolge des KI-Tools?

Schon nach wenigen Wochen Einsatz des KI-Tools schnellten die entdeckten Verstöße in die Höhe. Dadurch konnten wir schon zahlreichen Verstößen im Netz rechtsstaatlich begegnen. Wir haben seit der Einführung von KIVI allein im Zeitraum von März 2021 bis Februar 2024 in der Gemeinschaft der Landesmedienanstalten über 11.600 Verstöße gegen rechtliche Vorschriften überprüfen, bestätigen und ans Bundeskriminalamt melden können. Im Kontext des seit dem Angriff der Hamas auf Israel steigenden antisemitischen Hasses im Netz, haben die Landesanstalt für Medien NRW und ihre Schwesteranstalten außerdem 954 potenzielle Rechtsverstöße bei der EU-Kommission gemeldet.

Dank der Schutzfunktionen, die das Tool bietet, hat außerdem die psychische Belastung der Mitarbeiterinnen und Mitarbeiter im Monitoring maßgeblich abgenommen. Mit Werkzeugen wie dem KI-Tool werden auch wir als Medienanstalt im Kampf gegen Rechts­verstöße im Netz immer besser.