Entscheiden bald Maschinen, welche Bilder wir sehen und welche Sätze wir im Internet schreiben dürfen? In Deutschland tobt noch die Debatte über das Netzwerkdurchsetzungsgesetz, das Facebook und Twitter zwingt, "offensichtlich rechtswidrige" Inhalte zu löschen. Auf europäischer Ebene zeichnet sich schon der nächste Streit ab. Die Frage: Inwieweit sollen Inhalte im Netz kontrolliert werden - und wann schlägt diese Kontrolle in Zensur um? Kritiker fürchten ein allumfassendes System, das Videos, Bilder, Lieder und Texte automatisch vorfiltert.
Es geht um die Neufassung der EU-Richtlinie zum Urheberrecht. Die EU-Kommission will Online-Plattformen ab einer bestimmten Größe verpflichten, sogenannte Upload-Filter einzusetzen. "Zensurmaschinen" nennt Piraten-Abgeordnete Julia Reda die Filter. Sie sitzt im zuständigen Rechtsausschuss des Parlaments und läuft Sturm gegen die geplante Änderung. Am Montag veröffentlichte sie mit anderen Abgeordneten einen fraktionsübergreifenden Aufruf an den Rat, auf die Filter-Pflicht zu verzichten.
Solche Filter gleichen alle Inhalte, die Nutzer hochladen, mit einer schwarzen Liste ab. Übereinstimmungen werden sofort gelöscht - außer der Nutzer einigt sich mit den Inhabern der Rechte an dem Inhalt. Denn eigentlich soll die Reform sicherstellen, dass Musik- und Filmindustrie finanziell beteiligt werden können, wenn Nutzer geschützte Lieder oder Filme hochladen, womit sie teils auch Werbegeld verdienen. Für Reda ist das gefährliche Vorzensur: "Algorithmen sollen komplexe Entscheidungen über Legalität und Illegalität von Inhalten treffen, die nicht einmal Gerichte immer treffen können."
Der Passus, den die Kommission vorschlägt, ist vage gehalten und könnte theoretisch auch für Texte gelten. Er würde zumindest große Plattformen zwingen, automatisch jeden Beitrag zu prüfen. Wobei dort nicht steht, ab wann sie als "groß" gelten. Diego Naranjo von der Bürgerrechtsorganisation Edri sagt: "Es gibt keinen Weg, einen Upload-Filter zu verwenden, ohne alles zu scannen." Für ihn läuft es also auf Totalüberwachung hinaus. Die Kommission verweist darauf, dass die Regeln "fair" seien und es ein Beschwerdeverfahren für Nutzer geben soll, für den Fall, dass Beiträge ungerechtfertigt gesperrt würden. Neben Bürgerrechtlern kritisiert der Bundesverband Deutscher Start-ups die Filter. Gründer müssten teure Technologie einkaufen. Das würde es Start-ups noch schwerer machen, gegen Tech-Konzerne zu bestehen.
Eigentlich hat der Europäische Gerichtshof bereits 2012 geurteilt, dass pauschales Vorfiltern aller Inhalte gegen das Recht auf Privatsphäre und Informationsfreiheit verstößt. Nun versucht die Kommission trotzdem noch einmal, sie einzuführen. Der Rechtsausschuss des EU-Parlaments soll im Frühjahr entscheiden, ob er den Vorstoß der Kommission unterstützt.
Ein Horrorkabinett, um Kinder zu schützen
Nicht alle Upload-Filter sind umstritten. Die von Microsoft entwickelte Technologie PhotoDNA stellt sicher, dass der Mainstream des Internets überhaupt erträglich ist. Im US-Bundesstaat Virginia sitzt das "Nationale Zentrum für vermisste und ausgebeutete Kinder", eine Organisation, die im Auftrag des US-Kongresses Kindesmissbrauch bekämpft. Ihre Datenbank ist ein Horrorkabinett: Millionen Fotos, die zeigen, wie Kinder gequält werden. Sie bilden die Grundlage der schwarzen Liste für PhotoDNA. Schließlich versuchen Täter überall auf der Welt, entsprechende Inhalte ins Netz zu laden.
Das Programm berechnet aus den bereits bekannten Bildern sogenannte Hashwerte, eine Art digitaler Fingerabdruck. Netzwerke wie Facebook scannen mit der Software Inhalte, die ihre Nutzer hochladen. Entdeckt PhotoDNA einen bekannten Hashwert, wird der Upload blockiert und Ermittler alarmiert. Nach ähnlichem Muster blockt Facebook Rachepornos. Die Bilder für die entsprechende Datenbank sollen Nutzer selbst an Facebook schicken, wenn sie fürchten, von Ex-Partnern bloßgestellt zu werden.
PhotoDNA lasse sich aber nicht mit den geplanten EU-Filtern vergleichen, sagt Julia Reda: "Bilder von Kindesmissbrauch sind immer illegal. Bei Kunst und Meinungsäußerungen wird es viel schwieriger." Regierungen drängen die Plattformen, immer mehr zu filtern. Ein früher Entwurf des deutschen NetzDG beinhaltete eine Filterpflicht für große soziale Netzwerke. Juristen und Bürgerrechtler protestierten heftig, Justizminister Heiko Maas ließ die Idee fallen.
Youtube scannt "hunderte Jahre" Videomaterial am Tag
Neben PhotoDNA ist auch Googles Content ID ein System, an dem sich künftige verpflichtende Filter orientieren würden. In Content ID haben 8000 Rechteinhaber Hashwerte hinterlegt, anhand derer Lieder, Musikvideos oder Spielfilme sofort erkannt werden. Youtube erklärt, man scanne "hunderte Jahre" Videomaterial am Tag.
Aber immer wieder machen die Maschinen Fehler. Das automatisierte Blockieren lässt keinen Spielraum für Einschätzungen, die Menschen treffen würden. Anfang Januar meldete Content ID zum fünften Mal eine angebliche Urheberrechtsverletzung für ein Video, das zehn Stunden weißes Rauschen abspielte. In einem anderen Fall schlug es bei einer Aufnahme von Vogelgezwitscher an.
Algorithmen können keine Parodien erkennen und haben kein Gefühl für Kontext. Reda sagt: "Teilweise versuchen sie, Daesh-Flaggen zu erkennen und erwischen dabei auch Videos von Menschenrechtlern." Eine Ex-NSA-Mitarbeiterin arbeitet derzeit an einem Programm, das Neonazi-Symbole in Bildern erkennen soll. Die Herausforderung: Hakenkreuze von hinduistischen Swastikas zu unterscheiden.
Die Politik hat auch Google, Facebook, Twitter und Microsoft eingespannt: 2016 kündigten sie an, eine Datenbank mit Terrorpropaganda anzulegen, um entsprechende Inhalte zu filtern. Videos von Enthauptungen und Verherrlichung des IS soll so von ihren Seiten ferngehalten werden. Im Dezember 2017 gaben sie bekannt, dass darin schon 40 000 Hashwerte und damit unerwünschte Beiträge gespeichert waren.
Wie schief die Algorithmen liegen können, zeigte sich vergangenen Sommer. Elliot Higgins ist bekannt für seine Online-Recherchen über Kriegsgebiete. Er nutzt Fotos, Videos und Geodaten, um Lügen der Kriegsparteien zu entlarven. Dann traf es sein historisch wertvolles Archiv, in dem er Hunderte Videos aus dem syrischen Krieg dokumentiert. Higgins erzählt: "Plötzlich war mein Account gesperrt. Als er wieder online war, waren alle meine Videos weg." 200 Playlists, in denen er Amateurvideos gesammelt hatte, seien gelöscht worden, darunter Material, das Auswirkungen chemischer Angriffe gezeigt hätte. Auch aus Libyen wurde mögliches Beweismaterial für Kriegsverbrechen getilgt. Immerhin half Google Higgins, das Archiv wiederherzustellen. Allerdings ist er als öffentliche Person privilegiert und hatte ohnehin gute Kontakte zu Google. Der Durchschnittsnutzer hat erfahrungsgemäß weniger Chancen auf Erfolg, wenn er sich über eine falsche Löschung beschwert.
Sprach-Filter gegen Hassrede
Texte und Sprache korrekt zu filtern, kann für Algorithmen noch schwieriger sein - der Kontext ist noch komplexer. Googles Denkfabrik Jigsaw hat in den vergangenen Jahren ein differenziertes System entwickelt: Conversation AI soll "Hassrede" erkennen, jenen vage definierte Form von Hetze gegen bestimmte Menschengruppen.
Allerdings ist das mit dem Kontext so eine Sache. In einem Test der Software stellte Reporter David Auerbach vergangenes jahr fest: Das System stufte die vulgären, aber freundlichen Worte "I fucking love you man. Happy birthday" als "toxisch" ein, ebenso wie "Du bist kein Rassist". Für unproblematisch hielt das System dagegen den Satz "Hitlers größter Fehler war, den Job nicht zu Ende zu bringen."
Upload-Filter sind eine mächtige Technologie, die für legitime Zwecke eingesetzt werden kann, etwa um strafbare Inhalte aus dem Strom der Beiträge zu fischen. Aber was, wenn sie in den Händen von Politikern landet, die sie missbrauchen? Noch dazu, wenn Regierungen das komplette Internet des Landes kontrollieren wie in China? Diego Naranjo von Edri sagt: "Einmal installiert, können sie für alles eingesetzt werden." Videos von Politikern, die die Regierung kritisieren, könnten aus dem Netz ferngehalten werden. Sprachfilter könnten auf den Slang einer bestimmten Minderheit eingestellt werden. Die Dissidenten der Zukunft müssen vielleicht künstliche Intelligenz rückwärts denken, wenn sie ihre Geheimsprache entwickeln.
