Content-Moderation:Warum das Virus die Redefreiheit im Netz bedroht

Prineville Data Center von Facebook

Maschinen, auf sich allein gestellt: Ein Data Center von Facebook in Prineville, Oregon.

(Foto: AFP)
  • Weltweit fischen mehr als 100 000 Content-Moderatoren für die großen Plattformen wie Facebook und Google den Schmutz aus dem Netz.
  • Die Arbeit lässt sich nur eingeschränkt ins Home-Office verlagern, deshalb müssen jetzt Maschinen übernehmen.
  • Die Software wird Fehler machen, die Redefreiheit wird leiden - aber in der aktuellen Situation gibt es keine andere Wahl.

Von Simon Hurtz

Die meisten Menschen haben ein eher oberflächliches Verhältnis zur Müllabfuhr. Ab und zu ärgern sie sich, weil die Tonnen überquellen, aber meist nehmen sie die Arbeit der Stadtreiniger gar nicht wahr. Das ändert sich schlagartig, wenn die Männer und Frauen in Orange plötzlich nicht mehr kommen. Dann merkt man, dass sich der Müll eben nicht von selbst verschwindet.

Vergangene Woche sind zwei Dinge passiert, die vielen Menschen klar machen werden, wie wichtig die Müllabfuhr ist - im analogen und im digitalen Leben. In Würzburg nehmen die Stadtreiniger nur noch den Restmüll mit, Biotonnen und Altpapier bleiben unangetastet. Auch im Netz werden in den kommenden Wochen weniger Reinigungskräfte durchwischen. Eine Menge Dreck wird liegenbleiben, bösartige Kommentare und abscheuliche Fotos werden soziale Medien verpesten.

Die Stadt Würzburg will ihre Stadtreiniger vor Covid-19 schützen, Unternehmen wie Facebook und Google wollen verhindern, dass sich ihre Content-Moderatoren anstecken. Weltweit gibt es mehr als 100 000 Menschen, die bei Subunternehmen im Auftrag der großen Plattformen den Schmutz aus dem Netz fischen. Diese Arbeit lässt sich nur eingeschränkt ins Home-Office verlagern, dafür sind die Inhalte zu sensibel, dafür ist die mentale Belastung zu groß. Deshalb müssen vorübergehend festangestellte Mitarbeiter übernehmen - und Maschinen.

Aktuelles zum Coronavirus - zweimal täglich per Mail oder Push-Nachricht

Alle Meldungen zur aktuellen Lage in Deutschland und weltweit sowie die wichtigsten Nachrichten des Tages - zweimal täglich im SZ am Morgen und SZ am Abend. Unser Newsletter bringt Sie auf den neuesten Stand. Kostenlose Anmeldung: sz.de/morgenabend. In unserer Nachrichten-App (hier herunterladen) können Sie den Nachrichten-Newsletter oder Eilmeldungen auch als Push-Nachricht abonnieren.

Die Corona-Krise wird zeigen, ob künstliche Intelligenz mehr ist als ein überstrapaziertes Modewort. Werden Algorithmen in der Lage sein, menschliche Moderatoren zu ersetzen? Oder kippen die Maschinen statt der überquellenden Abfalltonnen versehentlich unschuldige Gartenzwerge und Zierpflanzen in den Schlund des Müllwagens? Wie viele harmlose Beiträge und Videos werden verschwinden, weil maschinelles Lernen eben doch nichts mit menschlicher Intelligenz zu tun hat, die Ironie erkennen und Kontext verstehen kann?

Die Plattformen stehen vor einem Dilemma: Löschen die Plattformen zu viel, ist das gefährlich: In der aktuellen Situation sind verlässliche Informationen noch wichtiger als sonst. Löschen die Plattformen zu wenig, ist das genauso gefährlich: Betrüger und Provokateure fluten das Netz mit Panikmache und Propaganda. Desinformation über Covid-19 kann tödlich sein, wenn sie Menschen in falscher Sicherheit wiegt und dazu bringt, sich fahrlässig zu verhalten.

Zuckerberg sagt, dass Software Menschen nicht ersetzen kann

Klar ist: Fehler werden geschehen, und die Redefreiheit im Netz wird leiden. Das gibt auch Mark Zuckerberg zu. Die automatisierten Filtersysteme werden "ein bisschen weniger effektiv" sein, sagte der Facebook-Chef in einer Telefonkonferenz mit Journalisten. In Facebooks Transparenzbericht vom vergangenen November steht es deutlicher: "Technik hat Limitierungen. Wir sind immer noch weit davon entfernt, dass sie alle Arten von Verstößen erkennt." Facebooks Software sei dafür noch nicht ausreichend trainiert worden. Mobbing und Belästigung müssten nach wie vor von Menschen begutachtet werden.

Trotzdem hat Facebook vergangene Woche mehr als 15 000 Content-Moderatoren an mehr als 20 Standorten nach Hause geschickt. "Das ist zu spät passiert", sagt eine Frau, die in Berlin für Facebooks Dienstleister Majorel Inhalte prüft und sperrt. Seinen eigenen Angestellten hatte Facebook bereits am Dienstag vor zwei Wochen Home-Office nahegelegt.

"Wir sollten zunächst weiter ins Büro kommen", sagt ein anderer Majorel-Mitarbeiter. "Aber ich kann das schon verstehen. Ich will auch nicht, dass mir meine Kinder über die Schulter schauen, wenn ich mir anschauen muss, wie ein Hundewelpe gequält wird."

Die Arbeit der Content-Moderatoren ist hart. Sie müssen den Schmutz betrachten, den andere Menschen im Netz hinterlassen: Terrorpropaganda und Tierquälerei, Videos von Suiziden und Darstellungen von Kindesmissbrauch. "Wenn man solche Inhalte über einen längeren Zeitraum bearbeitet, kann das emotional sehr belastend sein", sagt Zuckerberg. 2016 berichteten das SZ-Magazin und später andere Medien wie das Tech-Portal The Verge über traumatisierte Content-Moderatoren. Danach verstärkte Facebook seine Bemühungen, vor Ort psychologische Betreuung anzubieten.

Die Arbeit lässt sich nicht einfach ins Home-Office verlagern

Diese Unterstützung kann Facebook im Home-Office nicht gewährleisten. Das ist einer der Gründe, warum das Unternehmen die Entscheidung so lange herausgezögert hat. Auch Datenschutz ist ein Problem. Die Moderatoren sehen private Inhalte und überprüfen Nutzerprofile, diese Informationen dürfen nicht an die Öffentlichkeit gelangen. Außerdem haben sie Zugriff auf Facebooks interne Moderationsregeln, deren Details geheim bleiben sollen. Um Leaks zu verhindern, dürfen die Mitarbeiter keine Smartphones und Laptops an ihren Arbeitsplatz mitbringen.

Derzeit werde in Berlin Hardware aus dem Bürogebäude geholt, um zumindest einen Teil der Arbeit ins Home-Office zu verlagern, sagt ein Content-Moderator. Andere Standorte werden wohl dauerhaft geschlossen bleiben. Dafür springen Facebook-Angestellte ein, die nun von anderen Projekten abgezogen werden und sich darauf konzentrieren sollen, die dringlichsten Inhalte zu löschen: Kindesmissbrauch, extremistische Propaganda und Beiträge, die Menschen mit psychischen Problemen dazu bringen könnten, sich zu verletzen oder umzubringen.

"Tatsächlich erhöhen wir die Zahl der Menschen, die an diesen Dingen arbeiten", sagt Zuckerberg. "Ich mache mir Sorgen, dass die Isolation zu Depressionen und mentalen Problemen führen könnte." Diese neuen Prioritäten führten aber unweigerlich zu einem Trade-off, gesteht der Facebook-Chef ein: Andere Inhalte, von denen weniger unmittelbare Gefahr für Nutzer ausgehe, blieben womöglich länger online.

Youtube, Twitter und Tiktok rechnen bereits mit Fehlern

Facebook ist mit diesem Problem nicht allein. Youtube und Twitter warnen in Blogeinträgen, dass Inhalte weniger sorgfältig geprüft und möglicherweise auch zu Unrecht gesperrt werden könnten. "Wir werden uns vorübergehend mehr auf Technik verlassen, die einen Teil der Arbeit übernimmt, die bislang von Menschen erledigt wurde", schreibt Youtube. Die automatisierten Systeme würden künftig selbstständig Inhalte löschen. "Nutzer werden möglicherweise feststellen, dass mehr Videos entfernt werden, darunter auch einige, die nicht gegen unsere Richtlinien verstoßen." Twitter rechnet ebenfalls damit, dass die Maschinen Fehler machen werden und kündigt an, keine Accounts zu sperren, ohne dass menschliche Mitarbeiter den Vorgang geprüft hätten.

Auch TikTok spricht von "bislang unbekannten Herausforderungen". Man habe eine Reihe von Maßnahmen eingeführt, die es Moderationsteams erlaube, von zu Hause zu arbeiten, ohne dass die Qualität ihrer Arbeit beeinträchtigt werde, sagt eine Sprecherin.

"Wir gehen trotz unserer Notfallmaßnahmen davon aus, dass es zu einer erhöhten Fehlerquote kommen kann, weil wir insgesamt weniger Moderatorinnen und Moderatoren zur Verfügung haben", heißt es. "Deswegen möchten wir die Community von TikTok darum bitten, etwas Geduld mit uns zu haben." Weder TikTok noch Youtube oder Twitter äußern sich dazu, wie viele Content-Moderatoren betroffen sind und wie sich das auf die Teams in Deutschland auswirkt.

"Man kann nicht einfach 'Feuer' in einem vollen Theater schreien"

In Würzburg konzentriert sich die Stadtreinigung auf den Restmüll. Im Netz versuchen die verbliebenen Menschen mit Hilfe der Maschinen, den gröbsten Dreck zu beseitigen. Wie soziale Netzwerke diese Herausforderung meistern, wird entscheidend dafür sein, wie sich Hunderte Millionen Menschen über die Pandemie informieren und austauschen können.

"Man kann nicht einfach 'Feuer' in einem vollen Theater schreien", sagt Zuckerberg. Deshalb greife Facebook härter durch als sonst. Die Unternehmen gestehen nun öffentlich ein, dass Maschinen nicht alle Probleme lösen können - immerhin. Als Zuckerberg 2018 vor dem US-Kongress aussagte, klang das noch anders. Mehr als 30 Mal erwähnte er das vermeintliche Wundermittel künstliche Intelligenz.

Die Corona-Krise wird die Welt verändern. Das gilt auch für Unternehmen wie Facebook und Google. Sie lernen ihre Grenzen kennen und akzeptieren, dass aus großer Reichweite große Verantwortung folgt. Das wird auch nötig sein, um zumindest die Infodemie in den Griff zu bekommen.

Zur SZ-Startseite
Donald Trump

Coronavirus
:Warum die Infodemie genauso gefährlich ist wie die Pandemie

In den USA nehmen Anhänger der Demokraten Covid-19 ernster als Republikaner - wohl auch, weil Donald Trump die Gefahr verharmlost. Das zeigt: Lügen können Leben kosten.

Lesen Sie mehr zum Thema

Jetzt entdecken

Gutscheine: