Doku auf Netflix:Code und Vorurteil

Doku auf Netflix: Die Computerwissenschaftlerin Joy Buolamwini vom MIT fand ein besonders auffälliges Beispiel für "rassistische" Algorithmen.

Die Computerwissenschaftlerin Joy Buolamwini vom MIT fand ein besonders auffälliges Beispiel für "rassistische" Algorithmen.

(Foto: Netflix)

Der Film "Coded Bias" zeigt, warum die schöne neue Welt der Algorithmen genauso rassistisch ist wie die alte: Was sie weiß, hat sie von weißen Männern gelernt.

Von Andrian Kreye

Um die Erkenntnis aus dem Dokumentarfilm "Coded Bias" mal ganz unkorrekt zu verallgemeinern: Der Algorithmus an sich ist ein Rassist. Ein Frauen-, Klassen- und Menschenfeind ist er auch noch. Und wer hat das der Welt schon wieder eingebrockt? Reiche, weiße Männer. Viele von ihnen sind schon tot. Manche werden mithilfe ihrer Algorithmen stündlich reicher. Das ist zwar nur eine plumpe Vereinfachung der Vereinfachung, aber genau diese scharfe Fokussierung auf die sozialen und menschlichen Folgen von Entscheidungsprozessen, die mithilfe mathematischer Handlungsanweisungen und Wahrscheinlichkeitsmodelle automatisiert wurden, ist die eigentliche Qualität des Films, den die Regisseurin Shalini Kantayya in den USA, England und China gedreht hat.

"Coded Bias" ("Vorprogrammierte Diskriminierung") ist nach "The Great Hack" ("Cambridge Analyticas großer Hack") und "The Social Dilemma" ("Das Dilemma mit den sozialen Medien") die dritte Dokumentation in Spielfilmlänge, die Netflix zum Thema digitale Technologien und deren Auswirkungen auf die wirkliche Welt in den letzten zwei Jahren veröffentlicht hat. "Coded Bias" ist der bisher beste Film. Zum einen, weil er seine Sozialkritik fundiert mit Wissenschaft untermauert. Zum anderen liefert er den bisher klarsten Blick auf ein Themenfeld, das für große Teile der Öffentlichkeit so komplex wie langweilig ist. Was zunächst einmal mit der sehr technischen Kausalkette der digitalen Diskriminierung zu tun hat.

Ein verzerrter Datensatz ist nicht nur ein technisches Problem, sondern ein gesellschaftliches

Die beginnt mit den Grundzügen des Maschinenlernens. Das funktioniert in den meisten Fällen immer noch so, dass eine künstliche Intelligenz (KI) mit einer größtmöglichen Datenmenge gefüttert wird. Aus diesen "Big Data" erschließt sich die KI mithilfe von Wahrscheinlichkeitsrechnungen ihre Resultate.

Shalini Kantayya erzählt die Geschichte mit einem dramaturgischen Kniff - wie die meisten zeitgenössischen Fernsehfilme und -serien - von hinten. Sie beginnt mit der in Kanada geborenen ghanaisch-US-amerikanischen Computerwissenschaftlerin Joy Buolamwini, die am Media Lab des Massachusetts Institute of Technology arbeitet, jenem Institut, das seit den Achtzigerjahren viel Pionierarbeit bei den Beziehungen zwischen Mensch und Maschine geleistet hat. Die entdeckte bei der Arbeit an einem Kunstprojekt, dass eine Software, die ihr Gesicht vermessen sollte, um andere Gesichter darüber zu projizieren, nicht so recht funktionierte. Wenn sie allerdings eine weiße Plastikmaske über ihr Gesicht schob, funktionierte die Software hervorragend.

Doku auf Netflix: Eine Software zur Vermessung des Gesichts funktioniert mit schwarzen Gesichtern nicht - weil sie nur auf weiße trainiert wurde.

Eine Software zur Vermessung des Gesichts funktioniert mit schwarzen Gesichtern nicht - weil sie nur auf weiße trainiert wurde.

(Foto: Netflix)

Auf der Suche nach der Fehlerquelle kam sie bald darauf, dass das keine Fehlfunktionen der Kamera oder der Software waren, sondern ein Problem in der Tiefe der Daten, mit der das System trainiert wurde. Denn die KI des Programms wurde fast ausschließlich mit Bilddateien weißer Gesichter gefüttert. Bei dunkler Hautfarbe erkannte der Rechner deswegen kein Gesicht. Der sogenannte "bias" des Datensatzes führte in Joy Buolamwinis Projekt nicht nur zu einem falschen, sondern zu gar keinem Ergebnis.

"Bias" ist nicht nur das englische Wort für Vorurteil und Tendenz, sondern auch der technische Begriff für die Verzerrung eines Datensatzes in eine bestimmte Richtung durch falsche Parameter. Die Mathematik definiert den Begriff als systematischen Fehler einer Schätzfunktion. Weil Schätzfunktionen seit der Marktreife Künstlicher-Intelligenz-Anwendungen allerdings unzählige Entscheidungen liefern, die Auswirkungen auf die echte Welt und vor allem auf Menschenleben haben, ist "bias" ein Problemfeld mit gesellschaftlicher Sprengkraft. Denn ein verzerrter Datensatz ist nicht nur ein technisches Problem.

"Man kann das Gesellschaftliche nicht vom Technischen trennen", heißt es im Film. Die KI-Forscherin Meredith Broussard von der New York University erklärt das so: "Rechner fällen keine ethischen, sondern mathematische Entscheidungen. Und sie richten sich nach der Welt, die sie da draußen vorfinden." Die Welt der technischen Institute und Tech-Firmen aber ist eine andere als die für den Rest der Bürger: "Weniger als 14 Prozent all jener, die künstliche Intelligenz entwickeln, sind Frauen." Für den Rest der Welt kommt erschwerend hinzu, dass sich die Entwicklung von KI-Technologie derzeit im Wesentlichen auf neun Konzerne konzentriert. Sechs davon sind aus den USA, drei davon aus China. Beide Länder aber haben im Umgang mit digitalen Technologien gezeigt, dass das Gemeinwohl oder gar ethische Werte kaum oder gar keine Rolle spielen.

Shalini Kantayya präsentiert in ihrem Film viele der wichtigsten Technologiekritikerinnen. Virginia Eubanks, Autorin von "Automating Inequality". Cathy O'Neil, Autorin von "Weapons of Math Destruction". Timnit Gebru, KI-Forscherin, die bis vergangenen Dezember die Abteilung für Ethik in der KI bei Google leitete, bevor sie unter unrühmlich dubiosen Umständen gefeuert wurde. Die Tatsache, dass ihre Kronzeuginnen alle Frauen und zum Großteil nicht weiße Frauen sind, ist weniger eigener "bias" als dem Umstand geschuldet, dass Frauen und nicht Weiße die Folgen digitaler Diskriminierung als Erste zu spüren bekamen und sich deswegen auch als Erste wissenschaftlich damit auseinandersetzten.

Der Film zeigt nicht nur die destruktive, sondern auch die verführerische Wirkung der Überwachung

"Coded Bias" ist aber kein reiner Talking-Heads-Film. Er ist ein Feuerwerk aufschlussreicher Anekdoten. Das mag ein dramaturgisches Manko sein, schafft aber meist Klarheit. In London begleitet Kantayya etwa die Aktivisten von "Big Brother Watch UK". England ist nach China das Land mit dem durchdringendsten Überwachungssystem. Da wird vor Kantayyas laufender Kamera ein dunkelhäutiger 14-jähriger Schüler verhaftet, weil ihn eine Überwachungskamera fälschlicherweise als Kriminellen identifiziert. Es stellt sich rasch heraus, dass er unschuldig ist. Fingerabdrücke muss er trotzdem abgeben. Ein Mann, der sich vor der Überwachungskamera einen Rollkragen übers Gesicht zieht, wird festgehalten und bekommt eine Geldstrafe. In Brooklyn wiederum begleitet die Regisseurin Bewohnerinnen eines riesigen Wohnblocks, die sich gegen die Überwachungskameras auf den Gängen wehren, weil ihnen die Vermieter Abmahnungen schicken, wenn sie sich auf den Gängen nicht so benehmen, wie die sich das vorstellen.

Shalini Kantayya zeigt aber nicht nur die destruktive, sondern auch die verführerische Wirkung der Überwachungs-KIs. Sie begleitet beispielsweise die Studentin Wei Su durch den Alltag, die auf einem Skateboard durch die chinesische Stadt Hangzhou rollert, im Supermarkt Obst einkauft, mit der Bahn fährt, durch eine Mall schlendert, eine Dose aus dem Getränkeautomaten zieht. Überall wird sie registriert und bewertet. Überall kann sie sich aber auch mit ihrem Gesicht einloggen und bezahlen. Wei Su sieht das nicht kritisch. Im Gegenteil. Der Bedienungskomfort der allgegenwärtigen Gesichtserkennungen ist durchaus überzeugend. Selbst das Punktesystem, mit dem die Partei Bürger bewertet und Anrechte auf Bildung, Wohnung, Beruf und sogar Verkehr zuteilt, findet sie in Ordnung. "Ich denke, dass ein soziales Kreditsystem das Verhalten der Menschen verbessern wird", sagt sie. "Gesichtserkennung und Kreditsystem ergänzen sich gegenseitig. Man will sich gut benehmen, weil das Gesicht die Kreditwürdigkeit repräsentiert."

China ist immer wieder das eindrücklichste Beispiel für die Probleme der digitalen Überwachung und Bewertung. Die Futuristin Amy Webb warnt vor der Selbstgefälligkeit westlicher Demokraten: "Wenn wir uns das Überwachungs- und Punktesystem Chinas ansehen, sagen viele Leute, Gott sei Dank leben wir nicht dort. In Wirklichkeit werden wir die ganze Zeit bewertet. Wir alle haben täglich mit dem algorithmischen Determinismus zu kämpfen. Irgendein Algorithmus hat Ihnen irgendwo einen Wert zugewiesen, und als Ergebnis zahlen Sie mehr oder weniger Geld für Toilettenpapier, wenn Sie online einkaufen. Es werden Ihnen bessere oder schlechtere Hypotheken angezeigt. Es ist wahrscheinlicher oder unwahrscheinlicher, dass Sie als Krimineller profiliert werden. Der entscheidende Unterschied zwischen den Vereinigten Staaten und China ist, dass China das transparent macht."

Wie die meisten Dokus auf Netflix leidet auch "Coded Bias" in Europa darunter, dass der Blickwinkel ein sehr amerikanischer ist. In der Technologiedebatte spielt das allerdings nur eine untergeordnete Rolle. Europa bleibt eine digitale Kolonie der USA. Auch in Deutschland sind die wichtigsten Anwendungen Produkte amerikanischer Konzerne wie das iPhone, Facebook, Amazon oder Google. Was den Film für ein breites Publikum so wertvoll macht, ist die Tatsache, dass digitaler Fortschritt bei Marktreife immer sofort als Erleichterung des Alltags und Komfort erfahrbar ist. Dinge gehen schneller, einfacher, billiger. Die gesellschaftlichen Auswirkungen verbreiten sich viel schleichender. Wenn sie aber spürbar sind, ist es oft zu spät. Der Film greift da früh in die Debatte ein.

In einer Zeit, in der die Pandemie große Teile der Arbeitswelt und das gesamte Gesundheitssystem in die Digitalisierung zwingen, zu einem Zeitpunkt also, an dem in Höchstgeschwindigkeit die digitale Infrastruktur der Zukunft aufgebaut wird, ist die Verzerrung der Datensätze kein banales Problem. Diese Maschinen replizieren zum einen den Status quo einer Gesellschaft und bremsen so jeden sozialen Fortschritt. Aber nicht nur das. Durch die Vervielfachung von Vorurteilen in den Datensätzen besteht sogar die Gefahr, dass sozialer Fortschritt wieder rückgängig gemacht wird. Und das ist für alle ein Problem. Nur für die reichen, weißen Männer nicht.

Coded Bias - Vorprogrammierte Diskriminierung. USA 2020. Regie und Buch: Shalini Kantayya. Kamera: Steve Acevedo. Schnitt: Alexandra Gilwit. Mit: Joy Buolamwini, Meredith Broussard, Amy Webb, Cathy O'Neil, Virginia Eubanks, Timnit Gebru. Auf Netflix. 85 Minuten.

Zur SZ-Startseite
Frankfurter Buchmesse Book Fair Messe Frankfurt Frankfurt am Main 19 23 Oktober 2016 20 10

SZ PlusMeinungSprache und Rassismus
:Was es heißt, keinen Namen zu haben

Geht es um die Beschreibung von Menschen mit Diskriminierungserfahrungen, kommen wir nicht vom Fleck. Sind wir nicht neugierig genug, um für eine antirassistische Gesellschaft zu kämpfen?

Lesen Sie mehr zum Thema

Jetzt entdecken

Gutscheine: