Software:Sexismus im Algorithmus

'Wie wir Deutschen ticken'

Wenn das Programm das Foto einer Küche gezeigt bekam, assoziierte es damit automatisch "Frau".

(Foto: dpa)

Wenn das Foto einer Küche automatisch mit "Frau" assoziiert wird: Immer wieder offenbaren Bilderkennungsprogramme sexistische Tendenzen. Zwei IT-Professoren wollen das Problem nun lösen.

Von Michael Moorstedt

Vor Kurzem beobachtete der Informatiker Vicente Ordóñez ein seltsames Muster an der Bilderkennungssoftware, die er gerade entwickelte. Wenn das Programm das Foto einer Küche gezeigt bekam, assoziierte es damit automatisch "Frau". Er beschloss, der Sache nachzugehen und fand heraus, dass zwei große Bilddatenbanken, die unter anderem von Facebook und Microsoft für die Entwicklung ihrer Software verwendet werden, starke sexistische Tendenzen offenbaren.

Unterschiedliche Aktivitäten werden geschlechtsspezifisch gewertet. Einkaufen und Kochen wird Frauen zugeordnet, Schießen oder Trainieren dagegen Männern. Das führt mitunter zu ebenso skurrilen wie traurigen Ergebnissen. So fand Ordóñez heraus, dass das Foto eines Mannes am Herd von der Software mit der Beschreibung "Frau" versehen wurde.

Egal, ob es nun falsch gelabelte Fotos sind, Amazon-Liefergebiete, die Stadtviertel mit überwiegend schwarzer Bevölkerung außen vor lassen oder Bankdarlehen, die nach Hautfarbe vergeben werden - ein solcher "algorithmic bias" kommt immer wieder mal vor. Im Zweifelsfall bleiben die Algorithmen inhärenten Vorurteile jedoch unentdeckt, denn als Außenstehender kann man die undurchsichtigen Vorgänge innerhalb der Software kaum nachvollziehen - allein schon deshalb, weil die IT-Konzerne eifersüchtig über ihre Geschäftsgeheimnisse wachen.

"Themis" soll helfen

Yuriy Brun und Alexandra Meliou, zwei IT-Professoren der Universität von Massachusetts, wollen sich nun des Problems annehmen. Dazu schrieben sie eine kleine Software namens Themis, die die Eingabe von tausenden Persönlichkeitsprofilen in Webformulare simuliert. Dafür werden Variablen wie etwa Rasse, Geschlecht oder Herkunft verändert und dann gemessen, zu welchem Ergebnis der Algorithmus kommt. So ergeben sich Muster, die beweisen, ob man es mit einem im System fest verbauten Vorurteil zu tun hat oder nicht.

Ihr Programm haben die beiden für jedermann zur freien Verfügung auf der Software-Plattform Github veröffentlicht. Sie versprechen sich davon, dass Aktivisten und Journalisten Themis nutzen, um die Entscheidungen all der Algorithmen, die die Nutzer im Alltag taxieren und steuern, besser nachvollziehen zu können. Die beiden Entwickler erhoffen sich, dass auch die großen IT-Konzerne ihr Programm nutzen werden. Schließlich ist der "algorithmic bias" wohl in den seltensten Fällen beabsichtigt. Er entsteht vielmehr dadurch, dass die Programme versuchen, die Vorgaben ihrer Entwickler umzusetzen.

"Diese Systeme betrachten riesige Datenmengen und versuchen, daraus zu lernen", sagt Brun. "Sie versuchen eine mathematische Formel zu lösen. Und wenn diese Formel besagt, dass die gleiche Anzahl von Frauen und Männern ein Darlehen erhalten sollen, wird das System einen Weg finden, diese Formel zu erfüllen." So kann es jedoch passieren, dass durch den Versuch, die eine Ungerechtigkeit zu eliminieren, eine andere Diskriminierung entsteht. "Das Fazit lautet: Software ist kompliziert", so Brun.

Zur SZ-Startseite

Lesen Sie mehr zum Thema

Jetzt entdecken

Gutscheine: