Studie zu Algorithmen:Warum Computer nicht vor Diskriminierung schützen

Lesezeit: 3 Min.

Diskriminierungen durch Algorithmen betreffen auch Häftlinge. (Foto: dpa)
  • Das Institut für Technikfolgenabschätzung hat untersucht, wie sich die verstärkte Nutzung von Algorithmen in der Behörden auswirken könnte.
  • Die Forscher warnen, dass auch von Maschinen getroffene Entscheidungen diskriminierend sein können.
  • Ein Fehler im System könne dabei noch größere Folgen haben, als falsche Entscheidungen von Menschen.

Von Max Muth

Algorithmen sind seit einigen Jahren schwer in Mode. Nicht ganz zu Unrecht, sind sie doch für einen guten Teil der digitalen Erfolgsstorys mitverantwortlich. Der Google-Algorithmus sortiert Suchergebnisse so, dass Suchende finden. Facebooks Algorithmus platziert den Nutzenden passgenau die Inhalte, die sie wirklich interessieren - und Online-Werbung zeigt Surfenden Anzeigen von Produkten, die sie mit hoher Wahrscheinlichkeit kaufen würden. Algorithmen sparen Zeit, sie sind Optimierungswerkzeuge.

Insofern ist es wenig überraschend, dass sich mittlerweile auch die Politik stark für die Entscheidungshilfen per Computer interessiert - mit ähnlichen Begründungen. Zusätzlich zum Argument der Effizienz, das beim Umgang mit Steuergeld ohnehin immer gut ankommt, schwärmen Politiker gern von der vermeintlichen Objektivität, die von Computern getroffene Entscheidungen ausstrahlen. Dass diese Objektivität in der Praxis jedoch häufig ein Trugschluss ist, davon konnten sich Bürger des US-Bundesstaats Indiana schon 2006 überzeugen.

Damals erteilte der Gouverneur Indianas dem Computerriesen IBM den Auftrag, die Verwaltung seiner Sozialsysteme zu modernisieren. Anstelle von Sozialarbeitern, die ihre Kunden oft über Jahre kannten, sollten Computer eine größere Rolle spielen, Maschinen statt Menschen sollten künftig darüber entscheiden, ob Antragsteller tatsächlich ein Recht auf Beihilfe für Krankenversicherungen, Essen oder Wohnungen haben. Das erklärte Ziel der Regierung: Sozialmissbrauch verhindern und die Entscheidungen fairer gestalten. Kern dieser computergestützten Lösung von IBM sollte ein Algorithmus sein: In einem Computersystem werden alle verfügbaren Daten der Antragsteller gesammelt, dort werden sie verarbeitet, am Ende steht das Ergebnis.

Algorithmen sind nicht neutral

Im ersten Jahr nach Einführung des neuen Systems wurden über eine Million Anträge abgelehnt, ein Anstieg von 54 Prozent. Zehntausende Menschen verloren ihre Krankenversicherung, Essensmarken oder andere Beihilfen. Viele von ihnen hatten neue Online-Formulare nicht korrekt ausgefüllt oder jahrealte Belege nicht mehr gefunden. In zumindest einem Fall starb eine Frau, weil ihr das Computersystem die notwendige Krebsbehandlung verweigerte. Recherchiert hat ihn die US-Autorin Virginia Eubanks, die seit Jahren zu den Folgen automatisierter Entscheidungsmechanismen forscht und an der State University of New York (SUNY) lehrt. Ihre Erkenntnisse hat Eubanks 2018 in ihrem Buch "Automating Inequality. How High-Tech Tools Profile, Police, and Punish the Poor" zusammengefasst. Eubanks Botschaft: Algorithmen sind nicht neutral, egal wie sehr Politiker von Effizienz und Objektivität der neuen Entscheidungshelfer schwärmen.

Zu einem ähnlichen Ergebnis kommt jetzt eine Studie des Instituts für Technikfolgenabschätzung und Systemanalyse des Karlsruher Instituts für Technologie (KIT), in Auftrag gegeben von der Antidiskriminierungsstelle des Bundes. Die Forscher sollten herausfinden, inwiefern algorithmenbasierte Systeme zu Diskriminierung einzelner Menschen oder ganzer Bevölkerungsgruppen beitragen können. Ein zentrales Ergebnis: Im Vergleich zu Entscheidungen durch Sachbearbeiter steigt die Diskriminierungsgefahr sogar noch, wenn Computer die Entscheidungen treffen. Denn Menschen urteilen von Fall zu Fall. Steckt ein Fehler im Algorithmus, hat er automatisch Auswirkungen auf alle Entscheidungen.

Ob eine Maschinenentscheidung diskriminierend ist oder nicht, ist nicht immer leicht zu entscheiden. Denn Computer arbeiten oft mit Daten, die zwar nicht als direkte Diskriminierungsgründe gelten, die aber dennoch auf das eigentlich geschützte Kriterium zurückzuführen sind. So dürfen Arbeitnehmerinnen etwa nicht wegen ihres Geschlechts benachteiligt werden. Wenn ein Computer nun unter Bewerbern für Jobs diejenigen wählt, die nie Fehlzeiten hatten, dann wirkt das wie ein objektives Kriterium, schließt aber beispielsweise Mütter aus, wenn diese Elternzeit genommen hatten.

Besonders knifflig wird es - rechtlich und moralisch - wenn sogenanntes "Machine Learning" zum Einsatz kommt. Bei dieser Art der automatisierten Entscheidungen werden Computer zunächst mit einem großen Berg an historischen Rohdaten und Entscheidungen gefüttert und "lernen" dadurch, was gute Entscheidungen sind. Später sollen sie aufgrund neuer Daten selbst Entscheiden. Was in der Blackbox passiert, können selbst die Programmierer nicht mehr genau sagen.

In fast 50 Fallbeispielen der Studie ziegen die Karlsruher Wissenschaftler, dass nahezu jedes System, das auf Algorithmen beruht, anfällig ist für Diskriminierung. Das fängt schon damit an, dass die automatisch generierten Untertitel auf der Videoplattform Youtube offenbar Probleme haben, die Stimmen von Frauen und Schotten zu transkribieren. Politisch problematischer ist schon, dass Gefühlsanalysen, wie sie zum Beispiel auf Twitter zu politischen Einstellungen stattfinden, die Schriftsprache der afroamerikanischen Bevölkerung weniger gut analysieren können als die weißer US-Amerikaner. So wird die Meinung der schwarzen Bürger im öffentlichen Diskurs womöglich weniger berücksichtigt.

Internetfirmen verweigern Einblicke in ihre Algorithmen

Studienleiter Carsten Orwat kann auf eine Reihe exzellenter Vorarbeiten aufbauen. So demonstrierte die amerikanische Bürgerrechtsorganisation ACLU 2018, dass die Gesichtserkennung von Amazon 28 Mitglieder des US-Kongresses als gesuchte Straftäter einstufte. Überproportional von den falsch-positiven Treffern betroffen waren nicht-weiße Politiker. Die stiftungsfinanzierte Nachrichtenplattform Pro Publica fand heraus, dass ein von der US-Justiz eingesetztes System zur Beurteilung der Rückfallgefahr von Straftätern bei Afroamerikanern ein höheres Risiko berechnete. Auch das Microtargeting auf Facebook, bei dem Nutzer personalisierte Werbung ausgespielt bekommen, ist anfällig für Ungleichbehandlung. So nutzen Arbeitgeber die Plattform teilweise, um Jobanzeigen gezielt nur Männern oder Bewerbern unter einer gewissen Altersgrenze anzuzeigen. Wohnungsvermieter verhinderten nach Recherchen von Pro Publica mithilfe der Technik, dass afroamerikanische Mieter ihre Anzeigen zu sehen bekamen.

Um solche Diskriminierungen vor allem bei künftigen staatlich eingesetzten Algorithmen auszuschließen, empfiehlt die Studie des KIT vor allem Transparenz. Unternehmen wie Facebook weigern sich seit Jahren, Einblick in ihre Algorithmen zu geben. Algorithmen, die für Behörden entwickelt würden, sollten dagegen im Vorfeld umfassend auf mögliche Diskriminierungsrisiken geprüft werden, empfehlen die Studienautoren. Das Ziel müsse sein, dass Algorithmen in Zukunft schon diskriminierungsfrei designt werden.

© SZ vom 16.10.2019 - Rechte am Artikel können Sie hier erwerben.
Zur SZ-Startseite

Schlechte Online-Bewertungen
:Da hilft der beste Kaiserschmarrn nichts

Bloß nicht "geyelped" werden: Wie Online-Bewertungen Laden- und Hüttenbetreiber Nerven kosten - nicht nur im Tegernseer Bräustüberl.

Von Max Hoppenstedt

Lesen Sie mehr zum Thema

Jetzt entdecken

Gutscheine: