Künstliche Intelligenz:Computer, erklär mir, was du tust

Geschäftsmann schaut auf Liniendiagramm auf dem Bildschirm eines Roboters PUBLICATIONxINxGERxSUIxAUT

Wissenschaftler fordern, dass die Entscheidungen, die von Maschinen getroffen werden, auch für Menschen nachvollziehbar sein sollen.

(Foto: imago/Ikon Images)
  • Künstliche Intelligenz soll ihre Entscheidungen erklären, sodass Menschen sie nachvollziehen können.
  • In der Praxis ist diese Forderung nach Transparenz nicht ganz einfach umzusetzen.
  • Juristen, Programmierer und Daten-Ethiker diskutieren über Lösungen.

Von Johannes Kuhn, Austin

Jeder Informatikstudent, der sich mit Künstlicher Intelligenz (KI) beschäftigt, kennt die Panzer-Anekdote. Zwar ist die Quellenlage nicht eindeutig, dennoch wird sie seit Jahrzehnten immer wieder erzählt. Während des Kalten Krieges führte das US-Militär ein Experiment mit einer Frühform eines neuralen Netzes durch. Es offenbart einige Grundprobleme im Umgang mit KI, die bis heute nicht gelöst sind.

Die Militär-Forscher wollten der KI-Software beibringen, Panzer zu erkennen. Dafür fotografierten sie einen Wald aus der Luft - einmal im Naturzustand, dann mit versteckten Tarnpanzern unter den Bäumen. Sie fütterten das Programm mit den Fotos, und nach kurzer Zeit identifizierte es zielsicher die Aufnahmen, auf denen Militärfahrzeuge zu erahnen waren. Damals wurde das als erstaunlicher Erfolg gefeiert, doch die Begeisterung hielt nur kurz. Als das Pentagon wenig später die Software mit anderen Panzer-Aufnahmen testete, landete die KI nur Zufallstreffer. Ursache des Versagens: Der leere Wald war im Sonnenschein fotografiert worden, die Panzer-Aufnahmen bei bewölktem Himmel.

Was lässt sich daraus heute lernen? Noch immer gilt, dass Entscheidungen von KI-Systemen direkt davon abhängen, mit welchen Daten sie gefüttert werden. Rechenkraft, Komplexität und Größe der Datensätze sind in den vergangenen Jahrzehnten um ein Vielfaches gewachsen. Dementsprechend funktionieren solche Foto-Sortierungen heute (meist) fehlerfrei. Doch was passiert bei komplexeren Aufgaben, die Menschen nicht so leicht beurteilen können wie die Helligkeit eines Fotos? Wer versteht die Entscheidungen eines Programms, das aufgrund unterschiedlichster Faktoren die Rückfallwahrscheinlichkeit eines Straftäters berechnet?

Was bedeutet "Transparenz" für Software-Entscheidungen?

Diese Debatte führen Wissenschaftler und Juristen derzeit mit großer Leidenschaft: Ist es mögich, KI-Systeme zu "Transparenz" verpflichten, also dazu, ihre Urteile für Menschen nachvollziehbar zu machen? Entscheidungen in vielen Lebensbereichen sind bereits automatisiert oder werden in absehbarer Zeit von Computern getroffen werden: Algorithmen kalkulieren Versicherungsprämien, sortieren Bewerbungen oder treffen städteplanerischen Entscheidungen. Deshalb handelt es sich keineswegs nur um theoretische Fragen unter Wissenschaftlern.

"Erklärbarkeit ist die größte Herausforderung, der wir uns im Bereich der KI stellen müssen", verkündete jüngst Andrew Burt, der für die Datenanalyse-Firma Immuta und an der Universität Yale zu diesem Thema forscht. Das Problem wird bereits bei herkömmlichen Algorithmen offensichtlich, die im US-Justizsystem eingesetzt werden. Sie lernen aus bisherigen Fällen und den Vorurteilen der Richter. Dadurch prognostizieren sie Afroamerikanern eine höhere Rückfallwahrscheinlichkeit, als diese in der Realität zeigten (bei Weißen war es umgekehrt).

Die Entscheidungslogik eines neuronalen Netzes, das die KI-Entwicklung so beschleunigt hat, ist um einiges komplexer. Sie entsteht aus einem Zusammenspiel Tausender künstlicher Neuronen, die wiederum in Dutzenden bis Hunderten miteinander verbundenen Ebenen angeordnet sind und sich verschieben - nicht umsonst ist das System den Verschaltungen des menschlichen Gehirns nachempfunden.

Firmen begründen Intransparenz mit Geschäftsgeheimnissen

Doch selbst neuronale Netze sind nur auf eine Aufgabe trainiert und spezialisiert. Wenn KI einen versteckten Panzer im Wald identifiziert, hat sie deshalb noch keine Antworten auf für Menschen selbstverständliche Fragen: Was macht ein Panzer? Lässt sich ein Panzer essen? Welche Tiere leben normalerweise im Wald?

Einige Wissenschaftler fordern Einblick in den Quellcode oder die Trainingsdatensätze. Allerding stammen die meisten Anwendungen bereits jetzt aus der Privatwirtschaft, und die Forschung verlagert sich immer mehr dorthin. Die Unternehmen lehnen es häufig unter Hinweis auf Geschäftsgeheimnisse ab, ihre Algorithmung offenzulegen. Die Intransparenz wird also nicht nur technisch, sondern mit kommerziellen Interessen begründet. Jura-Professor Frank Pasquale fordert, dass zumindest Expertengremien Zugang zu solchen sensiblen Informationen erhalten sollten.

Die Idee, "Deep Learning"-Systeme ihre Entscheidungen begründen zu lassen, gleiche "irgendwann dem Versuch, einem Hund Shakespeare zu erklären", spottete vor anderthalb Jahren noch der Roboteringenieur Hod Libson. Inzwischen aber versuchen Forscher in Berkeley und anderen Universitäten, solche Erklärsysteme zu entwickeln.

Das Problem der logischen Erzählung

Dabei stecken sie noch am Anfang. Eine Software mag für Menschen verständlich begründen können, wie sie auf einem Foto einen Vogel identifiziert hat. Doch je komplexer der Fall ist, je mehr Faktoren eine Rolle spielen und je häufiger die KI die komplette Entscheidungslogik ändert, weil sie neue Muster erkannt hat, desto schwieriger wird eine Erklärung, die nicht nur technische Experten verstehen.

Eine pragmatischere Lösung schlägt die Juristin und Daten-Ethikerin Sandra Wachter vom Oxford Internet Institut gemeinsam mit ihren Kollegen Brent Mittelstadt und Chris Russell vor: Statt die KI die Vorgänge im Maschinenraum erklären zu lassen, soll sie erklären, was für eine andere Entscheidung notwendig wäre. Wenn eine Software einen Kredit ablehne, könnte sie doch den Bankkunden aufklären, woran es lag; zum Beispiel daran, dass er nur 25 000 Euro im Jahr verdient, aber bei 35 000 Euro eine Genehmigung erhalten hätte.

Dass solche Scoring-Erklärungen immer wichtiger werden, zeigt das Projekt der Organisation Algorithmwatch, das die Berechnung des umstrittenen und intransparenten Schufa-Scores auf systemische Fehler überprüfen möchte und dafür Datensätze von Freiwilligen sammeln muss.

Vorsicht, Empathie-Ausschaltung

Im Mai tritt die Europäische Datenschutzrichtlinie in Kraft. Sie verankert ein Recht auf Erklärung algorithmischer Entscheidungen. Es gilt allerdings nur, wenn ein Kunde geschädigt wurde und die Entscheidung komplett automatisiert getroffen wurde, also gänzlich ohne menschliches Zutun. Dieser Passus dürfte einerseits problematische Vollautomatisierungen bremsen; andererseits kann der menschliche Faktor schon darin liegen, eine Entscheidung einfach nochmal mit einem "Okay" abzusegnen.

Dieses Szenario kann oft in "Empathie-Ausschaltung" münden, wie Informatik-Ethiker befürchten: Wenn sich Institutionen und ihre Mitarbeiter auf die Entscheidung der Software verlassen, können sie eigene ethische Zweifel verdrängen und sich auf die Intelligenz des Systems berufen. Die aktuelle Diskussion spiegelt deshalb auch den Versuch wieder, selbstlernender Software eine Struktur für menschenfreundliche Entscheidungen zu geben.

Zur SZ-Startseite

Lesen Sie mehr zum Thema

Jetzt entdecken

Gutscheine: