Künstliche Intelligenz funktioniert in einigen Bereichen relativ reibungslos, sodass immer mehr Menschen sich auf ihre Vorhersagen verlassen. Im amerikanischen Gesundheitswesen zum Beispiel ist eine kommerzielle KI im Einsatz, die Patienten mit besonderen Bedürfnissen identifizieren soll. Sie werden in ein Programm aufgenommen, in dem sie intensiv betreut werden. Unter dem Strich hilft dies den Patienten, und es senkt die Kosten, da man unter 200 Millionen Menschen nur jene auswählt, die besonders davon profitieren. Ausschlaggebend sind die Kosten, die sie bereits verursachen.
Weil aber schwarze Menschen im Durchschnitt weniger medizinische Hilfsleistungen beanspruchen - sie haben einen schlechteren Zugang zum Gesundheitssystem -, fallen sie durch dieses Raster. Die künstliche Intelligenz lernt, sie zu übergehen. Forscher um Ziad Obermeyer von der Universität Kalifornien haben diese technische Voreingenommenheit aufgedeckt. Sie gehen davon aus, dass nach einer Korrektur des Programms unter den chronisch kranken Patienten der Anteil der schwarzen Bevölkerung, die zusätzliche Leistungen bekämen, von knapp 20 auf etwa 50 Prozent steigen würde.
Ähnliche Vorurteile wurden in KI-basierten Gesichtserkennungssystemen, Bewerbungsverfahren und in den Algorithmen hinter Websuchen festgestellt, heißt es in der Studie. Solche Algorithmen, die in großem Maßstab eingesetzt werden, seien meist proprietär. Die Firmen würden keinen Einblick gewähren in das, was sie auf die Leute loslassen, schreiben die Wissenschaftler. Das macht es unabhängigen Forschern schwer, sie zu analysieren. Sie können nur Missstände dokumentieren, aber nicht verstehen, wie sie zustande kommen. Einige KI-Anbieter sagen, dass es nur darauf ankäme, ob die Ergebnisse gut seien oder nicht. Nur manchmal sieht man dies dem Ergebnis nicht direkt an. Der Gesetzgeber fordert zwar beim Einsatz von KI in sensiblen Bereichen, dass Entscheidungen erklärbar oder interpretierbar sind, aber was damit gemeint ist, definiert er nicht. Und damit gibt er Unternehmen freie Hand.
Um Fehler zu vermeiden, müssen Forscher wissen, wie eine künstliche Intelligenz arbeitet
Mit dem Erfolg von Deep Learning werden die maschinellen Lernmodelle komplexer und schwieriger zu erklären. Solche Systeme, auch künstliche neuronale Netze genannt, setzen sich aus Hunderten von Funktionen und Millionen von Parametern zusammen. Sie werden mit Daten trainiert und finden darin Muster, dank derer sie aus unbekannten ähnlichen Daten Schlüsse ziehen können. Die Lernprozesse gelten als Blackbox, weil eine derartige Vielzahl von Prozessen nicht überschaubar ist. Was in der Blackbox passiert, sei ein Rätsel, sagen viele Anwender. Aber das ist nicht ganz richtig.
"Grundsätzlich können Sie jedes KI-System bis zu einem gewissen Grad interpretieren", sagt Christoph Molnar, der am Institut für Statistik der Ludwig-Maximilians-Universität München erforscht, wie man maschinelles Lernen interpretierbar machen kann. Wie dringend dies sei, hänge vom Anwendungsfall ab. "Ein Fehler in einem System, das Produktempfehlungen für Kunden gibt, ist natürlich weniger folgenreich als in einem System, das einen Tumor diagnostizieren oder ein Auto lenken soll", sagt er. Im letzteren Fall sei die Erklärbarkeit mitunter lebenswichtig. Die interpretierbare oder erklärbare KI ist deshalb ein eigener Forschungszweig geworden.
Wissenschaftler der Technischen Universität Berlin (TU), des Fraunhofer Heinrich-Hertz-Instituts und der Singapore University of Technology and Design haben eine Technik entwickelt - die Spektrale Relevanzanalyse (SpRAy) - die es erlaubt, die Kriterien der Entscheidungsfindung zu visualisieren, zum Beispiel in Form von Heatmaps. Das ist, als würde man einer KI einen Laserpointer aufsetzen, sodass man am Lichtstrahl beobachten kann, wo die KI hinschaut. "Was wir dafür brauchen, ist allerdings auch Einblick in das Modell - wir müssen also wissen, wie die Struktur des Netzwerks aussieht und ebenso, welche Parameter es nutzt", sagt Klaus-Robert Müller von der TU Berlin. "Unsere Erklärmethode funktioniert so gut, weil wir dies alles berücksichtigen und erst dadurch nachvollziehen können, wie das Netz entschieden hat."
Die Forscher fanden damit Mängel in einem KI-System, das vor einigen Jahren mehrere internationale Wettbewerbe zur Bildklassifikation gewonnen hatte. Es basiert auf einem statistischen Modell, den sogenannten Fisher-Vektoren (FV). Dieses FV-Model und ein Vergleichsmodell, ein eigens dafür trainiertes künstliches neuronales Netz, sollten in der Studie erkennen, ob auf einem Foto ein Pferd zu sehen ist oder nicht. Der Vergleich offenbarte erhebliche Abweichungen. Die Heatmap des Netzes zeigte Pferd inklusive Reiter rötlich an - er untersuchte also tatsächlich den Bildinhalt. Im Gegensatz dazu ließ die Heatmap des preisgekrönten FV-Modells die linke untere Ecke des Bildes in warmen Farben erscheinen. Dort steht auf vielen Bildern die Quellenangabe, zum Beispiel der Name eines Pferdefotoarchivs.
Die KI identifizierte folglich nicht das Pferd, sondern lernte, es anhand der Quellenangaben zu erkennen. Es las im übertragenen Sinne einfach ab - wie von einem Spickzettel. Diese Strategie sei ein klarer Fall von "Cleverer Hans"-Verhalten, wie Müller das nennt. Der clevere oder kluge Hans war ein Pferd zu Beginn des 20. Jahrhunderts. Ein Lehrer behauptete, dem Pferd Rechnen beigebracht zu haben, und tatsächlich beantwortete es Aufgaben korrekt, zum Beispiel, indem es mit einem Huf klopfte oder nickte. Damals fanden Wissenschaftler jedoch heraus, dass das Pferd nur feinste Nuancen in Gestik und Mimik des Lehrers deuten konnte - er verriet also unbeabsichtigt die Lösung.
Die Forscher um Müller konnten bei dem FV-Netzwerk ihr Ergebnis noch einmal bestätigen, in dem sie die Quellenangaben aus dem Foto herausnahmen und in ein Bild mit einem Sportwagen einfügten - die KI erkannte nun in dem Auto ein Pferd. "Solche KI-Systeme sind in der Praxis völlig nutzlos und sicherheitskritischen Bereichen enorm gefährlich", warnt Klaus-Robert Müller. Das Problem daran ist, dass man nicht weiß, was eine KI im Alltag mit solchen trickreichen Lösungen alles anrichten kann. "Es ist denkbar, dass bis zur Hälfte der derzeit eingesetzten KI-Systeme implizit oder explizit auf solche Strategien setzen."
Müller und seine Kollegen sind nicht die Einzigen, die an erklärbarer KI forschen - das Gebiet wächst rapide. Es gibt inzwischen eine ganze Reihe von vielversprechenden Ansätzen, sagt Christoph Molnar. Zum Beispiel Shapley Additive Explanations (SHAP): Diese Technik versucht zu identifizieren, auf welche Teile der Eingabedaten sich ein trainiertes Modell am meisten stützt. Forscher können zum Beispiel bei einer Gesichtserkennung die Augen oder die Nasen testweise aus den Bilddaten entfernen, um herauszufinden, ob die KI trotzdem noch Menschen auf Fotos erkennt.
Reicht es, wenn Experten verstehen, was ein System macht? Oder muss der Anwender das nachvollziehen können?
Sebastian Palacio vom Deutschen Forschungszentrum für Künstliche Intelligenz in Kaiserslautern arbeitet an KI-Modellen, die von vorneherein so konzipiert sind, dass sie leicht interpretierbar sind. Letzten Endes sind solche Modelle eine Rückbesinnung auf Expertensysteme. Gegenwärtig funktionieren typische KI-Modelle, insbesondere neuronale Netze so, dass sie nicht wissen müssen, was etwa einen Tumor auf einer Aufnahme ausmacht - sie lernen es anhand von Beispielen. Bindet man Experten ein und gibt der KI bereits einige Merkmale vor, sind ihre Entscheidungen leichter zu interpretieren. Das hat den Nachteil, dass die KI weniger dazu fähig ist, etwas zu finden, was Experten bislang entgangen ist. Daher haben die bisherigen Modelle auch ihre Berechtigung, auch wenn ihre Erklärbarkeit Grenzen hat.
Ein Problem sei, dass es keine grundlegende Definition dafür gebe, was Erklärbarkeit bedeute - weder vom Gesetzgeber noch in der Wissenschaft, sagt Palacio. In der EU-Datenschutz-Grundverordnung steht zum Beispiel, dass Entscheidungsprozesse mittels eines automatisierten Verfahrens erklärbar sein müssen. Aber es gibt keine genaue Definition, was das bedeuten soll. Reicht es, wenn Experten verstehen, was ein System macht? Oder muss der Anwender das nachvollziehen können?
Nicht zuletzt kann eine KI auch einfach mit Beispielen Einblicke in Entscheidungen geben. Wenn zum Beispiel eine KI Bildinhalte erkennen soll und eine Katze als Haus bezeichnet, kann sie bei der Fehlersuche Beispiele von Häusern oder Katzen zeigen - daraus kann hervorgehen, wie der Fehler zustande kam, etwa weil in mehreren Bildern Katzen vor Häusern zu sehen sind. Aber würde das als Erklärbarkeit durchgehen? Solange das nicht geklärt ist, werden Unternehmen wenig Anreiz haben, ihre KI interpretierbar zu machen. Und dann kann eine angeblich zuverlässige KI weiterhin mitunter nur einen Hautkrebs erkennen, wenn er vom Arzt auf einem Bild mit einem Pfeil markiert ist - auch das ist schon vorgekommen.
