Automatisierung:Der Staat wird digitaler, die Bürger misstrauischer

Serverschrank mit Netzwerkkabeln

Die meisten Deutschen wollen, dass ein Mensch über ihren Antrag auf Arbeitslosengeld entscheidet, keine künstliche Intelligenz.

(Foto: Julian Stratenschulte/PA/dpa)

Immer mehr Behörden nutzen Algorithmen für ihre Entscheidungen. Doch der Mensch vertraut dem Menschen immer noch mehr als der Maschine. Deshalb braucht es klare Regeln.

Essay von Valentin Dornis

Sieben Sessel stehen im Kreis, mit dunkelroten Polstern und einem eckigen Steuermodul, das in die Lehne eingelassen ist. Der Raum wirkt wie eine Kommandozentrale aus einer Science-Fiction-Serie, doch er ist echt. Und er erzählt von dem Moment, als die Vision eines automatisierten Staates schon einmal ganz nah an der Umsetzung war: Mit dem Projekt "Cybersyn" sollten Anfang der 1970er-Jahre in Chile Computer den staatlichen Alltag organisieren, zum Beispiel Fabriken kontrollieren und Lieferketten anpassen. Doch es wurde nie vollständig umgesetzt.

Cybersyn könnte nur eine unterhaltsame Episode aus der Geschichte der Planwirtschaft sein. Die Realität ist aber: Wir leben längst im Zeitalter der Automatisierung - und das gilt auch für die öffentliche Verwaltung. In den USA nutzt die Justiz automatisierte Systeme in der Strafverfolgung, in China vermessen und kontrollieren die Behörden ihre Bürger immer strenger digital. Auch in Deutschland setzen staatliche Verwaltungen bereits zum Teil automatisierte Systeme ein - oder es gibt entsprechende Pläne. Doch welchen Einfluss hat das auf eine demokratische Gesellschaft? An dieser Frage wird sich in Zukunft das Verhältnis zwischen Bürgern und staatlichen Institutionen entscheiden. Es ist eine Frage des Vertrauens. Bevor der automatisierte Staat noch mehr Einfluss auf das Privatleben der Bürger nimmt, muss er sich klare Regeln geben.

Seit mehr als 150 Jahren gibt es in Deutschland die amtliche Statistik, die diverse Dinge misst und auswertet. Doch über die Jahre hat sich etwas verändert: Anfangs dienten die erhobenen Daten zu sozialen Strukturen, angemeldeten Fahrzeugen, der Anzahl Arbeitsloser noch hauptsächlich als Entscheidungsgrundlage für die Regierung und zur Orientierung der Bürger. Die individuellen Daten, also zum Beispiel die Steuererklärung, die Job-Historie, die Fingerabdrücke eines Menschen, wurden getrennt von dieser amtlichen Statistik gesammelt und verwahrt.

In Umfragen lehnen die meisten Bürger den Einsatz künstlicher Intelligenz ab

Mit der Algorithmisierung werden diese beiden Säulen staatlicher Datensammlung stärker miteinander verknüpft. Das ermöglicht eine immer genauere Einordnung jedes einzelnen Bürgers durch den Staat: Wie steht er im Vergleich zur restlichen Gesellschaft da? In Österreich ließ der Arbeitsmarktservice (AMS), vergleichbar mit der deutschen Bundesagentur für Arbeit, einen Algorithmus entwickeln, der die Chancen von Arbeitslosen auf einen neuen Job bewerten soll. Das Programm nutzt persönliche Daten wie die Ausbildung, das bisherige Arbeitsleben, Alter, Geschlecht und Staatsangehörigkeit. Der Algorithmus berechnet dann auf Basis allgemeiner Arbeitsmarktdaten einen sogenannten "Integrations-Chancenwert", eine Prozentzahl. Die soll Auskunft darüber geben, wie gut die Aussichten dieses Menschen auf eine neue Stelle sind und wie er oder sie gefördert werden soll.

In repräsentativen Umfragen des Fraunhofer Instituts FOKUS lehnten es 67 Prozent der Befragten in Deutschland ab, dass eine künstliche Intelligenz (KI) über ihren Arbeitslosengeld-Antrag entscheidet. Acht von zehn Befragten fühlten sich bei Fehlern durch automatisierte Entscheidungen wehrloser, als wenn ein Beamter Fehler macht. Etwa die Hälfte der Befragten bezweifelte, dass die staatliche Verwaltung verantwortungsvoll mit ihren Daten umgeht und zum Beispiel Datenschutz-Regeln und Vorschriften zur IT-Sicherheit beachtet.

Einer der wichtigsten Faktoren für die Akzeptanz automatisierter Systeme ist der Mensch. Der Berater im Jobcenter ist ein lebendiges Symbol des Verantwortungsbewusstseins und der vermeintlich persönlichen Nähe zwischen Staat und Bürgern. Doch auch er handelt meist in einem klar definierten Rahmen, wie bei einem Algorithmus durchläuft er einen Katalog an Kriterien, die er abfragt und mit anderen Daten abgleicht. Liefe der gleiche Prozess automatisiert ab, mit einer Software, und diese käme zu exakt dem gleichen Ergebnis - der Bürger würde eine negative Entscheidung dennoch wesentlich schlechter aufnehmen. Gegenüber einer Software erkennt er viel stärker seine eigene Ohnmacht, meint die Kälte des Algorithmus zu spüren. Dabei spürt er eigentlich nur die Kälte der Bürokratie, deren Regeln er sich unterwerfen muss.

Menschen sind sehr konsequent darin, ihre eigene Spezies zu überschätzen. Besonders anschaulich wird das in der Medizin, wo Programme bei der Erkennung bestimmter Krankheiten deutlich bessere Trefferquoten haben als Ärzte. Trotzdem würden viele Patienten ihre Daten lieber von einem Menschen analysieren lassen. Wenn der Staat also in Zukunft mehr automatisiert, dann muss er sicherstellen, das Vertrauen der Bürger zu erhalten. Jeder kleine Schritt in Richtung Automatisierung könnte auch ein Schritt zur Entfremdung zwischen seinen Institutionen und den Bürgern sein.

Weltweit arbeiten Wissenschaftler an Gütekriterien für den Einsatz von Algorithmen durch den Staat, in Deutschland etwa im Projekt Algorithmenethik von der Bertelsmann Stiftung. Am Fraunhofer-Institut FOKUS beschäftigen sich Forscher mit der Frage, wie IT in der öffentlichen Verwaltung effizient und im Sinne des Allgemeinwohls eingesetzt werden kann. Die Wissenschaftler sind sich in zwei Dingen einig: Dass mehr Automation durchaus sinnvoll sein kann, weil sie eine Verwaltung effizienter machen kann. Und dass für die Umsetzung dieser Automatisierung allgemeingültige und verbindliche Regeln nötig sind.

Schätzt der Algorithmus Jobchancen falsch ein, kann das Leben verändern

Es gibt einfache Programme, die wenige Kriterien überprüfen und dann ein klares Ergebnis auswerfen. Es gibt KI, die mit dem vorhandenen Wissen der Welt gefüttert wird und auf dieser Basis vorher definierte Entscheidungen trifft. Und es gibt die modernere KI, die sich ständig verändert, die neuronale Netze und eigene Entscheidungsmuster entwickelt. Es gibt also, ähnlich wie beim autonomen Fahren, auch in der Verwaltung mehrere Automatisierungsgrade.

Wenn ein Algorithmus die Entscheidung treffen muss, ob eine einzelne Person Fortbildungsangebote bekommt oder ein Unternehmen staatliche Fördermittel, dann können Fehler passieren. Welche Auswirkungen diese Fehler haben können, ist sehr unterschiedlich. Geht es nur darum, dass jemand einen Parkausweis für eine bestimmte Straße zugewiesen bekommt, sind die Folgen überschaubar und leicht revidierbar. Schätzt der Algorithmus Jobchancen falsch ein, dann kann das hingegen dramatische und langfristige Auswirkungen auf das Leben eines Menschen haben - weil dieser zum Beispiel nicht angemessen gefördert wird und deshalb lange arbeitslos bleibt. Im Nachhinein ist eine solche Entscheidung schwer zu korrigieren, verpasste Chancen lassen sich kaum ausgleichen. Und wie soll der Betroffene nachweisen, dass der Algorithmus einen Fehler gemacht hat?

Staatliche Institutionen müssen also genau analysieren, welche Fehler auftreten können, welche Folgen das haben kann, ob und wie Fehlentscheidungen revidiert werden können - und ob der Einsatz von Algorithmen überhaupt sinnvoll ist. Sie müssen definieren, wie mit Fehlern umgegangen wird, wohin sich Menschen bei Problemen wenden können, wer juristisch verantwortlich ist und wie hoch der Automatisierungsgrad sein soll, der für bestimmte Entscheidungen vertretbar ist. Und zwar, bevor ein Auftrag für die Software vergeben wird.

Die verwendeten Daten, mit denen eine KI trainiert wird, müssen zudem auf mögliche Verzerrungen ("data bias") geprüft werden. Wenn Frauen historisch aus vielfältigen Gründen weniger arbeiteten und weniger Geld verdienten als Männer, dann darf das nicht als natürliche Gesetzmäßigkeit übernommen werden. Sonst könnte sich ein Zustand verfestigen, in dem Einzelne diskriminiert werden. Für das Vertrauen in staatliche Entscheidungen wäre das nicht gut.

Gerade sozial schwache Menschen sind auf Schutz angewiesen

Um das zu vermeiden, ist Transparenz nötig. Es wäre unrealistisch, von jedem Bürger zu verlangen, sich in die Details komplexer Algorithmen einzuarbeiten. Um Transparenz herzustellen, ist es nicht damit getan, alle Unterlagen ins Internet zu stellen. Transparenz bedeutet, eine unabhängige Kontrolle zu institutionalisieren. Denkbar wären etwa Beiräte für Algorithmenethik, die staatliche Ausschreibungen von Beginn an kritisch begleiten. Solch ein Beirat müsste verschiedene soziale Schichten, Minderheiten, Unternehmen und die Wissenschaft repräsentieren. Algorithmische Entscheidungen und mögliche Fehler haben besonders großen Einfluss auf das Leben sozial schwacher Menschen - Arme, Alte, Kranke, Menschen mit Migrationshintergrund, Alleinerziehende, Menschen also, die mehr als andere auf die Hilfe und den Schutz des Staates angewiesen sind. Nur durch eine angemessene Vertretung dieser Interessensgruppen lässt sich die Gefahr der Diskriminierung abwehren.

Transparenz bedeutet aber auch, Ausschreibungs- und Vergabeprozesse zugänglicher zu machen. Es muss eine Lösung für das Ausschreibungsrecht geben, die den Fokus weniger auf die Kosten als auf die fachgerechte Umsetzung lenkt. Eine Formel, die verschiedene Bürgerrechtsorganisationen in diesem Zusammenhang nutzen, lautet: "öffentliches Geld, öffentliche Software". Ist der Quellcode der Programme öffentlich einsehbar, kann sie jeder überprüfen. Je mehr Menschen sich die Software anschauen können, desto größer ist die Wahrscheinlichkeit, dass Fehler auffallen. Das öffentliche Interesse und das Allgemeinwohl müssen wichtiger sein als das Urheberrecht einzelner Unternehmen, die diese Software entwickeln.

Wichtig ist, dass die Gütekriterien für die Algorithmen ständig überprüft und gegebenenfalls angepasst werden. Erst wenn die Bürger sehen, dass hinter den Maschinen immer noch Menschen stehen, die ansprechbar sind, die eingreifen und Fehler korrigieren können, kann es dem Staat gelingen, Ängste abzubauen. Indem er sich klare Regeln gibt, zeigt er, dass er die Sorgen der Bürger ernst nimmt. Ein demokratischer Staat ist auf das Vertrauen der Bürger in seine Institutionen und seine Entscheidungen angewiesen. Dieses Vertrauen darf er nicht verspielen.

Zur SZ-Startseite
SZ-Wirtschaftsgipfel Salon

Künstliche Intelligenz
:"Eines beherrschen deutsche Firmen überhaupt nicht: Propaganda"

KI-Forscher Jürgen Schmidhuber spricht über Maschinen, die das Weltall erobern und erklärt, warum Deutschland sich selbst im Weg steht.

Lesen Sie mehr zum Thema

Jetzt entdecken

Gutscheine: