Demoskopie: Umfragen sind besser als ihr Ruf

Stimmte die Umfrage? Wahlhelfer zählen in einem Wahllokal die abgegebenen Stimmen. (Foto: dpa)

Ob beim Brexit oder bei Landtagswahlen: Meinungsforscher liegen mit ihren Prognosen immer häufiger daneben - so scheint es. Unsere Datenanalyse zeigt: Tatsächlich sind sie erstaunlich zuverlässig.

Wenn am Sonntag die Wahlergebnisse aus Thüringen kommen, bangen nicht nur Landtags-Kandidaten und Parteifunktionäre, sondern auch Meinungsforscher. Sie werden dann wissen, wie weit ihre Umfragen dieses Mal vom tatsächlichen Wahlausgang entfernt lagen. Bei den Landtagswahlen in Brandenburg und Sachsen Anfang September lagen die Umfragen bemerkenswert weit daneben; ebenso bei der Nationalratswahl in Österreich vier Wochen später. Oft betrug die Abweichung ein Vielfaches dessen, was die statistische Fehlertoleranz erwarten ließ. Neuer Stoff für eine Diskussion, die seit dem für viele überraschenden Ausgang des Brexit-Referendums von 2016 und der Wahl von Donald Trump im selben Jahr immer wieder geführt wird: Welchen Wert haben Umfragen, wenn die Wahl am Ende ganz anders ausgeht?

Ein Blick in die Forschung und eine Datenanalyse der Süddeutschen Zeitung zeigen: Wahlumfragen sind besser als ihr Ruf. Sie liegen deutlich häufiger richtig als falsch. Keine andere Methode kann den Ausgang von Wahlen besser vorhersagen. Und die Qualität ist langfristig ziemlich konstant.

Bei allen Umfragen zu Landtags- und Bundestagswahlen seit dem Jahr 2000, die innerhalb eines Jahres vor dem Wahltag erschienen sind, lag der mittlere Fehler im Durchschnitt bei 2,4 Prozentpunkten. In den letzten Wochen vor dem Wahltag nimmt die Verlässlichkeit deutlich zu. 14 Tage vor der Wahl sinkt der mittlere Fehler auf 1,6 Prozentpunkte.

Wahlumfragen entstehen unter zunehmend widrigen Umständen: Die Teilnahmebereitschaft bei Telefonumfragen sinkt. Die Parteibindung der Wähler hat abgenommen. Zugleich ist die Parteienlandschaft unübersichtlicher geworden. Dennoch lassen sich bei den Umfragen zwar Schwankungen, aber kein Trend zu schlechterer Qualität feststellen. Eine wissenschaftliche Studie in der Zeitschrift Nature Human Behauviour kam zu einem ähnlichen Ergebnis.

Viele Meinungsforscher betonen ohnehin, dass man ihre Umfragen gar nicht am Wahlergebnis messen könne, weil sie nur eine Momentaufnahme der Stimmung seien, keine Prognose für den Wahltag. Verstanden werden sie nun mal als solche.

Da Meinungsforscher nie die ganze Bevölkerung befragen, sondern aus einer Stichprobe hochrechnen, haben Umfragen naturgemäß eine Unsicherheit von ein bis drei Prozentpunkten. Und auch dieser Wert beschreibt nur das 95-Prozent-Konfidenzintervall. Das heißt: Statistisch wäre zu erwarten, dass die Abweichung in fünf Prozent der Fälle noch größer ist als dieser Unsicherheitswert. Dabei noch nicht berücksichtigt ist die Dynamik zwischen Befragung und Wahltag, wenn sich Wähler etwa erst kurz vor Schluss entscheiden. Daher ist die tatsächliche Abweichung etwa doppelt so hoch wie die statistische. Dennoch liegen zwei Drittel der Umfragen, die in den zwei Wochen vor der Wahl erscheinen, innerhalb der Fehlertoleranz und gelten als korrekte Prognose.

Gewisse Unterschiede gibt es bei den verschiedenen Umfrageinstituten, wobei die vom öffentlich-rechtlichen Rundfunk beauftragen Institute Forschungsgruppe Wahlen (ZDF) und Infratest Dimap (ARD) am besten abschneiden.

Statistisch ließe sich erwarten, dass sich einzelne Umfragen stärker voneinander unterscheiden, als es der Fall ist. Die große Ähnlichkeit deutet auf Herdenverhalten in: Die Institute versuchen womöglich, Ausreißer zu vermeiden. Die wären für korrekte Prognosen jedoch wichtig.

Liegen die Umfragen falsch, handelt es sich häufig um keine rein zufallsbedingte Abweichung, sondern um einen Bias: Das lässt sich daran erkennen, wenn die Richtung des Fehlers bei allen Instituten gleich ist. So wird etwa die Union häufig stärker eingeschätzt, als sie am Ende abschneidet.

Die Studien des Wirtschaftswissenschaftlers Andreas Graefe von der Macromedia-Hochschule in München zeigen, dass Umfragen im Vergleich zu anderen Prognosemethoden für die Bundestagswahlen 2013 und 2017 sehr gute Ergebnisse lieferten. "Es heißt ja häufig, die Politik müsse den Menschen wieder besser zuhören", sagt Graefe. "Nichts anderes macht eine Umfrage, nur eben systematisch." Eine weitere interessante Methode seien Prognosemärkte, deren Teilnehmer Wetten auf den Wahlausgang abschließen. Diese sind in Deutschland aber nur mit Spielgeld legal, wodurch der Anreiz für eine gewissenhafte Teilnahme fehlt und die Manipulationsgefahr erheblich steigt. Der Wissenschaftler spricht sich für kombinierte Modelle aus, die alle verfügbaren Umfragen berücksichtigen und diese mit anderen Methoden wie Prognosemärkten und Wirtschaftsdaten verrechnen. Häufig sind es professionelle Beobachter, etwa Politikjournalisten, die den Nutzen von Umfragen in Abrede stellen. Graefes Forschung belegt jedoch, dass ausgerechnet solche Experteneinschätzungen tendenziell größeren Irrtümern unterliegen.

Für dieses Projekt hat die SZ alle Umfragen zu Bundestags- und Landtagswahlen mit mehr als 900 Befragten seit dem Jahr 2000 ausgewertet, die auf dem Portal Wahlrecht.de verfügbar sind. Daten und Code sind auf GitHub verfügbar. Soweit nicht anders angegeben, bezieht sich die Auswertung auf Umfragen, die in den letzten 30 Tagen vor dem jeweiligen Wahltermin erschinenen sind.