Vielleicht hilft es, sich Wissenschaft als ein großes Puzzlespiel vorzustellen. Da sitzen also in den verschiedenen Disziplinen Forscher in Gruppen gemeinsam um imaginäre Tische und versuchen, einen Wust aus Einzelteilen zu erhellenden Bildern zusammenzufügen. Mit jeder publizierten Einzelstudie landet ein weiteres Puzzlestück im Durcheinander auf ihrem Tisch. Zu welchem Bild sich diese Teile zusammenfügen, wird mithilfe von Meta-Analysen ermittelt: Die vorhandenen Studien zu einem Thema werden zusammengeworfen, analysiert und am Ende sollte klar sein, was als weitgehend belastbar gelten darf.
Natürlich ist das Bild vom Puzzle nicht absolut stimmig - auch, aber nicht nur, weil die beteiligten Spieler es mit zahlreichen Unbekannten zu tun haben: Sie wissen oft gar nicht, ob die Puzzleteile auf dem Tisch überhaupt dorthin gehören, vielleicht handelt es sich um Einzelergebnisse, denen aus gutem Grund nicht zu trauen ist. Zudem ist ihnen oft unklar, ob denn überhaupt alle Puzzleteile auf dem Tisch liegen. Es könnte nämlich sein, dass viele Einzelstücke in irgendwelchen Schubladen herumliegen und sie schlicht fehlen. Unter diesen Umständen ein korrektes Gesamtbild aus den Einzelteilen zu legen, könnte schwer bis unmöglich sein.
Gerade haben Malte Friese und Julius Frankenbach von der Universität des Saarlandes eine Arbeit zum Evidenz-Puzzlespiel in der Psychologie vorgelegt. Im Fachmagazin Psychological Methods berichten die Wissenschaftler davon, wie stark das Zusammenspiel von p-Hacking und Publication Bias die Aussagekraft von Meta-Analysen verzerrt. Es geht also auf der einen Seite um Studien, deren Ergebnis vermutlich nur durch Einsatz fragwürdiger Auswertungsmethoden zustande gekommen ist (p-Hacking); und auf der anderen um Arbeiten, die buchstäblich in Schubladen vergilben, weil sie aus verschiedenen Gründen niemals publiziert worden sind (Publication Bias). Zurück ins Bildhafte übersetzt, geht es um den Einfluss falscher sowie fehlender Puzzlestücke auf das spätere Gesamtbild. Denn wenn die Studienbasis einer Meta-Analyse nichts taugt, dann wird deren Ergebnis natürlich auch weitgehend überflüssig sein.
"Das sogenannte p-Hacking hat in den vergangenen Jahren, sehr viel Aufmerksamkeit bekommen", sagt Friese, "völlig zu Recht." Kreativ mit Daten umzugehen, indem zum Beispiel Testparameter nachträglich solange angepasst werden, bis auf dem Papier irgendwann ein statistisch signifikantes Ergebnis steht, produziert viele falsch positive Ergebnisse. Einzelne Publikationen suggerieren dann einen Effekt, der aber vermutlich gar nicht vorhanden ist - eine Illusion. In der Psychologie und auch in anderen Disziplinen fehlte in der Vergangenheit bei vielen Akteuren das Bewusstsein dafür, dass dies ein gravierendes Problem und nicht nur kreative Wissenschaft ist. "Das macht man halt so", sagten sich wohl viele, ohne dass sie sich eines Fehlverhaltens bewusst waren. Heute betrachten manche Psychologen das p-Hacking als Hauptübel und größte Bedrohung ihrer Wissenschaft.
Was aufregend ist, wird publiziert. Von den öden Ergebnissen erfährt hingegen kaum jemand
"Aber wir müssen uns um mehr als p-Hacking kümmern", sagt Friese, "das Problem des Publication Bias hat größere Aufmerksamkeit verdient." Ergeben Studien kein oder nicht das gewünschte Ergebnis, werden sie viel zu oft nicht veröffentlicht. Wissenschaftler wissen dann zum Beispiel manchmal gar nicht, dass sich Kollegen schon einmal ergebnislos an einer ähnlichen oder der gleichen Fragestellung versucht haben und investieren Zeit in unnötige Arbeit. Publiziert werden dann stattdessen lieber erfolgreiche Studien, also solche, die Hypothesen scheinbar bestätigen.
Die Anreizsysteme in den Wissenschaften befördern diese Phänomene. Wer Karriere machen will, muss viel publizieren und zwar am besten zu neuen, aufregenden Effekten. Null-Befunde hingegen sind unsexy. Befördert wird das durch die Fachverlage, die - natürlich - ihre Veröffentlichungen gewinnbringend verkaufen möchten. Auch hier gilt: Null-Effekte oder Experimente ohne ein scheinbar bestätigendes Ergebnis zählen nicht gerade zu den verkaufsfördernden Beiträgen. Da kann es dann schon vorkommen, dass Forschern im Review-Prozess wohlmeinend empfohlen wird, Teilaspekte aus ihrer Studie zu kürzen, in denen die Dinge nicht so reibungslos geklappt haben. Was an die (Forschungs-)Öffentlichkeit gelangt, ist unter Umständen also höchst selektiv.
"Dass das nicht gut ist, weiß jeder", sagt Friese, "aber wie die Konsequenzen konkret sind, war nicht genau bekannt." p-Hacking und Publication Bias interagieren auf unterschiedliche Weise, wie die Modelle von Frankenbach und Friese zeigen. Ist der Publication Bias zu einem Forschungsgegenstand klein, dann hat p-Hacking demnach keine stark verzerrende Auswirkung auf das Ergebnis einer Meta-Analyse. Wenn zu einem Thema besonders viele Arbeiten unveröffentlicht geblieben sind, dann zeigen "kreativ ausgewertete" Einzelarbeiten keinen weiter vernebelnden Effekt: Das Ergebnis ist dann ohnehin so extrem verzerrt, dass weiteres Schindluder nicht mehr ins Gewicht fällt. Besonders trügerisches Puzzlechaos ergibt das Zusammenspiel beider Widrigkeiten laut der aktuellen Analyse, wenn Publication Bias "auf mittlerem Niveau" liegt, wie Friese und Frankenbach schreiben. Unter diesen Bedingungen trage p-Hacking stark verzerrenden Einfluss bei - "insbesondere, wenn die wirklichen Effekte sehr klein oder sogar nahe Null sind", so die Forscher.
Aufgrund beider Einflüsse geschieht es immer wieder, in der Psychologie und in anderen Fächern, dass sich durch viele Studien scheinbar abgesicherte Erkenntnisse nach viel zu langer Zeit in große Enttäuschung auflösen. Die Anreizsysteme in der Wissenschaft müssten künftig so wirken, dass die Ergebnisse aller Studien einen Publikationsort finden und nicht nur die scheinbar attraktiven und aufregenden, fordern Frankenbach und Friese. Die Einzelteile dieses Puzzles mögen dann vielleicht langweiliger wirken, das Bild, das sie ergeben, wird dafür umso kräftiger strahlen.