Studien auf dem Prüfstand: TÜV für die Forschung

Wissenschaftliche Studienergebnisse müssen überprüft und bestätigt werden, wenn sie eine Bedeutung haben sollen. Eine kalifornische Firma will das für die Forscher erledigen - gegen Gebühr.

Für Elizabeth Iorns ist die Sache eine Geschäftsidee und zugleich die Chance, die Kultur der Wissenschaft zu ändern. Die promovierte Zellbiologin möchte Forscher überzeugen, dass sie ihre Ergebnisse gegen Gebühr überprüfen lassen. Die Wissenschaftler hätten damit die Chance, ihre Resultate mit der unabhängigen Bestätigung durch andere Fachleute aufzuwerten.

Wissenschaftliche Studienergebnisse werden erst anerkannt, wenn sie wiederholt und überprüft wurden. Eine US-Firma bietet dies Forschern nun an - gegen Gebühr. (Foto: dpa)

Die " Reproducibility Initiative", die Iorns im August in Palo Alto in Kalifornien gegründet hat, ist ein Novum. Sie lädt Forscher aus der Biomedizin ein, ihre wichtigen Experimente einem Beirat vorzustellen, der dann ein Labor aussucht, das bereit und in der Lage ist, die Versuche zu wiederholen.

Anders als im Fernsehen ist Wiederholung in der Wissenschaft etwas Sinnvolles: So können die Autoren der Originalarbeit - und hoffentlich auch alle anderen mit Interesse an dem Thema - schnell erfahren, ob sich die Aussage bestätigt. Die Fachzeitschrift Plos One hat bereits zugesagt, alle Studien der Reproducibility Initiative nach Begutachtung in einer Sonderausgabe zu veröffentlichen.

Wie bei jedem neuen Projekt gibt es viele offene Fragen. Die erste ist, wie viele Forscher mitmachen wollen und können. Bewerber müssen den Preis für die Versuche zur Reproduktion übernehmen. Diese dürften deutlich billiger sein als die Experimente der Originalarbeit, da die erste Arbeitsgruppe der zweiten genau erklären kann, welche Tests sie machen sollen. Außerdem werden nur zentrale Aussagen geprüft.

Daher schätzt Iorns die Kosten auf ein Zehntel dessen, was die ursprünglichen Autoren ausgegeben haben; es sollen auch weniger Versuchstiere eingesetzt werden. Dennoch könnte sich die Rechnung auf Tausende Dollar belaufen - Iorns' Firma würde davon fünf Prozent behalten. Bisher liegen ihr drei Bewerbungen vor.

Die Kosten und die Probleme, eine Arbeit mit Wiederholungsexperimenten zu veröffentlichen, halten bisher viele Forscher davon ab, wichtige Ergebnisse auf eigene Faust zu reproduzieren. "Es gibt wenige Anreize zu überprüfen, ob die Arbeit von anderen in Ordnung ist", sagt Hal Pashler, ein Psychologe von der University of California in San Diego. Er hat im vergangenen Januar die Website "PsychFileDrawer" eingerichtet, wo Psychologen Wiederholungsexperimente einreichen können. Zwar gibt es viele Besucher, die neugierig sind, ob die Arbeit von Kollegen angezweifelt wird, aber die Seite enthält nur ein gutes Dutzend Studien.

Die Reproducibility Initiative spricht hingegen Forscher an, die ihre eigene Arbeit überprüfen lassen wollen. Daher gibt sich Iorns große Mühe, ihre potenziellen Kunden nicht vor den Kopf zu stoßen. "Wir wollen die Studien belohnen, die erfolgreich bestätigt werden", sagt sie. Sollte die erste Wiederholung die Ergebnisse nicht replizieren, könnten sie für eine zweite Runde eingereicht werden. Iorns formuliert sehr vorsichtig, wenn sie über ein mögliches doppeltes Durchfallen spricht. "Das entwertet das Experiment nicht unbedingt", sagt sie. "Es zeigt, dass es ein Robustheitsproblem gibt."

Die Resultate der Reproduktion gehen zunächst den Originalautoren zu. Sie werden bei einer Veröffentlichung als Koautoren geführt, obwohl sie an den Wiederholungsexperimenten nicht beteiligt waren. Sie dürfen aber auch entscheiden, ob die Überprüfung überhaupt publiziert wird. "Wir ermutigen die Arbeitsgruppen dazu, können es jedoch nicht erzwingen", sagt Iorns. "Studien öffentlich zu machen, die nicht robust sind, ist nicht unser Ziel."

Die Kosten für die Überprüfung dürften sich zweifellos als Hürde erweisen. "Viele Wissenschaftler könnten sich das wohl nicht leisten oder würden ihr Geld lieber anders ausgeben", fürchtet Hal Pashler. Iorns sagt, einige Geldgeber hätten sich schon verpflichtet, für ihre Forscher auch die Replikation zu bezahlen, aber sie kann noch nicht sagen, welche.

Auch Firmen könnten eine Finanzquelle sein, erwartet Bruce Booth, Mitglied im Beirat der Initiative. "Wir werden Kapital brauchen, um zu wachsen, und das muss wahrscheinlich von der Industrie kommen." Booth kennt das Metier, er ist Partner in der Firma Atlas Venture, einem Risikokapital-Unternehmen in Cambridge, Massachusetts.

Um die Labore zu finden, die die Wiederholungsversuche durchführen, greift Iorns auf Science-Exchange zurück. Dieser Service, den sie im vergangenen Jahr mitbegründet hat, vermittelt wissenschaftliche Dienstleistung: Forscher können standardisierte Arbeitsschritte für Geld an eines von mehr als tausend spezialisierten Laboren auslagern.

Werden solche Experten auch für die Replikation der eingereichten Studien engagiert, sollen sie nichts vom Ausgang des Originalexperiments erfahren, damit sie nicht voreingenommen sind. "Sie bekommen ihr Geld von Science-Exchange", sagt Iorns, "und haben keine psychologische Verpflichtung gegenüber den ursprünglichen Autoren, einen positiven Befund zu liefern."

Dass Iorns den Finger auf einen wichtigen Punkt gelegt hat, bestätigen viele Wissenschaftler. Im vergangenen März schrieb etwa Nature, Forscher der Firma Amgen hätten 53 wichtige Krebsexperimente wiederholt und nur in sechs Fällen die Resultate bestätigt. Auch die Psychologen wollen sich einen solchen Überblick verschaffen. Darum hat Brian Nosek von der University of Virginia in Charlottesville 72 Kollegen überredet, eine zufällige Auswahl von 2008 veröffentlichten Studien in ihrem Fach zu überprüfen.

Elizabeth Iorns hofft, mit ihrem Vorstoß trotz hoher Hürden etwas Ähnliches zu bewirken. "Die Forscher an den Universitäten möchten sich hervortun und sagen können: ,Ich bin nicht Teil des Problems'." Dieses Gefühl, glaubt sie, werde die Kunden zu ihr bringen.

Dieser Text ist in der aktuellen Ausgabe von Science erschienen, dem internationalen Wissenschaftsmagazin der AAAS. Weitere Informationen: www.aaas. org, www.sciencemag.org. Dt. Bearbeitung: Christopher Schrader