Forschung: Wissenschaftler tun sich schwer, die Qualität von Studien zu bewerten

Fachleute, die die Bedeutung der Forschungsergebnisse anderer Wissenschaftler bewerten sollen, lassen sich vom Prestige des Journals beeinflussen, in dem diese veröffentlicht wurden. Wie gut die Arbeit selbst ist, darin sind sie sich häufig uneins.

Es ist eine wichtige Frage, ihre Beantwortung entscheidet über die Vergabe von Fördermitteln und den Ausgang von Berufungsverhandlungen. Sie lautet: Wie gut ist die Wissenschaft, die ein Forscher gemacht hat?

Einig ist man sich, dass dies vorrangig über die Bewertung der Aufsätze geklärt werden sollte, die ein Wissenschaftler produziert. Doch wie man dies fair und aussagekräftig macht, darüber herrscht mehr Verwirrung denn je, wie zwei neue Publikationen zeigen.

In der aktuellen Ausgabe des Fachmagazins Science (Bd. 342, S. 60, 2013) berichtet der Wissenschaftsjournalist John Bohannon über eine von ihm gestartete Guerillaaktion: Er erfand den Wissenschaftler Ocorrafoo Cobange, der angeblich am Wassee Institute of Medicine in Asmara forscht, einer ebenfalls nichtexistenten Forschungseinrichtung in der Hauptstadt Eritreas.

Unter einem Fake-Account verschickte Bohannon an 304 Open-Access-Zeitschriften ein Paper, das die angeblichen Antikrebs-Eigenschaften einer Chemikalie beschrieb, die aus einer Flechte gewonnen worden sei.

Die zugrunde liegende Studie und ihre Daten waren allerdings frei erfunden, die methodischen Fehler und Unsauberkeiten so haarsträubend, dass jeder Gutachter die Arbeit sofort hätte ablehnen müssen. Das Ergebnis sah anders aus: Mehr als die Hälfte der Journals, die angeblich alle über eine externe Begutachtung verfügen, akzeptierten den Aufsatz anstandslos zur Publikation.

Nun lässt sich einwenden, dass die von Science geprüften Open-Access-Journals von teils obskurer Herkunft nicht repräsentativ seien für das System der wissenschaftlichen Kommunikation.

Doch auch eine weitere Studie, veröffentlicht von Adam Eyre-Walker von der University of Sussex und Nina Stoletzki aus Hannover, ergab ein trübes Resultat (PLoS Biology, Bd. 11, S. e1001675, 2013).

Die beiden Forscher untersuchten rund 6500 Papers danach, wie sie bei drei unterschiedlichen Begutachtungsverfahren abschnitten: Bei einer klassischen Peer Review durch andere Wissenschaftler nach der Publikation der Aufsätze, bei der Zahl der Zitierungen, schließlich nach dem Impact Factor (IF) des Journals, in dem der Aufsatz erschienen war. Der IF bemisst sich danach, wie häufig die Papers des Journals durchschnittlich in anderen Zeitschriften zitiert werden.

Die Ergebnisse ernüchtern: Die Forscher waren sich selten einig über die wissenschaftliche Bedeutung eines Papers, ließen sich aber stark vom Prestige eines Journals beeinflussen. Erstaunlich wenig sagten auch die tatsächlichen Zitationsquoten aus, sie korrelierten nicht mit der Qualität, die ihnen in den Gutachten bescheinigt worden war.

Sarkastisches Fazit von Studienautor Eyre-Walker: "Wissenschaftler sind wahrscheinlich die besten Richter der Wissenschaft, sie sind allerdings sehr schlecht dabei."