Was ist los mit dem guten, alten Peer-Review Verfahren?
BLOG: AcademiaNet
Immer mehr wissenschaftliche Arbeiten werden publiziert, und die Rolle des Peer-Review-Verfahrens als Garant für hohe Qualitätsstandards ist gefährdet. Peer-Reviews sollen eigentlich gründlich und unparteiisch sein, und sie sollen die Qualität, die Relevanz und die Originalität der Forschung bewerten. Wer als Forscher ein Peer-Review-Verfahren durchläuft, bekommt quasi ein Gütesiegel für die eigene Forschungsarbeit. Allerdings führen der starke Konkurrenz- sowie Publikationsdruck („publish or perish“) immer häufiger dazu, dass solche Gutachten entweder nachlässig durchgeführt werden oder sogar parteiisch ausfallen. Eine Konsequenz dieser Entwicklung ist, dass wissenschaftliches Fehlverhalten oft erst nach der Publikation aufgedeckt wird (wie bei dem endlosen Drama der säure-induzierten pluripotenten Zellen). Wie können diese Probleme des Peer-Review überwunden werden, und welche neuen Modelle entwickeln sich hierfür?
Auf der ESOF2014 befasste sich die Veranstaltung „What’s up with peer review?“ genau mit diesen Fragen, sie wurde von Julia Wilson von dem Verein „Sense about Science“ aus Großbritannien organisiert. Und siehe da: Viele Forscher kamen in die Dipylon-Halle des Carlsberg Museums, um mit drei Experten über dieses schwierige Thema zu diskutieren – Lars Rasmussen, Chefredakteur der Zeitschrift Acta Anaesthesiologica Scandinavica, Iryna Kuchma, Open Access Program Manager bei EIFL, und Victoria Babbit, Verlegerin bei Taylor & Francis.
Während die Forscher beklagten, dass das bestehende Peer-Review-Verfahren intransparent sei und es keine verlässlichen Qualitätsstandards gäbe, auch nicht für die frühzeitige Entdeckung von Fehlverhalten, meinten Redakteure und Verleger, dass es zunehmend schwieriger wird, geeignete Gutachter zu finden.
Für Forscher sei es sehr unbefriedigend, in solchen Verfahren als Gutachter mitzuarbeiten – nicht zuletzt, weil ihre Arbeitgeber diese Arbeit nicht anerkennen würden, außerdem bringe diese Aufgabe kein Plus bei der Stellensuche. Es müsste einen Maßstab geben, wie oft und wie gut ein Forscher die Arbeiten anderer Forscher begutachtet. Eine mögliche Lösung dieses Problems sind die „fünf Sterne des transparenten Peer-Reviews vor der Veröffentlichung“: Zeitschriften sollten die Namen ihrer Gutachter publizieren, sollen ihnen Feedback geben, und die Gutachten sollten parallel zur eigentlichen wissenschaftlichen Arbeit online veröffentlicht werden (dieses Vorgehen wenden nur wenige Zeitschriften bislang an, zum Beispiel BioMed Central).
Jenseits des Themas Transparenz im Publikationsprozess ist die Ethik des Ganzen eine weitere Herausforderung. Lars Rasmussen führte hierzu aus, dass allein im Themenfeld Anästhesiologie schon hunderte Veröffentlichungen zurückgezogen werden mussten – Peer-Review hat hier ein wissenschaftliches Fehlverhalten nicht aufdecken können. Es gibt noch mehrere Möglichkeiten, das bestehende System auszunutzen: Forscher versuchen, durch verzögerte Gutachten die Arbeit ihrer Konkurrenten zu bremsen, sie versuchen, Ideenklau zu betreiben, und manche versuchen sogar, ihre eigenen Arbeiten zu bewerten. Um diesen Herausforderungen zu begegnen, spielt das Komitee für Publikationsethik (COPE) eine wichtige Rolle. Aber die Wissenschaft als Ganzes leistet das auch: immer häufiger werden gefälschte Forschungsergebnisse erst nach der Veröffentlichung entdeckt. Manche Zeitschriften gehen sogar dazu über, das Peer-Review auf die Zeit nach der Veröffentlichung zu verschieben, ein Verfahren, das vom Journal F1000-Research als Erstes eingeführt wurde.
Aber egal, ob man das alte Verfahren oder neue Alternativen anwendet: es bleibt schwierig, qualifizierte Gutachter zu finden. Die Lösung aller drei Experten lautet: Doktoranden ausbilden! Wer früh in das Peer-Review-System eingebunden ist, kann diese Aufgabe besser und früher übernehmen.
Leider drehte sich die Diskussion nicht lange um mögliche Alternativen zum jetzigen Peer-Review. Iryna Kuchma erwähnte jedoch eine Ausschreibung der Europäischen Kommission im Rahmen des „Horizon 2020“ Programms: „Innovative approach to release and disseminate research results and measure their impact“. Es bleibt abzuwarten, welche neuen Lösungen dieser Aufruf bringt, um den Herausforderungen des bestehenden Systems zu begegnen. Ein Teilnehmer hatte jedoch einen guten Rat für alle Anwesenden: „Wir wissen nicht, wie gut die neuen Wege des Peer-Review funktionieren. Aber wir sind Forscher! Lassen Sie es uns ausprobieren, machen Sie Experimente!“
Zum Weiterlesen (auf Englisch): “Peer review – the nuts and bolts” guide for early career researchers by Sense About Science.
Einen wissenschaftlichen Beitrag kann man nur bewerten, indem man ihn liest. Wenn alle nur noch publizieren, aber keiner mehr lesen und begutachten will, kann das System nicht mehr lange gut funktionieren. Hauptmotor des Wissenschaftsbetriebs ist die Eitelkeit (jedenfalls noch vor Erkenntnisgewinn), der reine Idealismus scheitert oft. Forscher wollen bekannt und berühmt werden. Geld ist da meist nur ein Mittel zum Ziel. Die Regeln zur Erlangung von Forschungsgelder trainieren den Wissenschaftlern vor allem eine Anpassung an das Fördersystem an, fördern aber nicht notwendigerweise die Qualität der Wissenschaft. Doktoranden an die Front zu schicken scheint mir dabei eher eine Notlösung zu sein, den jungen Nachwuchswissenschaftlern wird da eher eine Karotte zum Einstieg in die (Selbst)-ausbeutung vorgehalten. Eigentlich erfordert peer review doch eher eine große wissenschaftliche Erfahrung. Die fünf Sterne des transparente peer reviews klingen als Lösungsvorschlag ganz gut. Sammelpunkte (credit points) für Gutachten könnten vielleicht auch helfen, andererseits ist es ein weiterer Schritt in die komplette Kosten-Nutzen-Durchrationalisierung der Wissenschaften. Aber jedes Regelsystem, das den impact misst, kann unterlaufen werden, schließlich sind Wissenschaftler kreativ und innovativ.
Eine Weiterbildung in Peer Review erscheint mir wichtig. Schließlich lernt man das immer alleine und in so einem Workshop könnte man auch wieder auf die ethischen Aspekte hindeuten. Was das Mitmachen von jungen Wissenschaftlern angeht, denke ich, dass viele solche Aufgaben übernehmen könnten, evtl. mit Hilfe der Betreuer. Das würde das System entlasten.
Im Endeffekt finde ich es aber etwas banal, das Peer Review System zu diskutieren, ohne das Problem des Publikationssystems zu berücksichtigen. Die Vorschläge dienten nur dem Fortbestand des aktuellen Systems – insofern war die Session ziemlich enttäuschend.
Ein kritischer Blick auf den wissenschaftlichen Prozess ist jedenfalls gut. Eine Tradition der Methoden- und Wissenschaftskritik scheint es hier in Europa vor allem in Grossbritannien zu geben. Der in Grossbritannien gefplegte Empirismus und in Grossbritannien beliebte Begriffe wie Evidence Based Medicine bilden wohl die Basis für diese Orientierung.
Ein grundsätzliches Problem beim Peer Review sind wohl die vielen Papiere, die heute von den vielen Forschern publiziert werden. Zuviel des Guten (oder Fragwürdigen) ist immer ein Problem.
Noch ein Punkt zu parteiischen Reviews. In gewissen Sinne ergibt sich allein schon durch die Auswahl der Reviewer eine Parteilichkeit – mindestens in einem Gebiet wo es unterschiedliche Sichten gibt. Dazu kommt noch: Oft sind die Autoritäten eines Gebiets Reviewer. Wenn aber das Gerbiet selbst fragwürdig ist, dann sind es wohl auch die Reviewer. Die Öffentlichkeit assoziiert aber ge-reviewete Papiere meist mit Seriosität. Was aber wenn die gereviewete Arbeit beispielsweise homöophatische Verfahren zum Thema hat und die Reviewer anerkannten Homöopathen sind?
Wenn es mehr Forscher gibt, gibt es auch mehr Reviewer. Dann sollte es doch kein Problem sein, Zeit für sorgfältige Revisionen zu haben. Insofern ist das Problem zum einen, dass wir immer schneller, immer mehr publizieren wollen. Zum anderen, dass die viele Zeit, die heutzutage auf das Einwerben von Drittmitteln geht, Zeit für anderes wegnimmt. Hierfür sehe ich keine einfache Lösung.
Was das Ansehen von Reviews in der Öffentlichkeit angeht: das ist ein wichtiger Punkt. Die Session war von “Sense About Science” organisiert, die der Öffentlichkeit unter anderem diese “Evidence-based” Philosophie in England nahe bringen und denen erklären, was das peer review überhaupt ist. Klar ist es besser, wenn eine Studie peer-reviewed ist, als nicht. Aber ich stimme zu, als Qualitätsgarantie kann man das nicht sehen. Eine Sprecherin sagte in einer Session, bei der Vorstellung ihrer Studie “this is all peer reviewed, so it’s very high quality”. Da musste ich innerlich lachen. Aber diese ganzen komplizierten Verhältnisse der Öffentlichkeit zu erklären (z.B. welches Journal nehme ich ernst?), finde ich eine große Herausforderung.
Ich schätze mal, dass die Angst nach der Dekandenz der Forschungsarbeiten nicht ganz unbegründet ist. Es muss immer mehr publiziert werden, weil die Nachfrage nach wissenschaftslichen Arbeiten immer weiter ansteigt. Meiner Meinung nach ist das ein Trend der mit der Zeit langsam wieder abnimmt und sich wieder reguliert.
Mit freundlichen Grüßen
kundentests.com