Vor 80 Jahren – Ein Brief und die Fehlbarkeit des Publikationswesens
BLOG: Streifzüge rückwärts
Der Brief trägt das Datum 14. Juni 1937. „The editor of Nature presents its compliments to Mr. H. A. Krebs” steht dort in etwas hochgestochenem Englisch und weiter, dass sein eingereichtes Manuskript zur Zeit nicht veröffentlicht werden kann. Die Fachzeitschrift Nature habe gerade einen Rückstau von Publikationen abzuarbeiten.
Für die Arbeit, die da gerade abgelehnt wurde, wurde Krebs später mit dem Nobelpreis ausgezeichnet und sie ging als „Krebszyklus“ in die Lehrbücher ein. Und der Brief würde noch Jahrzehnte später als Paradebeispiel für Versagen im Publikationswesen gehandelt werden. 1988 nannte ein Redakteur der Zeitschrift die Ablehnung „Natures ungeheuerlichsten Fehler“.
Es gibt viele Beispiele für abgelehnte Arbeiten, die eine Ablehnung nicht verdient hätten. Die Endosymbiontentheorie von Lynn Margulis zum Beispiel wurde 15 Mal abgelehnt, bevor sie 1967 im Journal of Theoretical Biology veröffentlicht wurde. Eine Untersuchung von Juan Miguel Campanario von der Universität Madrid listet 19 Manuskripte, die zunächst mit der Veröffentlichung zu kämpfen hatten und später zu Nobelpreisen führten. Wissenschaftler lieben solche Beispiele – denn wer hat sich nicht schon mal über ein Ablehnungsschreiben geärgert? Da fühlt man sich mit Nobelpreisträgern doch in bester Gesellschaft. Es kursieren Listen mit den drastischsten wissenschaftlichen Ablehnungen (hier, hier, hier und hier).
Neben dem Unterhaltungswert erfüllen solche Hinweise aber auch einen anderen Zweck. Sie weisen darauf hin, dass das Publikationssystem alles andere als perfekt ist. Und gerade dieses System ist ja dazu da, die wissenschaftliche Qualität zu sichern und die Spreu vom Weizen zu trennen.
Dass Gutes nicht durchs Raster fällt und bahnbrechende wissenschaftliche Erkenntnisse kommuniziert werden, ist wichtig. Ebenso wichtig ist es, dass Fehlerhaftes aussortiert wird. „Peer Review“ – die Überprüfung der Arbeit durch Fachkollegen – soll dafür sorgen, dass eine Publikation in einer Fachzeitschrift ein verlässliches Gütesiegel ist. Nur leider funktioniert das oft nicht. Immer wieder werden Studien veröffentlicht, die Mängel aufweisen, nicht reproduzierbar sind oder gar gefälscht. Das wurde schon oft diskutiert, unter anderem auch bei spektrum.de.
Es ist nicht so, dass Peer Review gar nicht funktioniert. Eine aktuelle Studie von Mark Ware Consulting fragt die Wissenschaftler selbst, die es ja eigentlich wissen müssen. Demnach stimmen 83% der Wissenschaftler der Aussage zu, dass es ohne Peer Review keine Kontrolle im wissenschaftlichen Kommunikationssystem gäbe. Aber es ist eben auch noch Luft nach oben. Nur 34% meinen, dass das jetzige Peer Review-System das Beste ist, was erreicht werden kann. 34% sind der Ansicht, dass das System eine Generalüberholung braucht.
Das Peer Review-System hat seine Nachteile. Es ist langsam und für Gutachter macht es viel Arbeit, die in keiner Weise belohnt wird. Dementsprechend ist vielleicht der Anreiz klein, sich richtig Mühe zu geben. Und da der gesamte Review-Prozess traditionell hinter verschlossenen Türen stattfindet, bietet er einiges an Missbrauchspotential: Gutachter können zum Beispiel die Arbeiten von Konkurrenten negativ bewerten, ihre Publikationen verzögern oder ihre Ideen klauen.
Die gute Nachricht ist: Es wird daran gearbeitet. Es gibt eine ganze Menge Ideen, die Probleme des Systems zu beheben. Ein zentraler Aspekt dabei ist, Licht ins Dunkel des Peer Review-Prozesses zu bringen. „Open Peer Review“ heißt das Schlagwort und es kann sich verschiedenes dahinter verbergen. Es kann schlicht heißen, die Anonymität des Gutachters aufzuheben. Es gibt aber auch Modelle, nach denen alle Reviews der Öffentlichkeit zugänglich gemacht werden oder auch nach der Veröffentlichung noch die Möglichkeit besteht, zu kommentieren oder zu kritisieren.
BioMed Central hat kürzlich einen Bericht veröffentlicht, der der Frage nachgeht, wie Peer Review 2030 aussehen könnte. Die Quintessenz: Es wird bunter. Verschiedene Journale und Disziplinen probieren unterschiedliche Modelle aus. Am Ende wird sich hoffentlich zeigen, wie das Wissenschaftssystem seine Qualität sichert.
Veröffentlicht werden sollten alle wissenschaftliche Arbeiten mit grundsätzlich neuen Erkenntnissen – ausser sie genügen nicht einmal den niedrigsten fachwissenschaftlichen Ansprüche. Tendenziell mindestens. Denn mit der Veröffentlichung schafft man ja genau den offenen Rahmen, den man mit der “Open Peer Review” anstrebt. Die meisten Arbeiten, die heute erscheinen, bringen keine grundsätzlich neuen Ansätze und Erkenntnisse, womit es dann auch nicht so schlimm ist, wenn sie nicht erscheinen.
So einfach ist das nicht.
Man muss erkennen, dass etwas neu ist (und nicht nur als “neu” beworben) und man muss erkennen, welche Relevanz das Neue hat.
Außerdem können auch negative Ergebnisse ihren Wert haben, man lernt auch aus Sackgassen. Aber das Prestige solcher Ergebnisse geht gegen Null.
Reviewer aus dem betreffenden Fachbereich erkennen meist schon, wenn etwas “neu” ist, doch das kann gerade ein Grund dafür sein, dass sie eine Arbeit ablehnen, weil sie das “Neue”, nicht von ihnen selbst entdeckte, für falsch halten. Nur ist das gar nicht so schlimm, wenn es sich als falsch herausstellen sollte. Viel schlimmer ist, wenn gar nie jemand vom Neuen hört, weil es nicht veröffentlicht werden konnte.
Wie modernes peer-review ablaufen kann, wurde gut zusammengefasst in
R. L. Glass, Journal of Systems and Software, 54, p.1, 2000
https://doi.org/10.1016/S0164-1212(00)00020-0 (paywall, frei zugänglich hier: goo.gl/9zrcy)
Vielen Dank für den Link!
Katrin Weigmann schrieb (14. Juni 2017):
> Dass Gutes nicht durchs Raster fällt und bahnbrechende wissenschaftliche Erkenntnisse kommuniziert werden, ist wichtig.
Wobei ein konkretes “Raster“, mit dem der eine genug “Nuggets” siebt, um seinem Appetit zu entsprechen, nicht unbedingt zufriedenstellend für jeden anderen ist.
> Ebenso wichtig ist es, dass Fehlerhaftes aussortiert wird.
Wichtig ist, dass Fehlerhaftes gekennzeichnet, und Fragwürdiges in Frage gestellt wird. Wer solches Anschauungsmaterial aussortieren bzw. Kontroversen aus dem Weg gehen möchte, sollte natürlich dazu Gelegenheit haben.
> „Peer Review“ – die Überprüfung der Arbeit durch Fachkollegen – soll dafür sorgen, dass eine Publikation in einer Fachzeitschrift ein verlässliches Gütesiegel ist.
Die Überprüfung von verfügbaren Arbeiten durch Fachkollegen – „Peer Review“ – ist viel allgemeiner eine wichtige Form der Ausübung (Anwendung, Vermittlung und sogar Weiterentwicklung) von Wissenschaft.
Natürlich ist das mit Aufwand und konkreter Auswahl verbunden;
und natürlich kann das gewohnheitsmäßige Delegieren solcher Arbeit zum Abstumpfen der dafür notwendigen eigenen Kritikfähigkeit führen.
Das System wie es ist, ist auf alle Fälle ziemlich unlogisch. Warum weiß der Reviewer, wer der Autor ist – aber andersherum darf der Reviewer sich hinter der Anonymität verstecken? Reviewer sollten auch die Verantwortung dafür übernehmen, wenn sie Papers durchwinken, die offensichtliche Fehler haben.
Ja, warum kennt der Reviewte die Reviewer nicht? Allerdings würde das gegenseitige Kennen nicht verhindern, dass Reviewer (Zitat)Papers durchwinken, denn das wäre ja im Interesse des Beurteilten.
Die traditionelle Form des Peer Review ist der „Single blind review“ – die Namen der Reviewer sind dem Autor des Papers nicht bekannt. Meistens läuft Peer Review nach diesem Modell. Daneben gibt es eine Reihe anderer Möglichkeiten: Double blind (keiner kennt den anderen) oder eben verschiedene Formen des Open Peer Review.
Manche Journals sind dazu übergegangen, die Berichte der Reviewer zusammen mit den Papers zu veröffentlichen. Damit wird die Arbeit der Reviewer gewürdigt und sie stehen mit ihrem Namen für ihre Entscheidung. Auch wenn sie „Papers durchwinken“.
Ich habe nur drei persönliche Erfahrungen (als Geisteswissenschaftler): einmal habe ich das Gutachten anonym bekommen, auf Papier.
Einmal habe ich ein Gutachten gelesen, nicht meiner eigenen Arbeit, das war zwar anonym, aber in den Metadaten stand ein Autorenkürzel, mit dem man den Autor leicht herausfinden konnte.
Einmal bekam ich ein nicht-anonymes Gutachten.
Ansonsten ist es unter Umständen möglich, als Gutachter aus der Arbeit selbst zurückzuschließen, wer der Autor war (Thema, Stil, Formulierungen wie “wie ich/wir 2005 herausgefunden haben” mit Literaturangabe).
Hier noch ein konkretes Beispiel, wie das konkret abläuft, wenn man wirklich etwas Neues, ja Spektakuläres veröffentlichen möchte, nämlich ein modernes, stabil statisches Müdlichtmodell des Weltalls: Meinen vollständigen E-Briefwechsel von 2012 mit dem damaligen Chefredaktor der Annalen der Physik findet man unter: http://wolff.ch/astro/AP_Briefverkehr.pdf
Und für allfällig näher Interessierte noch ein Lesetipp:
http://www.wolff.ch/astro/WPT-Lesetipp.pdf
http://retractionwatch.com/2017/06/14/springer-purge-fake-reviews-takes-10-neuroscience-papers/ —- http://news.xinhuanet.com/english/2017-06/14/c_136366006.htm
Hat zwar nicht direkt mit dem Thema hier (“Fehleinschätzung einer Qualität”) zu tun, steht aber doch im Kontext.