Registrieren vorm Experimentieren: Wie eine neue Art von Veröffentlichungen die Forschung verändert
Immer mehr WissenschaftlerInnen lassen in sogenannten Registered Reports ihre Hypothesen und Methoden begutachten, bevor sie die eigentliche Studie durchführen. Dadurch sinkt auch die Zahl positiver Befunde. Warum das eine gute Nachricht ist und was wir bei dieser Form zu Publizieren gelernt haben. Ein Erfahrungsbericht.
Von Roman Linz und Lara Puhlmann
Wissenschaftliche Erkenntnisse lassen sich, vereinfacht dargestellt, durch zwei Arten von Befunden gewinnen: positive und negative. Die positiven bestätigen meist eine Forschungshypothese, etwa, dass ein Medikament einen Effekt hat; negative zeigen, dass es keinen statistischen Beleg für die untersuchte Fragestellung gibt. Um wissenschaftliche Erkenntnisse voranzubringen, sind beide Arten von Antworten wichtig.
Seit gut 60 Jahren ist allerdings belegt, dass wissenschaftliche Studien mit positiven Befunden häufiger veröffentlicht werden als solche mit negativen. Man spricht hier vom Publikationsbias. Dieses Phänomen ist unter anderem dadurch begünstigt, dass Fachzeitschriften neue und überraschende, sowie generell positive (“signifikante”) Ergebnisse bevorzugen. Folge ist der sogenannte Schubladeneffekt: Negative Resultate landet im Vergleich zu positiven häufiger in der Schublade und seltener in Fachjournalen. Letztlich tragen also bestehende Publikationsnormen maßgeblich zu einer Verzerrung des allgemeinen Kenntnisstandes bei.
Dabei werden zum Beispiel auch Studien bevorzugt, die zwar methodisch schwächer sind als andere, aber besonders spannende Ergebnisse haben. Als Folge zeigen Replikationsstudien zum Beispiel in der psychologischen Forschung nur eine mäßige Reproduzierbarkeit vorheriger Befunde. Verantwortlich dafür sind neben methodischen Mängeln auch Fälle fragwürdiger wissenschaftlicher Praktiken, die durch die klaren Anreize zu positiven Befunden statt ergebnisoffener Forschung motiviert werden. Dass diese sogenannte Replikationskrise somit zunehmend auch als Folge derzeitiger Publikationskultur verstanden wird, verstärkt den Ruf nach Reformen. Durch mehr Transparenz im Forschungsprozess und häufigere Replikationsstudien sollen Befunde robuster werden. Zu den aussichtsreichsten Neuerungen zählen hier die sogenannten Registered Reports.
Registered Reports: Forschungsfrage und Studienqualität entscheiden
Registered Reports sind ein alternatives Publikationsformat, das 2013 von einer Gruppe Neurowissenschaftler entworfen und nach etwas Anlaufzeit zunehmend beliebter geworden ist. Die Idee: Die StudienautorInnen beschreiben ihr Forschungsvorhaben, lassen es begutachten und machen es öffentlich, noch bevor die eigentliche Durchführung und Auswertung der Studie startet. Die Forschungsfrage sowie -methodik rücken damit in den Vordergrund, die späteren Ergebnisse in den Hintergrund. Entscheidend wird also, wie wissenschaftlich relevant und gut konzipiert die Studie ist, statt wie spannend das schließliche Resultat. Damit drehen Registered Reports das klassische Prozedere um; denn gewöhnlich werden nicht nur die Befunde einer Studie, sondern auch ihre Vorannahmen, Methoden und mögliche Mängel erst nach Studienabschluss und anschließender Begutachtung im ‘Peer-Review’ veröffentlicht.
Umsetzung in der Praxis: Das Protein BDNF und die ‘grauen Zellen’
Wie das in der Praxis aussieht, lässt sich an einem Beispiel verdeutlichen. Vor zwei Jahren stellte sich uns eine Forschungsfrage: Was für Mechanismen können davor schützen, dass sich Teile des Gehirns im Alter und bei psychischen Erkrankungen zurückbilden? In unserem Fokus stand das Protein BDNF (Abk. für Engl. ‘brain-derived neurotrophic factor’), das dazu beiträgt, dass sich im Gehirn neue Zellen und Verbindungen, genannt Synapsen, entwickeln und auch überleben. Mehr solcher Zellstrukturen führen meist zu mehr Hirnmasse – bedeutet das also, dass Menschen mit mehr BDNF im Blut auch größere Hirnstrukturen haben?
Diese Frage haben wir in einem Registered Report adressiert. Dafür reichten wir schon vor der Durchführung der Studie einen detaillierten Forschungsvorschlag bei einem wissenschaftlichen Journal ein, das diesen begutachtete. Zunächst bewerteten also unabhängige ForscherInnen, ob unsere Studienidee überhaupt wissenschaftlich relevant und durchführbar ist. Unser Ansatz: Verstehen wir die Mechanismen besser, die zum Verfall von Nervenzellen beitragen, können wir solchen neurodegenerativen Prozessen künftig womöglich entgegenwirken. BDNF übt seine positive Wirkung auf Neuronen und Synapsen bis ins Erwachsenenalter aus. Damit hat es das Potential, die Rückbildung von Hirnstrukturen zu verlangsamen. Altersbedingt setzt diese bei Menschen bereits mit etwa Mitte 30 ein. Außerdem scheint das Protein eine entscheidende Rolle bei Depressionen zu spielen. Vorherige Studien haben bei Tieren mit chronischem Stress und Menschen mit Depressionen vergleichsweise weniger BDNF als bei nicht gestressten oder depressiven gefunden. Behandelt man sie dagegen mit Antidepressiva, normalisiert sich seine Konzentration wieder. Weiß man also, wie BDNF mit der Hirnstruktur zusammenhängt, kann man damit zur therapeutischen Anwendung dieses Proteins beitragen.
Zusätzlich bewerten die Gutachter, ob die Fragestellung, die wir mit unserer Studie beantworten wollen, schlüssig ist. Konkret erwarteten wir einen positiven Zusammenhang zwischen der Menge von BDNF im Blut und der Größe des Hippocampus, einer Hirnstruktur, die bei Depressionen und anderen affektiven Störungen stark verkleinert ist. Einige vorherige Studien mit alten Menschen und Patienten fanden heraus, dass es einen Zusammenhang zwischen dem Protein und dem Volumen des Hippocampus gibt. Nun wollten wir wissen, ob sich diese Ergebnisse auch auf gesunde Menschen mittleren Alters übertragen lassen. Das kann Aufschluss darüber geben, ab wann sich ein Mangel an BDNF auf die Hirnstruktur auswirkt, und ob es sinnvoll sein könnte, dessen Konzentration vorsorglich zu erhöhen.
Neben der Bewertung der Forschungsidee geben Gutachter Hinweise und Änderungsvorschläge zu dem geplanten Vorgehen. Dabei wird sichergestellt, dass sich die formulierte Fragestellung tatsächlich mittels der geplanten Studie testen lässt. Auch dieser Prozess findet, anders als im traditionellen Publikationsverfahren, noch vor der Durchführung der Studie statt. Der klare Mehrgewinn: Tipps zur Studien-Durchführung kommen dann, wenn man sie noch berücksichtigen kann, und Denkfehler lassen sich rechtzeitig aufdecken.
Registered Reports als Antwort auf Vertrauenskrise
Unsere Studienidee und -planung überzeugten die Gutachter, die größte Hürde war somit genommen. Ist das Forschungsvorhaben nämlich einmal positiv begutachtet, wird einem versichert, dass sie am Ende auch veröffentlicht wird, solange sie nach Plan durchgeführt wird. Die Folge: In Registered Reports beobachtet man bis zu fünffach häufiger negative Befunde als in traditionellen Publikationen.
Auch unsere Studie untermauert dieses Muster. Anders als bei den vorherigen Studien mit Extremgruppen fanden wir keinerlei Zusammenhang zwischen der Menge an BDNF im Blut und der Größe des Hippocampus. Womöglich zeichnet sich ein Zusammenspiel erst dann ab, wenn einer von beiden Faktoren durch Alterungs- oder Krankheitsprozessen zunehmend angegriffen wird. Diese Muster lassen sich aber scheinbar nicht verallgemeinern – und so die Grenzen vorheriger Ergebnisse aufzeigen.
Unser Beispiel zeigt aber auch: Ohne die vorherige Absicherung wären unsere negativen Befunde womöglich nicht veröffentlicht worden. Gerade für junge Forschende ist das Publikationsversprechen ein Faustpfand, hängt ihr Verbleib im Wissenschaftsbetrieb nach dem Motto ‘Publish or Perish’ doch maßgeblich von regelmässigem Publizieren ab. Und wer weiß, vielleicht waren wir auch nicht die ersten, die keinen Zusammenhang zwischen BDNF und Hippocampus-Größe in gesunden, mittelalten Menschen gefunden haben – sondern lediglich die ersten, deren Studie nicht in der Schublade landete. Die Veröffentlichung negativer Ergebnissen fördert somit auch nachhaltige Forschung. Sie verhindert, dass wenig vielversprechende Forschungsansätze mit viel Zeit und Geld verfolgt werden.
Ein Format mit Zukunft
Sind Registered Reports also das Vakzin gegen den Publikationsbias, als das sie ihr Co-Initiator Chris Chambers schon 2018 beschrieb? Tatsächlich verringern sie nicht nur die Anzahl positiver Ergebnisse. Sie erhöhen auch die Qualität der Studien sowie die Anzahl reproduzierbarer Ergebnisse. Unerwünschte Nebenwirkungen für AutorInnen sind bisher hingegen nicht bekannt: trotz häufigerer Null-Resultate werden Registered Reports nicht seltener zitiert als gewöhnliche Artikel. All das macht Registered Reports zwar nicht zum Allheilmittel, aber zu einem wirksamen Korrektiv problematischer Wissenschaftskultur: Weg von Strukturen, die selektive Veröffentlichung begünstigen und nur positive Ergebnisse honorieren; hin zu transparenter Berichterstattung und der Wertschätzung negativer Befunde als wichtigen Bestandteil wissenschaftlichen Erkenntnisgewinns.
Dennoch gibt es Vorbehalte. Einige fürchten etwa eine Verengung des Studienfokus, da weniger Raum für nicht geplante Analysen und damit für mögliche Zufallsbefunde bestünde. Tatsächlich ist der vorgeplante Ablauf nur schwer umzusetzen in Studien, die sich einem Forschungsgegenstand weitgehend ohne konkrete Erwartungen nähern oder rein qualitativ vorgehen. Allerdings lassen Registered Reports explizit auch nicht registrierte, explorative Befunde zu — sofern diese an die gefundenen Ergebnisse anknüpfen und die ursprüngliche Forschungsfrage nicht überschatten.
Letztendlich sind Registered Reports also als Alternative, nicht als ausschließliches Format zu sehen – wenn auch mit steigender Verbreitung. Zuletzt nahm deren Zahl exponentiell zu, sowohl bei den veröffentlichten Berichten als auch bei der Vielfalt der unterschiedlichen Fachjournale. Und ein Ende scheint vorerst nicht in Sicht. Anfang des Jahres rief die weltweit größte multidisziplinäre Fachzeitschrift ihre künftigen AutorInnen dazu auf, mitzuhelfen “die Wissenschaft mit Registered Reports besser zu machen”. Vor wenigen Wochen verkündete das zweite ”Mega-Journal” PLOS ONE schon stolz die Jahresbilanz von über 300 Einreichungen. Ein enormer Anstieg, angesichts der insgesamt erst etwa 500 veröffentlichten Registered Reports bis zum vergangenen Jahr. Noch mehr Grund zur Hoffnung auf eine nachhaltige Wirkung dieses Formats macht aber vor allem eines: Die AutorInnenschaft setzt sich überwiegend aus jungen Forschenden zusammen. Sie würden sich wohl auch weiteren Reformen nicht verschließen.
Das ist ein verblüffender und logischer Ansatz. Wenn es gut läuft, fliesst schon in der Registrierungsphase Expertise aus der Community in die Studie mit ein. Im Extremfall meldet sich Jemand, der das ganze schon (erfolglos) ausprobiert hat. Allgemein: aus sogenannten Misserfolgen kann man meist mehr lernen, als aus Erfolgen, so sie denn nachbearbeitet und dokumentiert werden.
Roman Linz schrieb (28. Mai 2021):
> […] Die Forschungsfrage sowie -methodik rücken damit in den Vordergrund
> […] Zu den aussichtsreichsten Neuerungen zählen hier die sogenannten Registered Reports. […] Publikationsformat, das 2013 von einer Gruppe Neurowissenschaftler entworfen und nach etwas Anlaufzeit zunehmend beliebter geworden ist.
NIM, beispielsweise, ist dagegen schon seit Generationen beliebt. …
> […] Zunächst bewerteten also unabhängige ForscherInnen, ob unsere Studienidee überhaupt wissenschaftlich relevant und durchführbar ist.
Wird damit nicht ein (Publikations-)Bias befördert, der sich gegen die Auffindbarkeit von Forschungsvorhaben und -methodiken richtet, von denen es im Nachhinein womöglich hieße, dass sie “mal” für irrelevant und/oder undurchführbar gehalten wurden ?
p.s.
> Zusätzlich bewerten die Gutachter, ob die Fragestellung, die wir mit unserer Studie beantworten wollen, schlüssig ist.
“Schlüssigkeit” ist allerdings eine tadellose, nachvollziehbare Metrik zur Bewertung und Auswahl von Forschungsvorhaben bzw. von Messoperatoren; in “Best Practices”-Fällen:
Koinzidenz-Urteile als Input-Data und reelle (oder Boolesche) Werte als Resultate.
Dass sich im Nachhinein andere Bewertungen der Relevanz oder Durchführbarkeit einer Studie ergeben können ist selbstverständlich. Und wie beschrieben sind Registered Reports für rein explorative Studien oder neue Methodiken vermutlich weniger geeignet, auch weil Studienparameter wie Stichprobengröße und erwartete Effektstärken vor der Datenerhebung bestenfalls benannt werden. Sofern Vorhaben theoretisch gut begründet sind sehe ich wenig Gefahr einer vorschnellen Ablehnung im Peer-Review und damit eines solchen Bias – vielmehr entsteht die Verzerrung ja durch falsch positive, publizierte Befunde. Siehe auch https://www.nature.com/articles/s41562-021-01111-x
Ob die ´Registered Reports´ die Qualität wissenschaftlicher Arbeiten wirklich verbessern – muss man noch sehen; ich habe da meine Zweifel.
Denn so wie ich den obigen Text und das dahinter stehende Funktionsprinzip verstanden habe, kann man die Chancen (dass eigene wissenschaftliche Arbeiten später veröffentlicht werden) steigern, wenn man vorher mit den Fachzeitschriften per ´registered reports´ schon Kontakt aufgenommen hatte.
D.h. die Chancen auf Veröffentlichung in einer Fachzeitschrift steigen deutlich, wenn man dort bereits jemand kennt. ´Vitamin B´ – sagt man auch dazu.
Bisher deutet zumindest eine Studie darauf hin, dass die Qualität von Registered Reports im Vergleich zu regulären Artikeln höher ist. Sie zeigt Vorteile in allen (19) untersuchten Kriterien. Bis weitere Studien diesen Befund replizieren – oder eben nicht – ist Zweifel daran natürlich voll legitim.
Die Chancen, dass eigene Arbeiten publiziert werden, hängen allein von der Qualität der geplanten Studie und damit dem eingereichten “Stage 1” Manuskript ab. Der Vorteil im doppelten Review Verfahren (Stage 1: Studienidee und Methodik, Stage 2: Resultate und Diskussion) ist lediglich, dass die Publikation nach ‘bestandenem’ ersten Review prinzipiell und ergebnisunabhängig möglich ist. Die Arbeit bleibt (mindestens) die gleiche und ‘Vitamin B’ hier nicht relevanter als im klassischen ex-post Review.
Wenn man über Registered Reports liest
so versteht man auch warum dieses Vorgehen bis jetzt vor allem in den Sozialwissenschaften und der Psychologie Verbreitung findet, denn die dort verwendeten Methoden wie Interviews, Verhaltens- und Kognitionstests werden vorab aufgrund einer Hypothese konzipiert. Das ist im Prinzip ein Top-Down Vorgehen: man stellt eine Hypothese auf und testet sie indem man geplante Interventionen/Analysen erarbeitet.
In vielen naturwissenschaftlichen Disziplinen findet sich aber eher ein Mix von Top-Down und Bottom-Up.
Beispiel: In der Erforschung von neuen Batterietechnologien hat man es mit kompliziert ineinandergreifenden chemischen Prozessen zu tun und jede Änderung beispielsweise an einer Interface-Schicht zwischen Kathode und Elektrolyt beeinflusst viele weitere Prozesse innerhalb der Batterie. Das hat zur Folge, dass man sehr viel stärker schrittweise vorgeht und man nach einem Schritt eventuell das weitere Vorgehen ändert, weil sich neue Erkenntnisse ergeben haben.
Ein Batterie-Chemiker, aber überhaupt die meisten Materialwissenschaftler können nicht einfach eine Hypothese über das neue Gesamtsystem aufstellen und alles bis ins letzte Detail vorausplanen, einfach darum weil das Gesamtsystem komplex und die Teile ineinander verwoben sind. Klar könnte man auch hier mit dem Format Registered Reports und der hypothetisch deduktiven Methode vorgehen, einfach in dem man für jeden geplanten Einzelschritt das Vorgehen des Registered Reports wählt. Man würde dann aber sehr fokussierte Reports erhalten beispielsweise in der Art „Auswirkung des Ersatzes von Stoff X durch Stoff Y in der Interface-Schicht zwischen Kathode und Elektrolyt“. Das wäre ein grosser Aufwand für einen einzigen Schritt. Die Folge wäre auch, dass aus einem einzigen Forschungspapier nun ganz viele viel stärker fokussiertere Einzelpapiere entstehen würden.
Das führt mich dann zu folgender Frage:
Bewirkt das Format Registered Reports, dass es nun sehr viele mehr publizierte Arbeiten gibt, als vorher?
Ich erwarte tatsächlich, dass das selbst innerhalb der Sozialwissenschaften und der Psychologie der Fall ist. Das könnte auch ein Teil der Attraktivität dieses Formats ausmachen.
Die meisten Registered Reports sind bisher tatsächlich in den empirischen Disziplinen der ‘Lebenswissenschaften’ erschienen, und bestimmt nicht immer gewinnbringend anwendbar in anderen Bereichen, die z.B. prozesshafter vorgehen.
Ob durch die stärkere Verbreitung von RRs tatsächlich mehr Artikel insgesamt erscheinen lässt sich bisher noch nicht sagen. Momentan machen sie ja nur einen Bruchteil aller Veröffentlichungen aus und sind in vielen Disziplenen noch gar nicht bekannt. Und die bloße Anzahl an Publikationen ist ja noch von vielen weiteren Faktoren abhängig: allein der zweigeteilte Review-Prozess ist vermutlich mit längeren Wartezeiten verbunden, was die Zahl an Publikationen schon drücken könnte. Der größere Mehrwert scheint zunächst vor allem der Vertrauensgewinn in Publikationen und ihre vermehrt negativen Befunde. Auch dass Journale wohlwollender gegenüber Replikationsstudien sind und die Akzeptanz von Null-Ergebnissen (auch in regulären Artikeln) steigt, sollte eher qualitative Vorteile haben und dem Publikationsbias entgegenwirken – rein quantitativ ist eine Prognose schwierig und vielleicht gar nicht so wesentlich.
So, wie sich das anhört, läuft es darauf hinaus, das kein doppeltes Kontrollsystem eingeführt wird, sondern, das die Kontrolle nicht ex-post, sondern in ea-Studie erfolgt, woraufhin man automatisch eine Kontrollinstanz zur Selektion dessen vermuten/erwarten lassen muß, was überhaupt erforscht werden wird (also soll oder nicht soll).
Das dies ein Misstrauensvotum gegen alle akademisch (und nicht akademisch) Forschenden sei, oder ein interrupt der freien Forschung darstellen kann, fällt da niemanden auf?
Es wäre eine Absage an die Qualität der universitären Ausbildung, die doch genau das gewährleisten soll: Qualität in Forschung und Wissenschaft. Anscheinend aber traut man dieser Ausbildungskompetenz und Qualität nicht mehr und man sehnt sich nach einer Kontrollinstanz vor Studien-/Wissenschaftsbeginn (gar vor Studienkonzeption oder Fragestellung).
Das wäre für mich ein Grund, das ganze Konzept abzulehnen, selbst, wenn man dadurch durchaus Qualitätssteigerung/Sicherung erreichen kann.
Denn die Qualitätsfrage steht hier eigendlich gar nicht im Vordergrund, wenn das Argument nur die “Lebenswisenschaften” sind, in denen wenig reproduzierbare Ergebnisse hervorgehen. Denn deren Qualität oder Gültigkeit ist ja durch die Variabilität dynamischer und emergenter Entwicklungen situativ oder temporal eingeschränkt.
Die Psyche ist viel variabler, als in den Naturwissenschaften die Naturgesetze. Schon das Studiendesign oder die Organisatoren und Durchführenden der Studie oder die Tagesform der Probanden oder Durchführenden ist entscheidener Einfluß. Oder auch der “Zeitgeist”, der ebenso variabel ist. Kein Wunder, wenn man dann so manche Studie in der Psychologie nicht produzieren kann, wenn die Einflußbedingungen derart variabel sind.
Vor allem der Zeitgeist, der an einem Tage noch eine “Form” hat, kann schon am nächsten Tag (nächste Woche) wegen einer massenmedialen Sau, die durch alle Schlagzeilen ging, ein anderer sein.
Wie man dahinein eine “Qualitätssicherung” implementieren will, erschliesst sich mir nicht. Es geht schlicht nicht (oder nur mit erheblichen Aufwand und Strategie, wie sie in den meisten anderen Fragestellungen der Naturwissenschaften bisher nicht nötig sind). Und die nicht reproduzierbaren Studien sind hier kein Beweis für schlechte Forschung, sondern für die Variabilität der Psychen.
Was also bleibt übrig von der Argumentation für dieses doppelte Kontrollsystem, wenn man die “Lebenswissenschaften” aus der Argumentation nimmt?
Doch nur, das man primär kontrollieren kann, was überhaupt erforscht wird und was nicht. Und zwar zuweilen sogar schon vor jeder echten Fragestellung, die am Anfang jeder Studienkonzeption steht, weil sich nach und nach einpendeln wird, das man an gewissen Szenarien gar nicht erst fprscht, wärhend man an anderen um so mehr fprscht. Das ist sehr selektive Forschung und wird noch absurdere Fürchte wachsen lassen, als es ein missverstandenes “publish and perish”-Ding je erzeugen kann… etwa, das so manche Forscher gar nicht erst veröffentlichen, was an ihrer Studie unerwartetes zumn Ergebnis hatte.
Es wird also nicht die “schlechte” Wissenschaft verbessert, sondern nur das unerwartete Ergebnis, das neue Fragen aufwirft, was man offenbar vermeiden will, wenn man derart “primär” in diese “freie Forschung” eingreift.
Denn womöglich sind die wenigsten “schlechten Forschungen”, die als solche nachträglich erkannt wurden, wirklich schlechte Forschungen, sondern sie sind leider nur unerwünschte Ergebnisse, die noch unangenehmere Fragen aufwerfen, was man verhindern wollte.
Und das man aus den Daten der bisherigen Veröffentlichungen unter diesen Strukturen irgendwas herrauslsen kann, wie es erwähnt ist, ist reine Mythologisierung. Die Anzahl der Studien ist gar kein Indikator für irgendwas, das intendiert wurde. Ausser, das die meisten gerade in den “Lebenswissenschaften” derart zustande kamen. Was schlicht daran liegt, das man darin natürlich ein Problem erkennt, und Abhilfe sucht, was aber mit der Erklärung der Variabilität erklärt ist und sich nicht (vollständig) mit dem neuen, doppelten System lösen lässt.
Natürlich wird niemand gezwungen, wissenschaftliche Studien in Form von Registered Reports zu publizieren. Sie bieten die Möglichkeit, Vertrauen in die späteren Befunde zu erhöhen. Sie sind sicher keine Kontrollinstanz, die steuern könnte, was überhaupt erfoscht wird. Letzteres hängt viel grundlegender von Forschungsgeldern ab, die ja häufig auch an spezifische Forschungsbereiche und -themen geknüpft sind, welche regelmässig evaluiert und in vielen Fällen ja auch vorher begutachtet werden.
Das Feedback im ersten (‘Stage 1’) Peer-Review kommt wie sonst auch von ExpertInnen des jeweiligen Forschungsfeldes, zudem beurteilt der entsprechende Journal-Editor das Paper sowie die Reviews. All das sollte verhindern, dass hier unbegründet oder gar systematisch Einfluss auf die “freie Forschung” genommen wird.
Viele der fehlgeschlagenen Replikationen in der psychologischen Forschung sind aber genau nicht auf ‘Noise’, also auf die von Ihnen angerissenen situativen, personellen, … Einflussfaktoren zurückzuführen, sondern oft auf unzureichend große Stichproben (also statistische Power), andere methodische Fehler oder schlichtes Fehlverhalten. Die im Text verlinkte Studie zur Replikation macht das sehr anschaulich: weniger als die Hälfte der Befunde ließen sich replizieren, obwohl oft das identische Setup (z.B. computergestützte, hoch standardisierte Tests) verwendet wurde. Auch in anderen lebenswissenschaftlichen Disziplinen wie der Medizin sind methodische Standards nicht ausreichend, wie z.B. auch dieser gestern erschienene Kommentar verdeutlicht: https://www.jclinepi.com/article/S0895-4356(21)00170-0/fulltext.
Die methodische Qualität steht bei RRs tatsächlich im Vordergrund – die Unterstellung, man sehne sich nach einer zusätzlichen ‘Kontrollinstanz’, verkennt momentane akademische Realitäten, in denen ein (quantitativ) hoher Output über die weitere Wissenschaftskarriere entscheidet (siehe Link zu Publish-or-Perish) sowie eine Publikationskultur, die ‘novelty’ und positive Befunde in Studien priorisiert. Mehr ‘Kontrolle’ wäre dabei sicher nicht zuträglich.
Eine sehr schöne Zusammenfassung des Formats und der Entwicklungen im Feld, Herr Linz. Hinsichtlich der Evidenz, dass RRs publication bias substantiell reduzieren können, möchte ich an dieser Stelle noch an unsere eigene Studie hinweisen, in welcher wir dies als erste 2019 getestet haben (Ergebnisse vergleichbar mit den zitierter von Anne Scheel et al.): https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3000246
Wir diskutieren darüber hinaus weitere Chance, die sich für Nachwuchswissenschaftler*innen ergeben, aber auch besonderen Herausforderungen und Risiken, denen sie sich stellen müssen. Open Science ist mit mehr Arbeit verbunden und wird in den Meisten Feldern überwiegend leider noch nicht hinreichend honoriert, für den mainstream akademischen Jobmarkt daher ein klarer Wettbewerbsnachteil in meiner Erfahrung und der von Kollaborator*innen bzw. sehen sich Nachwuchswissenschaftler*innen regelmäßig in Rechtfertigungssituationen (unabhängig vom Land).
Beste Grüße,
David
Danke für den Kommentar und den Hinweis auf das Paper, das nun im Text noch verlinkt ist und ja gerade im Hinblick auf ECRs/#IchbinHannas immernoch sehr aktuell die Pros und Cons diskutiert.
Sicher braucht es vor allem einen grundlegenden Wandel der Inzentivierung und Honorierung guter wissenschaftlicher Praxis. Auch wenn hier vermehrt Schritte in die richtige Richtung wahrnehmbar sind (leider weniger in Deutschland als z.B. in Nachbarländern: https://www.nature.com/articles/d41586-021-01759-5), sind Teile der Wissenschaft trotz großer Fluktuation ‘unten’ ja doch recht starre Systeme, was sich etwa am hartnäckigen Festhalten am p-Wert oder dem journal impact factor festmachen ließe. Mehr Mittelbau und eine veränderte Journal-policy könnten sicher auch helfen.
Dass es zusätzliche Arbeit bedeutet, einen RR von vorne bis hinten durchzuziehen, deckt sich auch mit unserer Erfahrung. Wir würden RRs auch nicht uneingeschränkt für noch wenig statistisch/methodisch erfahrene ERCs empfehlen. Für sie könnte der Prozess mit einigen potentiellen Fallstricken verbunden sein – etwa wenn die Studie keine pure Replikation ist und im Vorhinein schon sehr klar sein muss, wie genau die Stichprobe (Simulationen), das Studiendesign und die späteren Analysen aussehen sollen.
Zumindest was den Reviewprozess angeht, gibt es mit der neuen PCI Initiative ja die Aussicht auf eine verkürzte Review-Dauer (https://twitter.com/PCI_RegReports/status/1384078961483780100), was gerade momentan auch ein Vorteil zum regulären Review sein kann.
Rechtfertigungsdruck, dieses Format auszuprobieren, hatten wir glücklicherweise nicht. Bleibt zu hoffen, dass mit größerer Verbreitung von RRs auch mehr PIs hierfür zugänglicher werden.
Beste Grüße,
Roman