Sesam öffne dich! Warum wir mehr Transparenz in der Wissenschaft brauchen
Corona hat es deutlich gemacht: Forschung, die von einem offenen Austausch und internationaler Zusammenarbeit profitiert, ist effizienter und zielstrebiger. Die Open-Science-Bewegung kämpft seit Jahren für mehr Offenheit und Transparenz in der Wissenschaft. Die Pandemie könnte ihr neuen Aufwind verschaffen.
Von Sandra Martin und Cornelia van Scherpenberg
Die Erwartungen an die Wissenschaft während der Corona-Pandemie sind hoch. Wissenschaftliche Erkenntnisse zum COVID-19-Virus und dessen Eindämmung sind von enormem Interesse, Entscheidungen für politische Maßnahmen orientieren sich maßgeblich an den Empfehlungen von Wissenschaftlern und die Erforschung von Impfstoffen und Medikamenten gegen das Virus ist mit immensen Hoffnungen auf eine baldige Rückkehr zur Normalität verbunden. In den letzten Monaten ist damit eine Disziplin ins Zentrum der Aufmerksamkeit gerückt, die sonst die meiste Zeit hinter verschlossenen Türen arbeitet und oft nur bei einzelnen, bahnbrechenden Erkenntnissen ans Licht tritt.
Derzeit können wir das Gegenteil beobachten: Forschende teilen ihre Daten zwischen den jeweiligen Laboren, um die Suche nach einem geeigneten Impfstoff zu beschleunigen. Sie stellen brandneue Erkenntnisse als sogenannte Preprints ins Netz, noch bevor sie das klassische Begutachtungsverfahren (Peer-Review) durchlaufen haben, und diskutieren diese dann in Blogs, Podcasts und den sozialen Medien. Eine breite Öffentlichkeit wird sich so darüber bewusst, wie Wissenschaftler arbeiten und wie Erkenntnisse etabliert, validiert oder womöglich auch wieder verworfen werden. Zugleich wird sichtbar, welche Reibung der unterschiedliche Umgang mit Ungewissheiten zwischen Medien, Politik und Wissenschaft erzeugen kann. Erstere suchen nach schnellen Lösungen und Erfolgsmeldungen, die Forschende in diesem Tempo nicht liefern können – zumindest nicht endgültig. Die Wissenschaftler wiederum sind unter Druck und sollen plötzlich in Windeseile Antworten finden, für die sonst jahrelange Forschungsarbeit nötig wäre.
Dabei bietet der derzeitige Prozess große Chancen für den Wissenschaftsbetrieb. Er hat das Potenzial, eine Entwicklung zu befeuern, die viele seit Jahren propagieren: dass Forschung offener, transparenter und gemeinschaftlicher sein muss. Dahinter steht die Open-Science-Bewegung. Aber warum brauchen wir das überhaupt, eine offene Wissenschaft?
Die Replikationskrise verletzte das Vertrauen in die Wissenschaft
Vor ein paar Jahren trat in empirisch arbeitenden Wissenschaften wie der Psychologie, den Neurowissenschaften, der Ökonomie oder auch der Medizin die sogenannte Replikationskrise auf. Forschende aus unterschiedlichen Arbeitsgruppen versuchten, publizierte Studien anderer Wissenschaftler zu replizieren, also mit denselben Methoden und Analyseschritten auf die gleichen Ergebnisse zu kommen. Das Ergebnis: Der Versuch schlug in vielen Fällen fehl. Effekte waren plötzlich nicht mehr statistisch signifikant oder die Unterschiede zwischen den Versuchsgruppen und experimentellen Bedingungen waren wesentlich kleiner als zuvor angenommen. Und häufig scheiterten die Forschenden schon zu Beginn ihres Replikationsversuchs: Entweder gab es nicht genügend Informationen über die Daten, die der Publikation zugrunde lagen, oder sie wurden sogar zurückgehalten. All dies verletzte das Vertrauen in die Disziplinen immens: Waren die Ergebnisse vielleicht nur Zufallsbefunde und gar nicht echt, womöglich sogar gefälscht?
Es war klar, dass sich etwas ändern musste. Die vielfältigen Arbeitsschritte – die Definition einer Forschungsfrage, die Literaturrecherche, der Entwurf eines Experiments oder die Planung der Feldarbeit bis zur Erhebung von Daten sowie der Analyse und Verbreitung der Ergebnisse – sollten für andere Forschende einsehbar sein. Damit sollte sichergestellt werden, dass bei Abschluss einer Studie nachvollziehbar ist, auf welchen Daten Wissenschaftler ihre Erkenntnisse stützen und mit welchen Methoden sie zu dem entsprechenden Ergebnis gekommen sind.
Die Open-Science-Bewegung schafft Plattformen für Transparenz und Austausch
Ein wichtiger Aspekt der Open-Science-Bewegung ist es deshalb, Infrastrukturen für den öffentlichen Zugang zu Forschungsdaten und -ergebnissen zu schaffen. Hier hat sich in den letzten Jahren einiges bewegt. Inzwischen gibt es Plattformen, auf denen Forschende ihre geplante Studie ankündigen und bestimmte Parameter bezüglich des Experiments von vornherein festlegen. Diese umfassen zum Beispiel den Studienaufbau, die geplante Stichprobengröße oder die Analysemethoden. Diese „Prä-Registrierungen“ sind auf Websites wie dem Open Science Framework (OSF) und AsPredicted für die Allgemeinheit auch nach Vollendung und Veröffentlichung einsehbar. Damit will man Rosinenpickerei oder gar Verzerrung der Daten verhindern – also, dass Ergebnisse nicht berichtet oder Datensätze unter den Tisch gefallen lassen werden, weil sie nicht zu den Hypothesen passen.
Damit außerdem ersichtlich ist, wie Wissenschaftler zu ihren Ergebnissen gekommen sind, können sie ihre gesammelten Daten und die Statistik ebenfalls auf diesen Plattformen (zum Beispiel das OSF oder OpenNeuro für die Neurowissenschaften) hinterlegen. Andere Forschende können so die Daten für neue Analysen nutzen, die Zusammenarbeit untereinander verstärkt sich.
Die Open-Science-Bewegung will jedoch nicht nur die Wissenschaft im Inneren verändern. Ziel ist es auch, einem breiteren Publikum den Zugang zu wissenschaftlichen Erkenntnissen zu ermöglichen. Dafür macht sich die Open-Access-Initiative stark. Oftmals müssen nämlich fachspezifische Zeitungen oder Artikel für viel Geld bei einem Verlag erworben werden. So geben Universitäten und Forschungsinstitutionen je nach Zeitschrift und Verlag mehrere Tausend Euro für Abonnements aus, mit denen sie schlussendlich für die Forschungserkenntnisse bezahlen, die sie ursprünglich selbst finanziert und den Verlagen zur Veröffentlichung zur Verfügung gestellt haben. Ziemlich absurd, oder?
Dieses Vorgehen erschwert der Öffentlichkeit, aber auch den Wissenschaftlern selbst den Zugang zu wichtigen Erkenntnissen und hemmt einen freien Austausch. Von der Doppelbelastung öffentlicher Gelder ganz zu schweigen. Auch wenn der Prozess langsam voranschreitet, ein Umdenken hat eingesetzt. Inzwischen gibt es Verlage, die alle ihre Aufsätze frei verfügbar machen (zum Beispiel Frontiers), und andere, die zumindest einen Teil ihrer Artikel frei ins Netz stellen (zum Beispiel Springer Nature). Zusätzliche Unterstützung bekommt die Open-Access-Bewegung vom Bundesministerium für Bildung und Forschung, das den uneingeschränkten Zugriff auf wissenschaftliche Veröffentlichungen langfristig als Standard etablieren möchte.
Eine weitere Lösung für einen freien und direkten Zugang zu Forschungsergebnissen bieten Preprint-Server (zum Beispiel bioRxiv), auf denen Forschende ihre fertige Studie vor der üblichen Begutachtung durch andere Wissenschaftler und der Veröffentlichung in einer fachspezifischen Zeitung hochladen. Dass dieses Verfahren dennoch einen besonders behutsamen Umgang mit den noch immer vorläufigen Ergebnissen erfordert, zeigte sich unlängst. Ergebnisse zur Viruslast von COVID-19 bei Kindern und Erwachsenen, die die Autoren um Christian Drosten im Rahmen eines Preprints veröffentlichten, wurden medial zu schnell aufgebauscht und als sicher interpretiert. Die Studie war noch keiner Peer-Review unterzogen worden. Auf die von verschiedenen Experten geäußerte Kritik reagierten die Autoren prompt und überarbeiteten ihr Manuskript. Das Beispiel macht zudem deutlich, welche Verantwortung im Umgang mit wissenschaftlichen Erkenntnissen bei den Medien liegt: Trotz Wettlauf um die schnellste Berichterstattung sollte die gebotene Vorsicht bei vorläufigen Ergebnissen nicht vernachlässigt werden.
Einer offenen Wissenschaft gehört die Zukunft
Eine transparente und gemeinschaftliche Wissenschaft – dafür sprechen sich zunehmend mehr Wissenschaftler aus. Besonders unter Nachwuchsforschenden ist der Zuspruch groß, denn das Bedürfnis nach einem Wissenschaftsbetrieb, der statt hinter verschlossenen Türen offen und miteinander arbeitet, steigt. Nur wenn Open Science zum Standard für wissenschaftliches Arbeiten wird, können sich Forschende vertrauen und gemeinsam an einem Ziel arbeiten. Und nicht nur die Wissenschaft selbst profitiert davon, auch die Öffentlichkeit gewinnt. Die Debatten zur Corona-Pandemie, aber etwa auch zum Klimawandel zeigen, wie ein transparenter, verständlicher Diskurs über die aktuelle Forschung mit all ihren Hürden und Unsicherheiten notwendige Maßnahmen in der Bevölkerung nachvollziehbar machen kann. Langfristig kommt Forschung so dort an, wo sie hingehört: in der Mitte der Gesellschaft.
Eine “Replikationskrise” gab es vermutlich schon (gefühlt) immer. Auch die sträfliche Vernachlässigung all der Probleme, auf die schon (ab etwa den 1960er Jahren ) “philosophische” Wissenschaftstheoretiker/Erkenntnistheoretiker wie Thomas Kuhn , Imre Lakatos oder Paul Feyerabend hingewiesen haben.
Allerdings erinnere mich an populärwissenschaftliche Artikel in den 1970 er/ 1980er Jahren (und danach eventuell auch auch in “Spektrum der Wissenschaft”) in denen stolz (oder vollmundig?) behauptet wurde, kein echter Wissenschaftler würde “Ergebnisse” ernst nehmen, die nicht einer mehrfachen unabhängig- kritischen Replikation standgehalten hätten.
Unter Umständen hat sich da in den vergangenen 2-3 Jahrzehnten auch etwas (zum noch Schlechteren) geändert ? (-:
Da haben Sie recht, das Problem ist bereits älter. Umso mehr ist es wohl an der Zeit, es anzugehen. Wobei es natürlich noch erhebliche Unterschiede in den verschiedenen Disziplinen gibt.
In der Tat. Man möchte ein Paper öffnen, welches von einem mit Steuergeldern bezahlten Wissenschaftler angefertigt wurde, mit Erkenntnissen, deren Erlangung ebenfalls von Steuergeldern bezahlt wurde.
Aber ein Laden wie Elsevier, dessen Beitrag zum Paper bestenfalls marginal genannt werden kann (wieviel kosten wohl die 450 KB Speicherplatz zum Hosten des Papers), möchte gern 46,90 EUR für die Erlaubnis einsacken, das Paper lesen zu dürfen. Geld, von dem weder beim Wissenschaftler noch bei der ihn beschäftigenden Universität etwas ankommt.
Man könnte das lachhaft nennen, wenn’s nicht so traurig wäre.
Da (zumindest) eine der Autorinnen Neurowissenschaftlerin und offenbar “Spezialistin” für (nicht invasive oder auch invasive?) Hirnzugriffe” und der Bewertung solcher Daten ist, wäre es gerade auch in Bezug auf das Artikelthema interessant zu erfahren, wie sie in diesem Zusammenhang den “Fall Birbaumer” einschatzt. Siehe auch bei Kollege Stefan Schleim letztes Jahr:
https://scilogs.spektrum.de/menschen-bilder/forschungsskandal-in-der-hirnforschung/
Fälle von Verstößen gegen gute wissenschaftliche Praxis und des naheliegenden Verdachts auf Betrug gibt es immer wieder, wie von Ihnen auch angemerkt im Fall des Niels Birbaumer. Umso wichtiger ist es, Prinzipien zu entwickeln, die dem entgegenwirken, eben die Veröffentlichung von Daten und Analyseschritten oder die Prä-Registrierung einer Studie von vornherein. Das macht Ergebnisse nachvollziehbar und gibt Vertrauen, ist aber natürlich kein hundertprozentiger Schutz vor Betrug. Wie in anderen Bereichen, gibt es den auch in der Wissenschaft nicht.
Klingt gut, viel Erfolg!, das Web lädt ja auch so (“Open Science”) ein.
Zu “Corona” oder COVID-19 wünschen sich viele eine mehr datenbasierte öffentliche Debatte, “Süppchen” müssen sich so nicht gekocht werden, von insbesondere Political Playern.
Mit freundlichen Grüßen
Dr. Webbaer (der sich im Web auch gerne über die aktuellen Daten i.p. sog. Übersterblichkeit von “Corona” versorgt, bspw. beim Statistischen Bundesamt, bei “EUROMOMO” (also Teile Europas betreffend) und die Staaten betreffend hier)
Mal ein Wort wider die sog. ‘Replikationskrise’, das abär nicht so-o nett ausfallen wird.
In der Naturlehre wird i.p. Korrelation mit sehr großen Datenbasen gearbeitet, vgl. auch hiermit :
-> https://de.wikipedia.org/wiki/Varianz_(Stochastik)
Es gilt die soz. übliche oder natürliche Varianz eines beobachteten Systems möglichst dadurch herauszukriegen indem für die Hypothesen-Testung möglichst viele Versuche stattfinden, um dann Signifikanz auf einem möglichst hohen Niveau feststellen zu können, vergleiche :
-> https://en.wikipedia.org/wiki/Six_Sigma#Sigma_levels
Eine in Versuchen festgestellte Korrelation soll möglichst stabil sozusagen sein, auf einem sog. Sigma-Level.
In den Sozialwissenschaften wird dagegen mit der sogenannten Statistischen Signifikanz gearbeitet, und da hat es nun einmal mau auszusehen, vergleiche :
-> https://de.wikipedia.org/wiki/Statistische_Signifikanz
…wenn mit einem Signifikanz-Niveau von 5 % gearbeitet wird.
—
Insofern ist es schon OK, wenn es eine gewisse Problematik mit der Reproduktion von Versuchen, die Ergebnisse meinend, gibt.
Sog. Evidenz wird sukzessive angehäuft, es ist OK, wenn Versuche wiederholt werden, wenn andere Daten entstehen, wenn die Datenproben, insbesondere im sozialwissenschaftlichen Bereich nicht so-o groß sind, Probanden kosten (Geld), es darf sozusagen alternative Datenlagen geben und es zeugt in der Wissenschaft nicht von Wahnsinn, wenn Versuche sozusagen immer und immer wiederholt werden und (!) ein anderes Ergebnis erwartet wird.
Die Einstein zugeschriebene Aussage, dass die Wiederholung von Versuch in der Erwartung anderes Resultat zu erhalten, Wahnsinn sei, kann nicht von Einstein sein. (Ansonsten bitte an dieser Stelle antworten, das Gegenteil dieser Behauptung belegend, danke!)
MFG
Wb
Sandra Martin & Cornelia van Scherpenberg schrieben (26. Aug 2020):
> […] sollte sichergestellt werden, dass bei Abschluss einer Studie nachvollziehbar ist, auf welchen Daten Wissenschaftler ihre Erkenntnisse stützen und mit welchen Methoden sie zu dem entsprechenden Ergebnis gekommen sind.
Dadurch würde also mangelhafte oder fehlende Nachvollziehbarkeit vermieden, und folglich ggf. eine Nachvollziehbarkeitskrise (engl.: reproducibility crisis) überwunden.
> […] Vor ein paar Jahren trat in empirisch arbeitenden Wissenschaften wie der Psychologie, den Neurowissenschaften, der Ökonomie oder auch der Medizin die sogenannte Replikationskrise auf. […] mit denselben Methoden und Analyseschritten auf die gleichen Ergebnisse zu kommen […] schlug in vielen Fällen fehl.
Sofern die jeweils angewandten definierten und nachvollziehbaren Methoden und Analyseschritte nicht logisch-zwingend und beweisbar nur ein einziges (gültiges) Ergebnis zulassen, sondern (“lediglich”) den Wertebereich einer echten Messgröße festlegen, der mehrere verschiedene (“denkbare”) Ergebniswerte umfasst, muss ja nicht logisch-zwingend aus jedem einzelnen Versuch genau der selbe Ergebniswert ermittelt werden.
Verschiedenheit der jeweiligen Ergebniswerte wäre ggf. schlicht Ausdruck der so bewerteten Ungleichheit der einzelnen Versuche (bzw. Zustände bzw. Beobachtungs-Datensätze). Das Modell bzw. die Annahme oder Erwartung, dass alle untersuchten Versuche hinsichtlich dieses durch die angewandten Methoden und Analyseschritte realisierten Maßes gleich wären (oder gar “sein müssten”), wäre somit ggf. schlicht falsifiziert.
Deshalb von ggf. einer Krise (Replikationskrise) zu sprechen, mag ja manchen naheliegen, die an solchen (besonders einfachen) Modellen, Annahmen, Erwartungen besonders hängen bzw. darin investiert sind. Die oben beschriebene Nachvollziehbarkeitskrise ist davon jedenfalls sorgfältig zu unterscheiden.
Es gibt beides, also ‘Replikationskrise’ und wie Sie es nennen : ‘Nachvollziehbarkeitskrise’.
Hier – ‘Sofern die jeweils angewandten definierten und nachvollziehbaren Methoden und Analyseschritte nicht logisch-zwingend und beweisbar nur ein einziges (gültiges) Ergebnis zulassen, sondern (“lediglich”) den Wertebereich einer echten Messgröße festlegen, der mehrere verschiedene (“denkbare”) Ergebniswerte umfasst, muss ja nicht logisch-zwingend aus jedem einzelnen Versuch genau der selbe Ergebniswert ermittelt werden.’ – musste “Opi” ein wenig schmunzeln.
MFG
Wb
Dr. Webbaer schrieb (29.08.2020, 14:53 Uhr):
> Es gibt beides, also ‘Replikationskrise’ und wie Sie es nennen : ‘Nachvollziehbarkeitskrise’.
Jedenfalls ist
– Nachvollziehbarkeit der anzuwendenden Messoperation (“reproducibility”)
von
– Wiederholung (also Gleichheit) der erhaltenen Messwerte (“replicability”)
zu unterscheiden.
Ob und wer womit in Krisen geraten sein mag, will ich zwar nicht beurteilen oder herbei-“reden”. Aber jedenfalls:
Ohne nachvollziehbare Messgröße —
(deren “Definition eine Methode an die Hand gibt” bzw. die schlicht durch die Methode definiert ist, durch deren Anwendung Fall zu Fall, Versuch für Versuch, jeweils ein Messwert zu gewinnen wäre)
— keine miteinander vergleichbaren Messwerte.
> Hier […] musste “Opi” ein wenig schmunzeln.
Schön, dass immerhin mindestens einer von uns darüber noch schmunzeln kann.
p.s. — Aus gebotenem Anlass wiederhole ich hier (aus dem Gedächtnis) meine SciLog-Kommentar-Antwort auf Rudi Knoth (28.08.2020, 10:40 Uhr), die ich bereits am 28.08.2020 am (ziemlich) frühen Abend eingereicht hatte. (Den Link zu diesem Kommentar gebe ich im Memo an, weil ja leider auch hier nicht dokumentiert ist, wie viele Links ein SciLog-Kommentar enthalten darf.):
Rudi Knoth schrieb (28.08.2020, 10:40 Uhr):
> Wer ist denn Wir in diesem Text?
Mach mit!
p.s.
> Aber auch manche theoretischen Physiker schiessen d[en] “Modell”-[Begriff] in ihrem Theoriebegriff ein.
Jene, die für die Thematik “wie-wir-messen-wollen” kein einzelnes (Fach-)Wort kennen (wollen), und die deshalb auch nicht zum Kern der Thematik “welche-Messwerte-wir-so-erhalten-werden-oder-schon-haben” gelangen, nennen sich (Vorsicht! — Fachjargon!) phenomenologists.
(Dass jene mitunter auch als “theoretische Physiker” bezeichnet werden, erscheint als institutionelle Altlast. Als “Experimentalphysiker” werden sie jedenfalls nicht bezeichnet.)
“Sesam öffne dich”, sprach Mensch womöglich bei der “Vertreibung aus dem Paradies” (Mensch erster und bisher einzige geistige Evolutionssprung), wo Vernunftbegabung zu gottgefälligem Verantwortungsbewusstsein wirken sollte, doch nur der symptomatische Kreislauf des geistigen Stillstandes zeitgeistlich-reformistisch …🥴
Wir “leben”, systemrational-konfusioniert, in einer “Vernunft” des nun “freiheitlichen” Wettbewerbs um …, wo das “gesunde” Konkurrenzdenken in und um “Wer soll das bezahlen?” kreist, wer sich da über etwas wundert oder an Phänomene glaubt, naja, 😏 der …