Qualitätssicherung in der Wissenschaft und Konsequenzen für die Wissenschaftskommunikation

BLOG: RELATIV EINFACH

… aber nicht einfacher
RELATIV EINFACH

In der ersten ZEIT-Ausgabe dieses Jahres gibt es eine Reihe interessanter Artikel zur Frage Qualitätssicherung in der Wissenschaft, mittlerweile auch einiges online:

  • Rettet die Wissenschaft! von Stefan Schmitt und Stefanie Schramm gibt einen Überblick über neuere Entwicklungen bei der Qualitätssicherung – von einem Journal für fehlgeschlagene Projekte über die Frage der Reproduzierbarkeit von Studien und den Umgang mit widerrufenen Artikeln bis hin zur Veröffentlichung von Peer Review-Gutachten und Laborbüchern,
  • Die Folgekosten können hoch sein, ein Interview von Martin Spiewak mit dem Medizinprofessor, ex-Wissenschaftsminister und Wissenschaftsmanager Jürgen Zöllner zum Umgang mit wissenschaftlichem Fehlverhalten
  • Signifikanter Unsinn von Christoph Drösser über statistische Probleme in Fachartikeln und grundlegende Probleme im Umgang der Wissenschaftler mit Statistik
  • Ein Video Rettet die Wissenschaft (Video), in dem Stefan Schmitt den Themenschwerpunkt anteasert

sowie eine

  • Infografik zum wissenschaftlichen Veröffentlichungsprozess.

Alles in allem sehr interessant, mit Verweisen und Links auf vielversprechende Initiativen und neue Entwicklungen.

Einiges davon hatte ich anderweitig bereits mitbekommen – dass beispielsweise die DFG bei bestimmten Forschungsanträgen nicht mehr nach der vollen Veröffentlichkeitsliste fragt, sondern nach den 10 (soweit ich erinnere) wichtigsten Veröffentlichungen der letzten Jahre – um die Anreize für die Wissenschaftler von “möglichst viel veröffentlichen!” in Richtung “lieber weniger, aber dafür gute, schlagkräftige Artikel veröffentlichen” zu verschieben; zur Frage der Reproduzierbarkeit hatten wir hier auf den SciLogs das Bloggewitter Nicht reproduzierbare Studien, und auf Plädoyers dafür, wissenschaftliche Originaldaten besser zugänglich zu machen, war ich hier 2011 in Die Zukunft der Fachartikel eingegangen. Die von Christoph Drösser angesprochenen grundlegenden Probleme mit der Statistik und die zunehmende Verbreitung Bayesianischer Ansätze halte ich für eines der spannenden allgemeinen Wissenschaftsthemen der nächsten Jahre überhaupt.

Anderes war mir in den ZEIT-Artikeln durchaus neu: Glenn Begleys Untersuchungen zur nicht-Reproduzierbarkeit von Krebsmittel-Studien war an mir vorbeigegangen, und die Reproducibility Initiative hatte ich mir auch noch nicht näher angeschaut. Das Journal for Unsolved Questions habe ich auch erst in dem Artikel von Schmitt/Schramm kennengelernt: eine Fachzeitschrift, in dem man Projekte, an dem man sich die Zähne ausgebissen hat bzw. in denen sich für die gestellte Arbeitshypothese eben keine Bestätigung findet, veröffentlichen kann.

Als einziges ungut aufgestoßen ist mir bei den ZEIT-Artikeln die Vagheit von Formulierungen wie “Es ist ein offenes Geheimnis, dass viele Erkenntnisse der Wissenschaft nicht so gesichert sind, wie viele meinen. Auf viele Ergebnisse ist zu wenig Verlass, falsche Daten häufen sich und die Kontrollmechanismen sind lückenhaft” (meine Hervorhebung). Darüber, dass die bekannt gewordenen Fälle zuviel sind, dürfte sich Einigkeit erzielen lassen. Aber die Frage, welchen Anteil die (auf die verschiedenen genannten Arten) problematischen Ergebnisse an der Wissenschaft insgesamt haben, und ob sie langfristig einen hinreichend großen Bereich beeinflussen, dass man mit Fug und Recht von “viel” reden kann, ist nicht so leicht zu beantworten – das dürfte ein Teil des Problems sein, sollte bei Diskussionen dieser Art auch als Problem benannt werden und alle, die sich mit dem Thema beschäftigen, vorsichtig gegenüber Formulierungen wie “viele…” werden lassen.

Was haben die Probleme, die in dem ZEIT-Themenschwerpunkt, für Konsequenzen für die Wissenschaftskommunikation? Aus meiner Sicht lassen sich einige der Systemschwächen, die in den ZEIT-Artikeln angesprochen werden, in ähnlicher Weise in die Berichterstattung über Wissenschaft weiterverfolgen.

Aktualitätsfixierung in der Berichterstattung

Mit das wichtigste Systemproblem dürfte die Aktualitätsfixierung sein. Wir sind alle darauf gedrillt, dass Zeitungen, Zeitschriften, Funk und Fernsehen uns Aktuelles berichten, Neuigkeiten, das, was jetzt, gerade wichtig ist. Das drückt sich von den anderen Nachrichtenressorts in die Wissenschaftsberichterstattung durch, aber trifft da auf eigentlich ganz unpassende Strukturen. Denn was in der Wissenschaft wirklich wichtig ist, lässt sich oft nur mit einigem Abstand beurteilen.

Zumindest ein Verzögerungsschritt hat sich da als Qualitätssicherung eingebürgert, nämlich nicht gleich über ein Ergebnis zu berichten, wenn es innerhalb der wissenschaftlichen Gemeinschaft bekannt wird (etwa über Vorträge bzw. Beiträge in Konferenzbänden), sondern erst, wenn es in einer Fachzeitschrift mit Gutachterverfahren (Peer review) zur Veröffentlichung angenommen wurde.

Das ist immerhin etwas, aber Zeitschriften-Begutachtungen sind, und das war noch nie eine neue Erkenntnis, in der Regel nur eine recht grobe Qualitätskontrolle. Der oder die Gutachter werden (evt. von Ausnahmen abgesehen?) keine Versuche wiederholen, keine Einsicht in Laborbücher nehmen, sondern schauen, ob alles plausibel dargelegt ist, ob die Argumentation stimmt, ob problematische Aspekte übersehen wurden, aber das war es dann auch. (Einzige mir bekannte Ausnahme ist die Mathematik, wo es üblich zu sein scheint, bei der Artikelbegutachtung tatsächlich den ganzen Beweisverlauf nachzurechnen; in diesem Falle ist die Begutachtung natürlich eine ungleich bessere Kontrolle.)

Damit ist das Gutachterverfahren ein wichtiger Schritt, aber nur ein erster Schritt vor der entscheidenden Qualitätskontrolle: Wie das betreffende Ergebnis von anderen Wissenschaftlern weitergeführt (und dabei oft direkt auf die Probe gestellt) wird, ob es sich als fruchtbarer Ausgangspunkt für weitere Forschung erweist, ob es im Lichte der nächsten paar Jahre Forschungsfortschritt Bestand hat.

Deswegen sind dann auch in der journalistischen Berichterstattung die zusammenfassenden Artikel und Features so wichtig, in dem Autor bzw. Autorin für eine bestimmte Fragestellung oder einen wissenschaftlichen Themenbereich den aktuellen Stand und die Entwicklungen der letzten Jahre aufarbeiten – während die aktuellen Wissenschaftsmeldungen im Hinblick auf den längerfristigen Nährwert immer recht zweifelhaft sind.

Bleibt das Problem der aktuellen Wissenschaftsnachrichten selbst. Eine Radikalkur, nämlich die (allermeisten) Wissenschaftsnachrichten prinzipiell erst im Abstand von zwei oder drei Jahren ins Blatt zu hieven, dürfte dem typischen Redaktionsumfeld allzu sehr gegen den Strich gehen. Aber es wäre doch mal interessant, ob der Informations-Nährwert bei solchen abgehangenen Nachrichten nicht letztlich sogar größer wäre als bei aktuellen.

Als einzige realistische Möglichkeit, die ich sehen kann, bleibt der verantwortungsvolle Umgang mit den Nachrichten, und sollte miteinschließen, auf einmal gesetzte Nachrichten jeweils ein Auge zu haben und über wichtige Änderungen zu berichten. Für Wissenschaftsjournalisten, die sich in einem oder mehreren Spezialgebieten sowieso auf dem Laufenden halten, dürfte das kein großartiger zusätzlicher Aufwand sein. Die Frage ist: Passen solche Updates in die Berichterstattung?

An dieser Stelle laufen die Systemprobleme bei Wissenschaft und Wissenschaftskommunikation parallel, denn auch bei Fachzeitschriften besteht ja das Problem, dass es im Schnitt sehr viel einfacher ist, neue Ergebnisse zu veröffentlichen als Kritik an bereits bekannten Ergebnissen. Entsprechend problematisch dürfte es in den meisten Fällen sein, eine “das Ergebnis, über da wir vor einem Jahr groß berichtet haben, stimmt gar nicht!”-Meldung in den Medien unterzubringen. (Einzige Ausnahme: Wenn ein neues Ergebnis an alten, etablierten Denkgebäuden rüttelt; das ist dann wieder etwas, was sich verkaufen lässt.)

Aber vielleicht lässt sich der Überprüfungsfaktor in den Medien ja ganz bewusst einsetzen? Weiß jemand, ob irgendeine Zeitung oder Zeitschrift eine Art “Was wurde daraus?”-Kolumne hat, in der Wissenschaftsnachrichten im Abstand von ein paar Jahren unter die Lupe genommen werden? Vielleicht ließe sich der Zeitabstand ja sogar als Aufhänger nutzen, sprich: Die Kolumne nimmt auf den Tag genau alle Wissenschaftsnachrichten aufs Korn, die auf der entsprechenden Seite vor exakt zwei Jahren erschienen sind? Das sollte dem Leser bzw. der Leserin dann zumindest Anhaltspunkte für die Haltbarkeit der aktuellen Nachrichten auf derselben Seite und aktueller Wissenschaftsnachrichten im allgemeinen geben.

Solche kritischen Follow-Ups sind natürlich auch ein schönes Betätigungsfeld für Blogger; ich habe ein paar angefangene Artikel in diese Richtung herumliegen und überlege bei diesem Anlass natürlich, welchen davon ich als nächstes aufgreife.

Jedenfalls zeigt sich an dieser Stelle einmal mehr wie wichtig es ist, dass Wissenschaftsjournalisten als kritische Berichterstatter agieren, nicht als Popularisierer oder Sprachrohre der Wissenschaft (wie es in diesem Blog ja z.B. im Zusammenhang mit der Diskussion ums Gegenlesen öfter mal zur Sprache kam, vgl. Unkontrollierte Journalisten [Oktober 2011] und Journalisten, Wissenschaftler und das leidige Gegenlesen [November 2013]). Denn zum Thema “Ergebnis XY unserer Wissenschaftler doch viel unspektakulärer, als wir dachten!” dürfte es in der Tat keine Pressemitteilung wissenschaftlicher Institute geben.

 

 

Markus Pössel

Markus Pössel hatte bereits während des Physikstudiums an der Universität Hamburg gemerkt: Die Herausforderung, physikalische Themen so aufzuarbeiten und darzustellen, dass sie auch für Nichtphysiker verständlich werden, war für ihn mindestens ebenso interessant wie die eigentliche Forschungsarbeit. Nach seiner Promotion am Max-Planck-Institut für Gravitationsphysik (Albert-Einstein-Institut) in Potsdam blieb er dem Institut als "Outreach scientist" erhalten, war während des Einsteinjahres 2005 an verschiedenen Ausstellungsprojekten beteiligt und schuf das Webportal Einstein Online. Ende 2007 wechselte er für ein Jahr zum World Science Festival in New York. Seit Anfang 2009 ist er wissenschaftlicher Mitarbeiter am Max-Planck-Institut für Astronomie in Heidelberg, wo er das Haus der Astronomie leitet, ein Zentrum für astronomische Öffentlichkeits- und Bildungsarbeit. Pössel bloggt, ist Autor/Koautor mehrerer Bücher, und schreibt regelmäßig für die Zeitschrift Sterne und Weltraum.

2 Kommentare

Schreibe einen Kommentar