Nicht reproduzierbare Studien: Gegenmittel aus der Chemie

Wissenschaft, das dürfte sich inzwischen herumgesprochen haben, basiert darauf, dass die zugrunde liegenden Experimente von allen nachvollzogen werden können. In der aktuellen Ausgabe von Spektrum allerdings beschreibt Ed Yong ausführlich, wie problematisch der moderne Wissenschaftsbetrieb mit dieser fundamentalen Bedingung umgeht: Zwar gilt immer noch, dass Studien theoretisch nachvollziehbar sein müssen, aber Forscher, die tatsächlich versuchen, bereits publizierte Ergebnisse zu reproduzieren, haben ganz schlechte Karten.

altDeswegen werden immer weniger veröffentlichte Ergebnisse tatsächlich auch mal überprüft, quer durch die Fachgebiete. In der Organischen Chemie ist die Lage allerdings etwas anders. Dort geht es nicht nur um die “großen” Ergebnisse, die dann in Form von verallgemeinerten Erkenntnissen in die sprichwörtlichen Lehrbücher eingehen, sondern eben auch um Synthesevorschriften. Mit denen stellt man all die vielen schönen Substanzen her, ohne die ihr alle hungrig, kalt, krank und ohne Internet wärt.

Das bedeutet, in der Organik repliziert man eigentlich permanent anderer Leute Ergebnisse, weil das einfach Synthesen von Substanzen sind, die man gerade mal für die eigene Forschung braucht. Selbst wenn sie also an etwas völlig neuem arbeiten, sagen wir, einem Hemmstoff für einen frisch identifizierten Membranrezeptor, müssen Organiker und Organikerinnen das gewünschte Molekül erst einmal aus einfachen Chemikalien zusammenbasteln. Die nötigen Reaktionen sammelt man sich aus der Forschungsliteratur zusammen und kocht sie dann nach.

Chemiker reproduzieren zwar dauernd, aber das führt keineswegs dazu, dass chemische Synthesen besonders gut reproduzierbar wären. Im Gegenteil. Es ist ein offenes Geheimnis, dass der größte Teil der Zeit in der chemischen Forschung dafür draufgeht, herauszufinden, weshalb die Reaktion gerade nicht so funktioniert wie im Paper steht, ob sie überhaupt funktioniert und wenn ja, welches entscheidende Detail die Autoren der Vorschrift leider zu erwähnen vergessen haben.

Veröffentlicht ist meistens nämlich nur eine ganz grobe Beschreibung der Synthese, die ganzen Details und Feinheiten, die über den Erfolg einer Reaktion entscheiden, darf man dann selbst herausfinden. Teilweise stehen auch interessante Hinweise (z.B. dass die Reaktionsmischung gelegentlich explodiert) in den Fußnoten. Und die erreichbare Ausbeute ist auch gerne mal geschönt. All das ist ausgesprochen lästig, ob es nun unabsichtlich passiert oder Forscherteams die eigenen Tricks bewusst zurückhalten, um sich einen Vorsprung zu sichern. Es gibt allerdings innerhalb des überkommenen wissenschaftlichen Publikationssystems schlicht keine Strukturen, diese wichtigen Informationen zusammenzustellen und weiterzugeben.

Stattdessen veröffentlichen inzwischen immer mehr Synthetiker und synthetikerinnen solche Informationen auf informellen Kanälen im Internet. 2009 zum Beispiel hat ein Chemiker eine äußerst dubiose Publikation kurzerhand nachgekocht und das Ergebnis samt Schlussfolgerungen im Blog veröffentlicht, und Chemspider veröffentlicht ebenfalls seit einer Weile vollständige Syntheseberichte.

Die neueste Plattform für unabhängig geprüfte Synthesen ist jetzt der eigens dafür eingerichtete Blog Syn, in dem man am Beispiel einer zuvor diskutierten Synthese schon mal sehen kann, wie das aussieht. Und natürlich wie es langfristig nicht weitergehen kann. Die Autorinnen und Autoren machen das in ihrer knapp bemessenen Freizeit, mit Chemikalien und Geräten, die sie zusammengebettelt oder, ahem, ausgeliehen haben. Damit werden sie nicht ernsthaft gegen die Flut an neuen Veröffentlichungen ankommen. Deswegen soll Blog Syn, anders als vergleichbare Initiativen, auf Crowdsourcing basieren: Möglichst viele Chemiker, die möglichst viele publizierte Reaktionen überprüfen und ihre Erfahrungen öffentlich zur Verfügung stellen.

Der Andrang ist bisher nicht sooo groß, sag ich mal. Und da stellt sich natürlich eine andere, viel wichtigere Frage: Haben die Akteure der aktuellen Forschungslandschaft denn überhaupt ein ernsthaftes Interesse, sich gegenseitig zu kontrollieren? Oder ist es nicht für Beteiligten wesentlich bequemer, wenn niemand allzu genau hinguckt und alle nur privat im Labor über schludrige Kollegen fluchen?

Schließlich würden strengere Maßstäbe und genauere Kontrolle vor allem bedeuten, dass eine ganze Menge Leute weniger publizieren könnten. Und es ist vor allem die Menge, die zählt, wenn es um Posten und Finanzierung geht. Könnte also sein, dass sich der Wissenschaftsbetrieb erst einmal grundlegend ändern muss, bevor man das Thema Reproduzierbarkeit überhaupt ernsthaft angehen kann.

Ich bin gelernter Chemielaborant und habe ab 1999 in diesem Beruf gearbeitet. Anschliessend habe ich an der Uni Hamburg Chemie studiert. Seit dem Abschluss Ende 2006 veröffentliche ich Beiträge in meinem Fischblog und verkaufe Artikel an andere Publikationen. Seit 2008 wohne ich im Raum Heidelberg und bin bei Spektrum der Wissenschaft für das Blogportal Scilogs verantwortlich. Daneben arbeite ich als freier Journalist und Redakteur unter anderem für die digitalen Angebote von Spektrum, veröffentliche auf verschiedenen Social-Media-Plattformen und experimentiere mit Mobile Reporting. Zu meiner Webseite

Kommentare Schreibe einen Kommentar

  1. Standardumgebungen als Lösungsansatz

    Eigentlich überrascht es nicht, dass das Problem der Reproduzierbarkeit auch in der chemischen Synthese existiert – auch wenn man als Laie wenig davon hört und die Medien sich jüngst “nur” mit den schon vermutet “weichen” Gebieten klinische und psychologische Studien befasst haben.

    Bei chemischen Synthesen scheint es für mich aber durchaus Chancen zu geben, die Reproduzierbarkeit prinzipiell zu erhöhen – nämlich indem man Standardumgebungen für die Synthese verwendet. Im Idealfall würde die ganze Synthese in einer reproduzierbaren Umgebung ablaufen in der auch die Reaktionsbedingungen automatisch aufgezeichnet werden. Eine Art Syntheseautomat also.
    Das Problem wird wohl sein, dass ein genügend universeller Syntheseautomat heute noch nicht realisierbar ist. Für bestimmte Teilbereiche würde dieser Ansatz wohl heute schon funktionieren.

  2. Syntheseautomaten…

    Für einige Anwendungen gibt es sowas ja schon, zum Beispiel Peptide und Nukleinsäuren. Bei der klassischen organischen Synthese seh ich da aber wenig Chancen, weil es einfach zu viele Parameter gibt, die man kontrollieren muss. Das reicht ja von der Vorbereitung und dem genauen Zustand der Reagenzien über die Reaktionsführung bis hin zur Aufarbeitung und Reinigung. Ich sehe zum Beispiel nicht, wie sich sowas wie die vollständige Entwässerung von Bariumhydroxid (absolut nicht trivial!) automatisieren ließe.

    Es hat schon seine Gründe, warum in der Chemie jede Apparatur neu zusammengesetzt und spezifisch vorbereitet wird.

  3. Die Organik ist in Sachen Reprodukzierbarkeit ja noch vergleichsweise gut dran. Sieht man sich die Anorganik an und versucht Synthesen von Coordination Polymers oder Clustern nachzukochen ist das ein Ding der Unmöglichkeit.

    Ich hatte selber einfachste Synthesen a la “Salz, Ligand, Base, LM -> 15 Minuten rühren -> stehen lassen” Bei 6 Löchern im Parafilm haben sich Kristalle gebildet, bei 5 Löchern schon wieder nicht. Manchmal muss man auch die Schnappdeckelgläser nach 24 Stunden einmal drehen, damit es funktioniert. Und selbst bei exakt der gleichen Prozedur kann es sein, dass man 7-10 Ansätze braucht damit die Synthese einmal gelingt. Die Ausbeuten schwanken auch mal gerne zwischen 5 und 70 % ohne Angaben von Gründen.

    Um in dem Bereich eine wirklich reprodzierbare Vorschrift zu erstellen müsste man wahrscheinlich in der Glovebox kochen mit Angabe von Luftdruck, Feuchtigkeit, Sauerstoffgehalt, Temperatur etc..

  4. Kristallzüchtung ist die Pest

    In dem Moment in dem man ordentliche Kristalle braucht, geht der Ärger ja dann auch richtig los. Das fängt ja schon mit den ganzen ums Verrecken nicht kristallisierbaren Zuckersirupen an, aber ich kann mir bildhaft vorstellen, wie die Anorganiker da erst fluchen…

  5. Publish or perish

    Hallo Lars,
    ich stimme Dir in Deiner Schlussfolgerung zu: Solange in der Wissenschaft das Motto “Publish or perish” über allem anderen steht, wird hauptsächlich belohnt, wer möglichst viel publiziert. Da ist dann schon auch mal was Wahres dabei, aber leider auch sehr viel “Rauschen”. Immerhin gibt es aber erste Anzeichen der Besserung: So hat die DFG vor etwa zwei Jahren beschlossen, die “Publikationsflut” einzudämmen und in Zukunft mehr auf Qualität denn auf Quantität der Publikationen zu achten (http://www.dfg.de/…semitteilung_nr_07/index.html). Mittlerweile dürfen nur noch wenige wichtige Publikationen auf Anträgen genannt werden und nicht mehr “so viele wie möglich”.

Schreibe einen Kommentar