Nicht reproduzierbare Studien – Ist es nur Murks oder doch schon Betrug?

BLOG: Frey-händig

Kognition & Kooperation
Frey-händig

Es ist gar nicht leicht, festzustellen, ob und warum eine wissenschaftliche Studie Murks ist.

altProblem Nummer 1: Bei der heutigen Publikationsflut ist eine flächendeckende Nachprüfbarkeit schlicht nicht mehr möglich. Dieses Problem wird durch die von Yong angesprochenen fehlenden Anreize zu Replikation noch verstärkt. Wer will schon replizieren, wenn man regelmäßig von Gutachtern gesagt bekommt, es müssten neue Ergebnisse sein. Selbst die neue Interpretation alter Daten wird mit starker Skepsis und großen Hürden bei der Publikation begleitet (eigene Erfahrungen, wurde als Ablehnungsgrund angegeben).

Problem Nummer 2: Betrug. Wenn ein Autor nicht will, dass seine Studien repliziert werden, stehen ihm viele Optionen offen, dies wirkungsvoll und subtil zu verhindern. Dies ist immer der Fall, wenn sich Forscher ihrer Fehler bewusst sind, ihre Ergebnisse aber trotzdem veröffentlichen. Die Gründe sind meist sozialem Druck geschuldet. Dazu gehören Karriere- oder Geldgründe, Geltungsbedürfnis, Zeit- oder Gruppendruck und ähnliches mehr. Bekannte Beispiele sind der Physiker Jan Hendrik Schön, der wohl aus Karrieregründen von 1998 bis 2001 Daten fälschte, und der Skandal um den Klonforscher Hwang Woo Suk (2005/2006). Schön galt sogar als Kandidat für den Nobelpreis.

Auch der Druck der Forschergruppe oder des Instituts kann sehr stark werden, wie das bekannte Beispiel des betrügerischen Mediziners W. Summerlin zeigt:

„Dann kam eine Zeit im Herbst 1973, als ich keine neue überraschende Entdeckung vorzuweisen hatte und mir Dr. Good brutal eröffnete, daß ich ein Versager sei […] So stand ich unter extremem Produktionsdruck.“ (Broad & Wade, S. 184)

Deshalb sind, denke ich, ein paar Zahlen angebracht, die schätzen, wie häufig Betrug ist.

Nach einer anonymisierten Umfrage unter Wissenschaftlern (Martinson et al. 2005), ist Fälschung sehr selten (0,3% aller Fälle); Anpassung der Ergebnisse oder der Methodik auf Druck der Geldgeber ist schon häufiger (15,5%) und ein beschönigender Umgang mit widersprechenden oder zweifelhaften Daten ist schon in 18,5% der Fälle bekannt. Beispiele sind die Pharma- und die Zigarettenindustrie. Direkte finanzielle Interessen spielen bei etwa 15% der Autoren in führenden Fachzeitschriften in Molekularbiologie und Medizin eine Rolle (Krimsky & Rothenberg 1998).

Die National Science Foundation (NSF) und die National Institutes of Health (NIH), die beiden größten Förderer in den USA, schätzen dem gegenüber extrem niedrig (warum wohl?): Sie sprechen von 30 bis 80 Fällen bei 50 000 Projekten beim NSF und von 64 Fällen bei 30 000 beim NIH (DFG-Bericht 1998, S. 22), liegen also etwa bei 0,1%. Weitere Information findet man auf der Webseite des Office of Research Integrity: http://ori.hhs.gov. Echter Betrug ist also sehr selten, das „Frisieren“ von Ergebnissen ist dagegen wiederum schon viel häufiger.

Aus den beiden oben genannten Gründen ist es deshalb besonders wichtig, dafür zu sorgen, dass kein wissenschaftliches Kartenhaus gebaut wird. Die Beschäftigung mit fehlerhaften Arbeiten erhöht zudem die Chance, aus ihnen zu lernen. Zweitens macht sie auf methodologische Mängel aufmerksam und erhöht die Kritikfähigkeit. Gerade die wachsende Zahl der Betrugsfälle schreit nach einer erhöhten kritischen Auseinandersetzung. Drittens wirft eine genauere Beschäftigung mit fehlerhaften Studien Licht auf den Theorienwandel: Welche Fehler disqualifizieren eine Theorie? Ab wann und warum wird sie als widerlegt bzw. als falsch angesehen?

Aus diesen Gründen wäre es höchst angebracht, die Replikation von Studien stärker in den wissenschaftlichen Vordergrund zu rücken. Ein Schritt, den viele erstklassige Zeitschriften zunehmend gehen, ist die Forderung nach Hinterlegung der Rohdaten in Datenarchiven, die offen zugänglich sind. Dazu kommen höhere Ansprüche an die Beschreibung der Methodik, so dass die einzelnen Schritte zum Ergebnis nicht nur theoretisch, sondern tatsächlich nachvollzogen werden können.

Und weil es so ein schönes Beispiel ist und ich hier schon darüber geschrieben habe, einige Bemerkungen über Replikation bei der Kalten Fusion, einem der berühmtesten Betrugsfälle der Wissenschaftsgeschichte:

Pons und Fleischmann konnten nur deshalb so lange mit ihrem Betrug durchkommen, weil sie sämtliche Replikationsversuche in ihrem Labor abblockten. Als eine Kommission direkt vor Ort (!) Pons und Flesichmann überprüfte, konnten sie keine einzige funktionierende Fusionseinheit vorweisen, angeblich, weil es einen Blitzeinschlag gegeben hatte.

Dessen ungeachtet gab es viele sorgfältig und fehlerfrei arbeitende Forscher, die kalte Fusion schnell als Artefakt abtaten. So konnten die renommiertesten Universitäten der USA die Ergebnisse nicht reproduzieren. Dazu gehörten das MIT, das Caltech und die University of Texas. Trotz einiger Warnungen, unter anderen der Physiker und Nobelpreisträger Richard Feynman und Hans Bethe, bestätigten allerdings auf der jährlichen Konferenz der Elektrochemischen Gesellschaft viele Forscher aus der ganzen Welt die kalte Fusion (Gratzer 2000, S. 126). Nach der Konferenz brach ein etwa ein Jahr dauerndes Fusionsfieber aus. Zu den Instituten, die kalte Fusion nachwiesen, gehörten die Georgia University, die Agricultural Texas University und Laboratorien aus Japan, Ungarn und Russland (Gratzer 2000).

Forscher wollten bei der Entdeckung des Jahrhunderts eben „auf den Zug aufspringen“. Da der ungenaue Ausgangsartikel keine genaue Replikation erlaubte, wäre aber genau das, nämlich eine möglichst exakte Replikation der karrierefördernde Schritt gewesen. Auch dieses Beispiel zeigt also, dass kritische Wiederholung von Experimenten ein elementarer Bestandteil wissenschaftlicher Tätigkeit ist – auch wenn oft und auch zur Zeit die Anreize dafür meistenteils fehlen.

Literatur

Broad, W., & Wade, N. (1984). Betrug und Täuschung in der Wissenschaft. Basel: Birkhäuser.

DFG-Bericht. (1998). Empfehlungen der Kommission ‘Selbstkontrolle in der Wissenschaft’: Vorschläge zur Sicherung guter wissenschaftlicher Praxis. Retrieved from http://www.dfg.de/aktuelles_presse/reden_stellungnahmen/download/empfehlung_wiss_praxis_0198.pdf

Gratzer, W. (2000). The Undergrowth of Science: Delusion, Self-deception, and Human Frailty. Oxford: Oxford University Press.

Krimsky, S., Rothenberg, L. S., Stott, P., & Kyle, G. (1998). Scientific Journals and Their Authors’ Financial Interests: A Pilot Study. Psychotherapy and Psychosomatics, 67, 194–201.

Martinson, B. C., Anderson, M. S., & de Vries, R. (2005). Scientists behaving badly. Nature, 435, 737–738.

Veröffentlicht von

Warum gibt es so viele Scheuklappen in unserem Denken? Warum machen wir dieselben Fehler immer wieder? Solche Fragen haben mich schon immer fasziniert. Um dieses Thema – Denkmuster und Denkfehler – wird es in diesem Blog deshalb öfter gehen. Mein zweites wissenschaftliches Interesse gilt der Frage, warum Menschen eigentlich nicht öfter kooperieren. Woran liegt das? Oder anders herum gefragt: Welche Bedingungen muss man schaffen, damit aus Egoisten Altruisten werden? Wie vermeidet man die "tragedy of the commons"? Dieses weite Feld reicht von der Kooperation zwischen Bakterien über den Erfolg von OpenSource bis zu den Problemen der Weltklimagipfel. Meiner Meinung nach sind in der Kooperationsforschung viele Lösungsansätze für Nachhaltigkeits-, Gerechtigkeits- und Umweltprobleme zu finden. Mit beiden Themen beschäftige ich mich im Rahmen meiner Forschung an der Universität Gießen als Postdoc bei Eckart Voland in der Soziobiologie. Dabei versuche ich das Beste aus den Welten der Philosophie und den Naturwissenschaften zu vereinen. Dass meine gesamte Arbeit stark von der Evolutionstheorie geprägt ist, verdanke ich wohl vor allem dem Einfluss meines Doktorvaters Gerhard Vollmer. Dr. Ulrich Frey

8 Kommentare

  1. Beschäftigungstherapie

    Manche Studien sind gar nicht dafür gemacht, wissenschaftlich sinnvoll zu sein. Es handelt sich dabei um Beschäftigungstheraphie, welche mit Forschungsgeldern bezahlt wird.
    Ein schönes Beispiel finden Sie per Google [“Immortality Project” Pfeiffer]: Es wird ein Budget von $5M u.a. für die Erforschung eines Phänomens ausgegeben, welches schon seit Jahren (seit 2006) komplett erklärbar ist – wie sie in den Comments lesen können.
    Was soll man machen, wenn Forschungsgelder für sinnlose Projekte verbraten werden?

  2. Ich hab mich immer bei Projekten wie dem LHC gefragt, wie die dessen Projekte reproduzieren wollen. Klar könnte man eine andere Wissenschaftlergruppe an den gleichen Apparat lassen und die das nochmal machen lassen, aber das hebelt noch keine Fehler im Apparat aus. Im Prinzip muss man das sauteure Ding daher wohl nochmal bauen…

  3. Kalte Fusion

    Das Desaster der vermeintlichen Bestätigung der“kalten Fusion“ hast Du ja auch in Deinem Buch sehr eindrucksvoll beschrieben. Würdest Du sagen,dass so etwas heute nicht mehr passieren kann- oder könnten sich auch diese Prozesse reproduzieren?

  4. Kommentare

    @ms: Nun, ich denke, dass die sehr vielen Forschergruppen, die am LHC arbeiten, sich gegenseitig genau auf die Finger schauen, weil sie ja von den Vorarbeiten der anderen Gruppen abhängig sind.
    @Michael,

    Hallo Michael,
    ich denke, dass so ein Desaster jederzeit wieder passieren kann und das kurz angesprochene Beispiel um den Klonforscher Hwang Woo Suk zeigt das ja auch.

  5. Betrug?

    »Pons und Fleischmann konnten nur deshalb so lange mit ihrem Betrug durchkommen, …«

    Ob das Wort “Betrug” im Falle von Pons und Fleischmann angebracht ist, wage ich mal vorsichtig zu bezweifeln. Welche betrügerische Absicht hätte denn dabei vorgelegen haben sollen? Eher war es wohl eine Art von Selbstbetrug, dem grundsätzlich jeder passionierte Forscher auf die eine oder andere Weise erliegen kann.

    Und so einfach zu durchschauen ist das mit der “cold fusion” ja nicht. Immerhin hatte sich Julian Schwinger dann der Sache angenommen und darüber einige theoretische Arbeiten verfasst, die bei Journalen der American Physical Society freilich allesamt abgelehnt wurden. Aus seiner Biographie [1. p. 552]:

    The third paper was rejected with ‘all due respect to Prof. Schwinger, I do not trust the physical implications of this paper. The mathematics is alright, but the physical picture is fantastic. … ‘

    Toll — was für eine wissenschaftlich fundierte Begrüngung!! Letztlich kündigte Schwinger seine Mitgliedschaft in der APS dann enttäuscht auf. Siehe auch http://arxiv.org/abs/physics/0303078

    [1] J. Mehra, K.A. Milton. Climbing the Mountain: The Scientific Biography of Julian Schwinger. OUP, 2000.

  6. Selbstbetrug! /@Chrys

    »Ob das Wort “Betrug” im Falle von Pons und Fleischmann angebracht ist, wage ich mal vorsichtig zu bezweifeln. «

    Ich zweifle da ebenfalls. So verrückt kann doch keiner sein, zu glauben, mit einem getürkten Experiment, das kein Mensch wiederholen kann, wissenschaftliche Meriten einfahren zu können.

    „Selbstbetrug“ trifft es wohl ganz gut. Wer schon mal an einem wissenschaftlichen Problem gearbeitet hat und meint, endlich die Lösung gefunden zu haben, kennt vielleicht dieses euphorische Gefühl, das mit der Entdeckerfreude einhergeht und mitunter den klaren Verstand vernebeln kann.

    Es muss schrecklich gewesen sein, nach der Veröffentlichung zu merken, dass man sein eigenes Experiment nicht wiederholen kann und wohl einem peinlichen Irrtum aufgesessen ist.

  7. @Balanus / Genau!

    Vergleichbar einem Kunstfälscher, der ausgerechnet mit der “Mona Lisa” einen betrügerischen Coup zu landen versucht. Der käme auch nicht sonderlich weit, und wer noch alle Nadeln an der Tanne hat, versucht so etwas deshalb auch nicht.

Schreibe einen Kommentar