“Real Science”-Umfrage zu wissenschaftlichem Fehlverhalten: Über die eigene Datenbasis hinaus?

BLOG: RELATIV EINFACH

… aber nicht einfacher
RELATIV EINFACH

Auch der Wissenschaft muss man kritisch auf die Finger schauen. Vor längerer Zeit hatten wir hier auf den SciLogs ja mal das Bloggewitter Fehlverhalten in der Wissenschaft. Jetzt hat der Bayerische Rundfunk zusammen mit einem Wissenschaftssoziologen der Humboldt-Universität die in diesem Jahr durchgeführte “Real Science”-Umfrage unter deutschen Universitäten und Forschungseinrichtungen veröffentlicht. Es ging um Fälle wissenschaftlichen Fehlverhaltens aus den Jahren 2012 bis 2016. (Offenlegung: In meiner Rolle nicht als Blogger, aber als Öffentlichkeitsarbeiter am Max-Planck-Institut für Astronomie habe ich den Fragebogen im Januar in Kopie von den BR-Journalisten erhalten, wie vermutlich alle anderen Öffentlichkeitsarbeiter der angeschriebenen Institutionen auch. In unserem Falle hat die Generalverwaltung der Max-Planck-Gesellschaft dann das Antworten übernommen.)

Daten versus Behauptungen

Zunächst einmal ist es sicher gut und sinnvoll, eine solche quantitative Erhebung durchzuführen. Schade ist allerdings, dass zumindest in dem Bericht auf den BR-Webseiten durcheinander geht, was die genannten Zahlen eigentlich bedeuten.

Um das zu sehen, muss man zu dem Originalfragebogen zurückgehen, der unter dem BR-Bericht als PDF verlinkt ist.

Frage 1 des Fragebogens fragt nach den Verdachtsfällen. Die entsprechende Zahl von 1124 Verdachtsfällen wird in dem BR-Bericht denn auch genannt.

Dann aber wird es sonderbar. Frage 2 des Fragebogens lautet “Wie viele Fälle bestätigten sich nach einer Untersuchung tatsächlich als wissenschaftliches Fehlverhalten?” Die Antwortmöglichkeiten waren:

  1. Bestätigte Fälle von Fehlverhalten bei Publikationen
  2. Bestätigte Fälle von sonstigem wissenschaftlichen Fehlverhalten
  3. Noch laufende Untersuchungen

Das Problem: Wie viele der Verdachtsfälle von einer entsprechenden Kommission untersucht wurden, lässt sich aus den Antworten gar nicht ablesen. Denn zu jener Zahl würden ja nicht nur die bestätigten Fälle und die noch laufenden Untersuchungen gehören, sondern auch die Zahl der Untersuchungen in den betrachteten fünf Jahren, die abgeschlossen wurden und das Vorliegen von Fehlverhalten nicht bestätigen konnten. (Dass die Frageformulierung und die letzte Antwortmöglichkeit nicht zueinander passen, da noch laufende Untersuchungen ja per Definition keine bestätigten Fälle sind, trägt seinerseits zur Verwirrung bei.)

Und nein, auch in den weiteren Fragen des Fragebogens ging es nicht um die Anzahl der untersuchten Fälle. Bei Frage 3 darum, welcher Art das Fehlverhalten war, bei Frage 4 nach den Konsequenzen und Frage 5 nach den Fachbereichen ging es jeweils explizit um die “bestätigten Fälle”, bei Frage 6 um die Publikationszahl der Institution und bei Frage 7 um freie Kommentare/Anmerkungen.

Der Fragebogen fragt schlicht nicht ab, wieviele Fälle von einer entsprechenden Kommission untersucht wurden.

Untersucht oder bestätigt?

Und doch trifft der BR-Bericht Aussagen wie diese hier:

In den vergangenen fünf Jahren wurden laut den Antworten der Ombudspersonen 1.124 Verdachtsfälle gemeldet, von denen 246 von eigenen Kommissionen der Einrichtungen untersucht wurden.

Die gleiche Aussage wird dann auch noch explizit in Form einer ansprechend gestalteten Infografik getroffen:

Wissenschaftliches Fehlverhalten: Verdachtsfälle und "Untersuchung durch Kommission". Quelle: Real Science - bundesweite Umfrage unter 281 Ombudspersonen. Grafik: BRZumindest dem eigenen Fragebogen nach stellt der BR-Bericht hier Behauptungen auf, die von den erhobenen Daten gar nicht gedeckt sein können.

Im weiteren Verlauf ist in den Infografiken dann immer von “Basis: 246 untersuchte Fälle” die Rede. Und das, obwohl bei den weiteren Fragen ja explizit nach bestätigten Fällen gefragt wurde. Untersuchte oder bestätigte Fälle – was soll es denn nun sein? Und gab es keine Fälle, in denen die Untersuchungen noch liefen? Das kommt doch irgendwie alles nicht hin.

Fazit

Es ist ironisch, dass ausgerechnet bei einer Umfrage zum Fehlverhalten in der Wissenschaft ein so krasses Missverhältnis zwischen den erhobenen Daten und den Behauptungen über diese Daten besteht. Wäre dies eine wissenschaftliche Untersuchung, würde sie mindestens unter der Kategorie “verzerrte Interpretation” in die eigene Statistik gehören.

Es gibt noch eine Reihe weiterer Aspekte des Berichts, die kritikwürdig sind (z.B. das Fehlen diverser Bezugszahlen), aber dass hier nicht zwischen untersuchten Fällen, bestätigten Fällen und bestätigten-oder-noch-laufenden Fällen unterschieden wurde, dürfte das bei weitem ernsteste Problem sein. Es interessiert mich durchaus, wie es zu einer solchen Fehlleistung kommen konnte. Ich habe daher vor, einige von den Beteiligten anzuschreiben und werde an dieser Stelle berichten, was ich dabei herausfinde.

Nachtrag 23.7.2017, 21:40: Hier ist der entsprechende Ausschnitt aus der Sendung “Report München” vom 18.7.2017. Frage 2 mit den unvollständigen Antwortmöglichkeiten wird in dem Video sogar einmal direkt gezeigt. Dann folgen, gesprochen, dieselben problematischen Aussagen wir im Web-Beitrag: “Für die vergangenen fünf Jahre werden uns 1124 Verdachtsfälle zurückgemeldet. 246 davon führten zu Untersuchungen mit einer eigenen Kommission. Die Gründe: […]”.

Nachtrag 24.7.2017, 14:35 Uhr: In der aktuellen Version des Online-Berichts wird jetzt beschrieben, wie die Zahl zustandekam – siehe auch den Kommentar der Journalisten unter diesem Blogbeitrag.

Avatar-Foto

Markus Pössel hatte bereits während des Physikstudiums an der Universität Hamburg gemerkt: Die Herausforderung, physikalische Themen so aufzuarbeiten und darzustellen, dass sie auch für Nichtphysiker verständlich werden, war für ihn mindestens ebenso interessant wie die eigentliche Forschungsarbeit. Nach seiner Promotion am Max-Planck-Institut für Gravitationsphysik (Albert-Einstein-Institut) in Potsdam blieb er dem Institut als "Outreach scientist" erhalten, war während des Einsteinjahres 2005 an verschiedenen Ausstellungsprojekten beteiligt und schuf das Webportal Einstein Online. Ende 2007 wechselte er für ein Jahr zum World Science Festival in New York. Seit Anfang 2009 ist er wissenschaftlicher Mitarbeiter am Max-Planck-Institut für Astronomie in Heidelberg, wo er das Haus der Astronomie leitet, ein Zentrum für astronomische Öffentlichkeits- und Bildungsarbeit, seit 2010 zudem Leiter der Öffentlichkeitsarbeit am Max-Planck-Institut für Astronomie und seit 2019 Direktor des am Haus der Astronomie ansässigen Office of Astronomy for Education der Internationalen Astronomischen Union. Jenseits seines "Day jobs" ist Pössel als Wissenschaftsautor sowie wissenschaftsjournalistisch unterwegs: hier auf den SciLogs, als Autor/Koautor mehrerer Bücher und vereinzelter Zeitungsartikel (zuletzt FAZ, Tagesspiegel) sowie mit Beiträgen für die Zeitschrift Sterne und Weltraum.

11 Kommentare

  1. Vielen Dank für die Auseinandersetzung mit der Umfrage “Real Science” und den kritischen Hinweis. Tatsächlich hatten wir nach bestätigten Fällen wissenschaftlichen Fehlverhaltens gefragt. Doch es stellte sich heraus, dass Ombudspersonen häufig keine Aussage zum Ausgang der Fälle treffen können, die sie nach einer Vorprüfung an eine Untersuchungskommission weitergereicht haben. Viele haben daher die Zahl der untersuchten Fälle ohne weitere Aufschlüsselung zurückgemeldet. Diese Zahl haben wir veröffentlicht. Noch laufende Untersuchungen haben wir nicht ausgewiesen, da sich nur vereinzelt Ombudspersonen dazu geäußert haben. Die ergänzende Erläuterung zur Auswertung der Umfrage steht nun auch auf unserer Website http://www.br.de/nachrichten/wissenschaft-manipulation-real-science-100.html
    Die Umfrage, die vor allem ein Stimmungsbild ist, zeigt, wie wichtig eine weitergehende Auseinandersetzung mit der Thematik ist. Die DFG hat bereits weitere Forschung gefordert.

    • @Lisa Wreschniok: Danke für die zeitnahe Antwort und die Korrektur des Web-Berichts. Ich bin jedenfalls auch gespannt auf weitere Forschung zu dem Thema – alleine eine belastungsfähige Statistik, wieviele Fälle denn nun tatsächlich untersucht, und wieviele der Untersuchungen mit welchem Ergebnis abgeschlossen werden wäre eine wichtige Information.

  2. @Wreschniok: Wenn ausgerechnet die DFG weitere Forschung zum Thema wissenschaftliches Fehlverhalten fordert – dann erstaunt mich dies sehr.

    Ich habe mich 2013 und 2014 sowohl an das Ombudsman-Büro wie auch an das Präsidium der DFG gewandt und auf langjähriges wissenschaftliches Fehlverhalten zum Thema ´Nahtod-Erfahrung´(NTE) hingewiesen (Ombudsangelegenheit A-35/2013). Meine Hinweise wurden komplett abgelehnt, da man sich nicht zuständig fühlte.
    Die DFG unterstützte dann aber finanziell die ´Interdisziplinäre Fachtagung: Grenzarbeiten auf der Nullinie. Nahtoderfahrungen in interdisziplinärer Perspektive´(6.-8.10.2016, Greifswald) – wo in einer Abendveranstaltung Pim van Lommel mit seinem Vortrag auftrat ´Endloses Bewusstsein´ (Darin suggeriert er, dass Leichen (Menschen ohne Gehirnaktivität) ein Bewusstsein haben! = Esoterik-Unsinn: denn schon 1968 definierte eine Kommission der Harvard medical School ein nicht funktionierendes Gehirn als sicheres Todeszeichen und legte Diagnosekriterien für den ´Hirntod´ fest. ).
    (Per Google-suche [www.nderf.org/German/denken_nte.pdf] (ganzen Link suchen) finden Sie eine PDF mit Vorwürfen zu fragwürdigem wissenschaftlichem Verhalten beim Thema NTE)

    Mit diesem Beispiel will ich zeigen, dass ein Ombudsmanbüro keinen Sinn macht, wenn Beschwerden nicht ernst genommen oder einfach ignoriert werden.

    • off topic @BR-Wreschniok: Im Internet war der Hinweis zu finden, dass der BR für ARD-ALPHA Campus Auditorium am 10.11.2017 eine Life-Übertragung ´Endloses Bewusstsein – medizinische Fakten und persönlicher Bericht zur Nahtoderfahrung´ senden wird.
      Hier wäre eine Recherche wünschenswert: Denn dass Leichen kein Bewusstsein haben bzw. dass es Bewusstsein nur mit einem aktiven Gehirn geben kann, ist mittlerweile allgemein bekannt.

    • @KRichard Wenn Sie der DFG ein solches Schreiben geschickt haben, wie jenes, auf das Sie verlinken, dann wundert es mich nicht, wenn da keine Reaktion kam. Eine eigene, nicht in der Fachliteratur veröffentlichte Theorien, pauschale Kritik am “Establishment” mit überschießender Wortwahl (“Verbrechen gegen die Menschlichkeit!”) – derartige Schriften landen in der Tat schnell in Ablage P. Bei Ombudspersonen dürfte es ähnlich sein. Daraus Rückschlüsse auf das Funktionieren des Ombuds-Systems zu ziehen, halte ich gelinde gesagt für gewagt.

      • @Pössel: Ihre Antwort ist polemisch. Wissenschaftliches Fehlverhalten zu entschuldigen, indem der Kritiker lächerlich gemacht wird – das ist billig. Mir ist sachliche Auseinandersetzung lieber.
        1) Fakt ist z.B. dass in der Literatur zum Thema NTE seit 1975 steht, dass die Menschen zum Zeitpunkt des Erlebens einer NTE lebendig sind. Und Fakt ist ebenso, dass es bis heute keine wissenschaftliche Arbeit gibt, in der man davon ausgeht, dass Menschen beim Erleben einer NTE geistig klar bei Bewusstsein sind. Sondern es wird nur ein einseitiger Zusammenhang mit Sterben, Tod oder außergewöhnlichen Hirnaktivitäten hergestellt.
        Von Wissenschaftlern sollte man erwarten können, dass sie in der Lage sind, eine Quelle zu studieren – und das Suggerieren falscher Zusammenhänge ist wohl auch kein Qualitätsmerkmal von seriöser Wissenschaft.
        2) Wenn die DFG einen Esoteriker wie Prof. Pim van Lommel ´Endloses Bewusstsein´ fördert – dann sollte man sich sachlich mit Inhalten befassen, die von ihm verkündet werden:
        Er suggeriert u.a. dass Menschen deren Gehirn inaktiv ist, ein externes Bewusstsein (unabhängig von einem biologisch aktiven Gehirn) haben müssen wenn sie eine NTE erleben. Medizinische Diagnosekriterien ab 1968 betrachten Menschen deren Gehirn inaktiv ist – als Hirntod und somit als Leiche. Und wissenschaftliches Standardwissen ist es, dass ein Bewusstsein nur bei einem aktiven Gehirn eines lebenden Menschen entstehen kann.

        Die Verbreitung von Esoterikideen, die nicht im geringsten durch wissenschaftliche Belege gedeckt sind, sollte eigentlich nicht durch eine Organisation wie die DFG gefördert werden.
        Wenn ein Mensch, bei dem ein Herz-/Hirntod diagnostiziert wurde – danach weiterlebt und von NTEs berichten kann, dann war diese Diagnose nachweislich falsch. Eine Fehldiagnose würde ich sagen.

        • Meine Antwort ist keineswegs polemisch, ich mache niemanden lächerlich, und ich entschuldige auch kein Fehlverhalten. Sachliche Aussage zur Praxis von Ombudspersonen ist aber schlicht: Ihre Eingabe wird eine Ombudsperson von Form und oberflächlich erkennbarem Inhalt her nicht ernstnehmen. (Wie gesagt: eigene Theorie, überzogene Wortwahl wie “Verbrechen gegen die Menschlichkeit”; ich sollte noch hinzufügen: vage Anschuldigungen gegen “die Wissenschaft” und mit Bezug auf etwas, was man “immer wieder” lesen könne, aber keine konkreten beanstandeten Aussagen mit Quellenangabe.) Und das kann ich durchaus nachvollziehen.

          Ich will und kann jetzt nicht in eine tiefergehende Diskussion von Nahtoderfahrungen einsteigen – dazu ist dieser Blog nicht das richtige Forum, auch wenn Sie wiederholt versucht haben, ihr Lieblingsthema hier unterzubringen. Aber über Ombudspersonen allgemein können wir uns unterhalten: Das sind in der Regel Wissenschaftler, die ehrenamtlich neben ihrer eigenen Forschung und ggf. Lehre dieses Amt ausüben. Bestimmte Aufgaben können diese Wissenschaftler erledigen – z.B. auf die konkrete Aussage “Kollege X hat meinen Fachartikel plagiiert” erste Nachprüfungen anstellen und Gespräche führen, und den Fall bei hinreichend konkretem Anfangsverdacht an eine entsprechende Kommission verweisen. Bestimmte andere Aufgaben kann so eine Ombudsperson nicht erfüllen – z.B. auf einen Hinweis aus der Öffentlichkeit hin, dass zahlreiche Fachgebiete im Hinblick auf Nahtoderfahrungen komplett falsch lägen, eine grundlegende Prüfung von mehr als 30 Jahren Forschung vornehmen.

          Das hat durchaus einen ernsten Kern: Letztlich agiert eine Ombudsperson immer im wissenschaftlichen Konsens des Fachs, wie handwerklich sorgfältiges Arbeiten in diesem Fach aussieht – einige der Kriterien (z.B. Plagiatsverbot) werden allgemein sein, andere (welche Daten müssen zur Beschreibung eines bestimmten Versuchs mitgeliefert werden?) fachspezifisch. Das kann durchaus eine Einschränkung sein. Aber den Fachkonsens verschieben ist eine Aufgabe der Wissenschaft selbst; das muss über entsprechende Artikel in den Fachzeitschriften laufen. Was wissenschaftliches Fehlverhalten angeht, wäre ich (und wären andere) schon froh, wenn es zu den herkömmlichen Plagiats-, Fabrikations- und sonstigen Problemen wenigstens einmal belastbare Zahlen gäbe – dazu macht die BR-Befragung, um die es hier geht, ja zumindest einen ersten Ansatz.

          • Ich habe als Link einen Kurztext angegeben. In diesem Text habe ich am Anfang auf wissenschaftliches Fehlverhalten hingewiesen – und im zweiten Teil ein eigenes Erklärungsmodell für NTEs vorgestellt.
            Mein Erklärungsmodell steht nicht zur Debatte (das ist meine private Sichtweise, darauf habe ich auch das Ombudsmansbüro hingewiesen) – sondern es geht mir um prinzipielle Fragen seriöser wissenschaftlicher Arbeit die im ersten Teil meines Textes aufgeführt sind.

            Ein Beispiel: aus meinem Bekanntenkreis kenne ich NTEs von 9 Personen, wobei 5 dieser Personen zum Erlebniszeitpunkt geistig und körperlich völlig gesund waren. Wenn aber die Erlebnisse dieser 5 Personen ignoriert werden, weil man NTEs nur in einem selektiven Zusammenhang mit gesundheitlicher Beeinträchtigung (= 4 Personen) erforscht – dann ist dies eine Form von Datenmanipulation.
            Vom Ombudsmanbüro wurde mir gesagt, dass für die Bewertung einer wissenschaftliche Arbeit nur das zählt, was in einer Arbeit steht.
            Dies bedeutet folgendes: Wenn die NTEs meines Beispiels in einer wissenschaftlichen Arbeit beschrieben werden – dann ignoriert man im Vorfeld 5/9 und berücksichtigt nur die restlichen 4. Da sich diese Arbeit aber nur auf diese 4 Beispiele bezieht – ist sie formal wissenschaftlich korrekt.
            Wenn ich mich über eine solche Vorgehensweise bei einem Ombudsman beschwere, dann wird meine Beschwerde abgelehnt. Selektives Aussortieren von Daten im Vorfeld einer wissenschaftlichen Arbeit ist für den Ombudsman nicht von Interesse, wenn es der allgemein üblichen Vorgehensweise entspricht. Ein Ombudsman wird nur prüfen, ob die in der Arbeit verwendeten Informationen korrekt sind.
            Ich hoffe, Sie verstehen jetzt mein Problem. Da Sie sich am Begriff NTE stören, können Sie dafür gerne andere Begriffe einsetzen. z.B. Prof. Ulrich Dirnagl (Charité) hat letztes Jahr eine Untersuchung veröffentlicht ´Sag mir wo die Mäuse sind´- die eine ähnliche Problematik bescheibt.

        • @KRichard;
          Man sollte durch sachliche Argumentation überzeugen, nicht durch Unterstellungen und Beschimpfungen. Es gibt keinen Rechtsanspruch auf wissenschaftlichen Erfolg. Das Recht zur Publikation ist kein Rechtsanspruch auf Publikation! Das wird immer wieder verwechselt, in wissenschaftlichen wie in politischen Bereichen. Ein Recht ist das, was man selber tun darf; ein Rechtsanspruch richtet sich an den Staat, an den Arbeitgeber, oder generell an Andere. Es gibt ein grundgesetzliches Recht auf Arbeit (wie auch auf Forschung), aber keinen Rechtsanspruch auf einen Arbeitsplatz.

          • anton reutlinger schrieb (25. Juli 2017 @ 09:13):
            > Man sollte durch sachliche Argumentation überzeugen

            Und man sollte festhalten, durch welche sachliche Argumentation man sich überzeugen ließe.

            > Recht […] ist kein Rechtsanspruch […]!
            > Das wird immer wieder verwechselt, in wissenschaftlichen wie in politischen Bereichen.

            Zu dürfen, wie man könnte,
            heißt längst nicht,
            zu sollen, wie man kann.

            (Wird aber leicht von jenen verwechselt,
            die schon so können, wie sie könnten.)

  3. Nachtrag:
    DOI: 10.1371/journal.pbio.1002331
    Where have all the rodents gone? The effects of attrition in experimental research on cancer and stroke