Schlank durch Schokolade – ein Blick auf die Arte-Doku zur Fake-Studie

Screenshot der Dokumentation

Gestern Abend hat Arte die Dokumentation “Schlank durch Schokolade – Eine Wissenschaftslüge geht um die Welt” von Peter Onneken und Diana Löbl zur gefälschten Schokostudie gezeigt. Der Kernaussage, dass auch auf wissenschaftlichen Studien basierende Ernährungstipps generell wenig brauchbar sind, habe ich ja bei Spektrum schon wohlwollend beigepflichtet. Aber auch die Doku, wie das Arte-Duo, der Wissenschaftsjournalist John Bohannon und ihre Mitwisser das Ding durchgezogen haben, ist absolut sehenswert.

Vor allem erzählen die Protagonisten in der Dokumentation viel Wahres über die Probleme mit solchen Studien. Dass zum Beispiel die weit verbreiteten beobachtenden Studien nur Korrelationen messen und keine Ursache-Wirkungs-Beziehungen, oder auch, wie glaubwürdig Selbstauskünfte sind. Manches stellen sie verkürzt oder vermischt dar, aber ein so komplexes Thema umfassend zu behandeln liegt jenseits der Möglichkeiten einer solchen Sendung.

Kritik am gesamten Diät-System

Auch die anderen Mitspieler der Verwertungskette kriegen von Onneken und Löbl ihr Fett weg, zum Beispiel Journalismus und Massenmedien, in diesem Falle repräsentiert durch einen Haufen fast identisch aussehender Hochglanzblätter, wie man sie an jeder Tankstelle zu Dutzenden aus dem Zeitschriftenregal zieht. Besonders auf den Deckel kriegt allerdings die Deutsche Adipositas-Gesellschaft, deren S3-Leitlinie im Wesentlichen von Vertretern der Diät-Industrie in deren Sinne gestaltet wird – zumindest suggeriert das die Doku.

Immerhin nehmen sich die Produzenten die Zeit, den Ernährungsmediziner Hans Hauner von der TU München ausführlich zu Wort kommen zu lassen. Der erklärt dann auch, dass die Unsicherheiten der Studien und die personellen Verquickungen zwischen den Autoren und den empfohlenen Anbietern tatsächlich ein Problem sind.

Screenshot der Dokumentation

Ich würde den Autoren an diesem Punkt nicht unbedingt einen Vorwurf machen, aber das ist einer der Momente, über die ich gestolpert bin. Wir sagen immer, Wissenschaftler sollen bitte auch offen über Unsicherheiten und Probleme in der Forschung reden – aber wenn das dann einer macht, wird das gleich mit suggestiven Formulierungen gegen ihn verwendet, um die vorab festgelegte Story voranzutreiben. Das Misstrauen gegenüber Journalisten, das in der Wissenschaft so verbreitet ist, erweist sich zumindest hier als nicht völlig unberechtigt.

Aber das ist nur ein nebensächlicher Punkt im Vergleich zu dem Aspekt, über den ich mich dann wirklich geärgert habe: Onneken und Löbl stellen extra noch einmal groß heraus, dass sich die Ernährungs-Empfehlungen auf von unabhängigen Gutachtern geprüfte Studien berufen, und sagen dann explizit, das sei ihr Ansatzpunkt gewesen, das auch zu versuchen.

Peer review oder doch nicht?

An diesem Punkt führen sie die Zuschauer in die Irre, denn diesen so genannten peer review gab es bei ihrer Untersuchung ja gerade eben nicht. Bohannon schreibt in seinem Artikel selbst: “And almost no one takes studies with fewer than 30 subjects seriously anymore. Editors of reputable journals reject them out of hand before sending them to peer reviewers.” Der ganze Wir-zeigen-hier-dass-man-der-Wissenschaft-nicht-trauen-kann-Dreh in diesem Teil des Films ist ziemlich zurechtgebogen.

Anders als sie suggerieren, haben sie sich auch keine beliebige open-access-Zeitschrift herausgesucht (zum Beispiel eine mit Gutachterprozess, von denen es ja genug gibt), sondern ganz gezielt betrügerische Zeitschriften, die für Geld alles veröffentlichen – sie zeigen im Film sogar kurz Bealls Liste der unseriösen Verlage. Es ist natürlich klar, weshalb sie so vorgehen: Gutachten kosten Zeit. Es hätte eine ganze Weile gedauert und wohl mehrere Submissions erfordert, die Studie durchzubringen. Insofern verstehe ich die Überlegung dahinter, eben nicht den Weg der seriösen Veröffentlichung zu nehmen, auf den sich zum Beispiel die DAG beruft. Man darf diesen nicht ganz unwesentlichen Unterschied dann aber auch gerne dem Publikum klar sagen.

Die Studie selbst ist natürlich der Höhepunkt der Geschichte – wir haben schließlich alle schon mal davon geträumt, genau so etwas mal durchzuziehen, mit fauler Statistik und allem. Das erzählen sie natürlich sehr genüsslich in allen schmutzigen Details. Allein dafür sollte man sich die Dokumentation ansehen.

Was am Ende der ganzen Geschichte bleibt ist – um eine Szene aus dem Interview mit Hauner zu zitieren – ein G’schmäckle: Es sieht nämlich sehr so aus, als würden die Autoren beim Thema peer review gezielt verwirren, um die Leitlinien der DAG auf eine Stufe mit jenen Publikationen stellen zu können, die nachher die Schokoladenstudie unreflektiert abdrucken. Anderenfalls funktioniert die gesamte Doku in dieser Form nicht mehr so richtig.

Wie ethisch ist dieses Vorgehen?

Und dann ist da natürlich noch der ganze Komplex an ethischen Fragen, die andere Kollegen bereits aufgeworfen haben. Zum Beispiel eben, ob Journalisten betrügen dürfen, um Betrug offenzulegen. Der Wissenschaftsjournalist Seth Mnookin nennt das Vorgehen “equivalent of telling someone their water supply isn’t safe by pissing into it”, während Ashutosh Jogalekar die ganze Geschichte tendenziell eher positiv sieht.

Ich persönlich habe ja nicht so das Problem damit, dass die Leute Journalismus und Wissenschaft da so ein bisschen pauschal-unfair hinhängen, zumal das grundsätzliche Problem ja unzweifelhaft besteht, und keineswegs nur bei den Ernährungsstudien. Was mir da viel mehr Sorgen macht, ist die meiner Meinung nach ganz erhebliche Verletzung der medizinischen Ethik. Im Film heißt es dazu nur sinngemäß, kein Ding, Schokolade ist ja harmlos. Nur: Es ist ja nicht nur die Schokolade. Es ist auch ein low-carb-Diätregime (wo das wohl herkommt?) und vor allem die Blutproben.

Und da ein Heidelberger Arzt beteiligt ist, greift §15 der Berufsordnung der Landesärztekammer Baden-Württemberg: Körperliche Integrität, Ethikkommission, Offenlegung der Beziehung zu den Auftraggebern im Paper und so weiter. Nicht zuletzt könnte man sich wohl auch auf den Standpunkt stellen, dass eine in betrügerischer Absicht an Menschen durchgeführte Studie grundsätzlich Körperverletzung sei. Ich will das nicht beurteilen, aber ich denke, darüber wird man noch reden müssen.

16 Kommentare

  1. Pingback:[SciLogs] Schlank durch Schokolade – ein Blick auf die Arte-Doku zur Fake-Studie | netzlesen.de

  2. Die Frage ist, ob die Gruppe zeigen wollte, wie faule Journalisten unrecherchiert hinnehmen, was mit einem weissen Laborkittel daher kommt, oder ob sie wie Sokal die Wissenschaft selbst entlarven wollten.

    Im ersten Fall spielt es im Grunde keine Rolle, ob sie den Weg in ein angesehenes peer-reviewed Journal suchen [und finden, darf ich hier einflechten]. Dass Lobbyinstitutionen alles mitnehmen, was ihr Geschäftsmodell unterstützt, ist so selbstverständlich wie uninteressant, aber Journalisten sollten eine Studie kritischer anschauen; arbeiten sie im Wissenschaftsressort sollten kleine Fallzahlen, breite Streuung, rein epidemiologische Erkenntnisse, geringe Unterschiede wie Warnleuchten wirken.

    • Mein Ex-Mann ist Redakteur bei einer Tageszeitung, dadurch habe ich ein bisschen Einblick, wie journalistische Arbeit – zumindest auf diesem Level – funktioniert.

      Ein Redakteur so eines kleinen Blattes, die in den letzten Jahre alle reihenweise um ihr Überleben kämpfen, hat gar keine Zeit, für jeden Artikel stundenlange Recherchen zu betreiben, um die Informationen zu prüfen, die ihm in der Regel eine Agentur liefert.

      Das wird bei den großen Tages- und Wochenzeitungen anders sein, aber für die Lokalpresse gilt sicher: wenn die Agentur den Text lanciert, wird er bei entsprechend interessantem Inhalt auch in vielen Zeitungen landen.

      Sehr interessant war ja auch, welche Zeitung die Studie als erste und dann noch auf der Titelseite hatte!!!
      Wer Bild vertraut, ist halt – schon immer – selbst schuld!

  3. Ich habe diese Sendung auch gesehen. Eine ´betrügerische Absicht´ war in der eigentlichen Studie nicht zu erkennen – denn diese wurde in einer so korrekten Arbeitsweise durchgeführt, wie sie offenbar auch bei anderen Studien üblich ist. Selektive Vorauswahl und selektives Ignorieren von Daten im Vorfeld ist ein allgemeiner Trick. Denn für die Qualität einer wissenschaftlichen Arbeit zählt nur, wass IN der Arbeit publiziert wird. Man kann demnach im wissenschaftlichen Sinn nur dann von Betrug sprechen, wenn die IN der Arbeit veröffentlichten Daten betrügerisch verwendet werden.

  4. Ich habe mir die Sendung jetzt angesehen. Wissenschaftler und Journalisten sehen in dem Beitrag beide nicht gut aus. Aber immerhin das Ziel war klar formuliert – und ich habe schon Sendungen mit weniger klar formuliertem Ziel und deutlicherer Polemik gesehen.

    Ich denke, dass vielen das Problem mit “epidemiologischen Studien” nicht bewusst ist. Und es geht ja nicht nur um Adipositas und Abnehmen bei derartigen Studien, sondern auch um Typ 2 Diabetes, Bluthochdruck und Krebs. Themen, die noch deutlich seriöser im Gedächtnis bleiben.

    Zwischendurch gibt es dann auch immer mal Ergebnisse, die besagen, dass Übergewicht – manchmal sogar leichte Adipositas – gar nicht so katastrophal für die Gesundheit sind (z.B. längeres Leben mit Übergewicht). Alternativ, dass Crash-Diäten auch eine Ursache für Typ 2 Diabetes sein können oder Stress schon ohne Änderung der Ernährung durch Stoffwechseleffekte eine Gewichtszunahme bewirken kann.

    Viele blenden, neben der Problematik der epidemiologischen Studien, aus, dass man nur winzige Teile eines sehr komplexen Systems betrachtet und nicht immer sehen kann, was eine Änderung an einer Stelle auch an anderen Stellen bewirken kann.

  5. Pingback:Gefälschte Schokolade-Studie | digithek blog

  6. @Ricki: Man muss klar unterscheiden zwischen der Ausführung einer Studie und der eigentlichen wissenschaftlichen Arbeit.
    Ich habe lange in der Industrie gearbeitet, wo jeder einzelne Wert nachvollziehbar dokumentiert werden muss. Die Angewohnheit nichtindustrieller Wissenschaftler, solche Daten im Vorfeld von wissenschaftlichen Veröffentlichungen gezielt zu ignorieren, die nicht zu einer vorbestimmten Zielvorstellung passen – betrachte ich daher als vorsätzlichen Betrug (DOI: 10.5281/zenodo.15532).

    Ich wandte mich an das Ombudsmans-Büro einer großen deutschen Forschungsorganisation: Mein Betrugsvorwurf wurde abgelehnt, da ein Ombudsmans-Büro immer nur ausschließlich auf Grundlage des vorgelegten Inhalts(!) einer wissenschaftlichen Arbeit deren Qualität überprüft.

    Und das ist das Schöne an der ARTE-Doku: Sie zeigt, dass man sogar offen belegen kann, wie getäuscht wurde – solange im konkreten Inhalt einer wissenschaftlichen Arbeit kein Betrug nachweisbar ist; hat diese Arbeit als wissenschaftlich korrekt zu gelten!

  7. Interessante Punkte zur Doku, vor allem der Hinweis zum fehlenden Peer Review. John Bohannon hat in seinem io9-Stück beteuert, nur bei seinem Namen gelogen zu haben. In der Doku werden aber weitere Tricks aufgezählt: Einige Probanden sollten zum Beispiel vor dem abschließenden Wiegen ein großes Glas Wasser trinken. Die Doku-Autoren sagen auch, dass ihre Messungen nicht hundertprozentig gewesen sein dürften, da sie das noch nie gemacht haben. Soll damit bewiesen werden, dass solche laxen Praktiken in der Medizin üblich sind?

    Der Umgang mit Herrn Hauner ist mir auch aufgefallen. Er sagt sinngemäß: ein Großteil der medizinischen Studien entspricht nicht dem Goldstandard, sondern liegt darunter. Die Doku-Autoren interpretieren: er hält von seinen eigenen Studien nichts. Dabei wollte er vermutlich sagen, dass sie dem Normalstandard der Medizin entsprechen.

    Kurz vor Schluss der Doku wird behauptet, das kein einziger Journalist ernsthaft zur Studie recherchiert habe. Was sie hätten sagen sollen: kein Journalist, der über die Studie berichtet hat, hat ernsthaft recherchiert.

    • Bemerkenswerterweise stellen sich die Autoren mir gegenüber auf dem Standpunkt, dass sie das Peer-Review-Kriterium formal erfüllen, u.a. weil die angeschriebenen Publikationen behaupten, einen peer review durchzuführen.

  8. @KRichard Ich dachte mit der Formulierung “Problematik der epidemiologischen Studien” auch nicht an absichtlichen Betrug. Es wird sehr viel abgefragt und da gibt es das persönliche Erinnerungsvermögen, dass manchmal – unabsichtlich – auch nicht so zuverlässig ist.

    Dies war mit Sicherheit ein Grund für den Start der Nurses Health Study. Da die “Nurses” im Gesundheitswesen arbeiten und Studien kennen, ist ihnen die Wichtigkeit der korrekten Studienteilnahme bewusst. Mittlerweile läuft, glaube ich, die 3. Auflage dieser Studienreihe.
    Möglicherweise lässt sich mit den aktuellen Entwicklungen (Apps, Wearables) die Datenerfassung verbessern.

    Meiner Meinung nach sollte man sich Daten sowie deren Herkunft immer genau anschauen und vor allem nicht nur automatisiert bzw. alles was geht auswerten. Nicht nur im medizinischen Bereich – auch bei z.B. der Werbung. 😉

  9. @Ricki: Ich bin von meiner Arbeit her, strenge Qualitätsstandards gewöhnt. Wenn wir z.B. wegen Tippfehlers einen Wert falsch eingegeben haben, dann konnten wir diesen Wert zwar löschen – aber zugleich mussten wir Meldung an den Qualitätsbeauftragten der Geschäftsleitung machen und den Grund für das Löschen begründen. Mit diesem Hintergrund benutze ich den Begriff ´Betrug´ vielleicht eher, als Personen die nicht daran gewöhnt sind, Qualitätsstandards einzuhalten.

    Die ARTE-Studie und vor allem die Reaktionen darauf, machen mir besonders viel Vergnügen!
    Denn genau die gleiche Arbeitsweise, die hier verwendet wurde – ist seit 40 Jahren in der Erforschung der sogenannten ´Nahtod-Erfahrungen´(NTEs) üblich. Lesen Sie meinen Kurztext DOI: 10.5281/zenodo.15532 dazu.
    Die Schokoladen-Arbeit ist hier plötzlich ein großes Thema – aber dass ich hier seit 8 Jahren anprangere, dass seit 1975 die genau gleiche Arbeitsweise bei der NTE-Forschung als äußerst fragwürdig zu betrachten ist – führte bisher nicht zu einer angemessenen passenden Reaktion.
    Die letzte Reaktion war bei:
    scilogs.spektrum.de/vom-hai-gebissen/studien-als-willfaehrige-belege-fuer-alles-und-nichts

    Ich habe das Buch/e-Buch ´Kinseher Richard, Pusch, Betrug, Nahtod-Erfahrung´ veröffentlicht. Ich bin gespannt, ob Leute die sich jetzt über die Arte-Doku aufregen – das 40 Jahre andauernde Fehlverhalten der NTE-Forschung überhaupt zur Kenntnis nehmen; oder ob dieses weiter vertuscht wird.

    Meiner Meinung nach, sollte man die Arte-Leute wegen ihrer Verdienste um die Wissenschaft loben – statt sie zu kritisieren! Denn sie haben gezeigt, wie einfach es ist, eine Fake-Arbeit herzustellen. Man sollte die in der Doku gezeigten Tricks als Anlass nehmen, um Qualitätslücken zu benennen und zu beseitigen.

    (Zusatzinfo: NTEs lassen sich komplett als bewusst erlebbarer Erinnerungsvorgang beschreiben. Man kann dabei bewusst erleben, wie das Gehirn einen einzelnen Reiz systematisch verarbeitet. Ich habe das weltweit erste vollständige Erklärungsmodell für NTEs entwickelt.)

  10. Mich würde interessieren, wie der Ethikantrag zu dieser Studie ausgesehen hat…Hätte sich die Studienleitung in diesem Fall rechtlich nicht eigentlich strafbar gemacht?

  11. @ SurdoC: Mich würde interessieren, wie ein Ethikantrag in diesem Fall ausgesehen hätte und wie die zuständige Ethikkommission damit umgegangen wäre. Aber es gab keinen. Die Frage ist, hätte es einen geben müssen, d.h. handelt es sich überhaupt um ein “Forschungsvorhaben”?

    Strafbarkeit der Studienleitung: Die “Studienleitung”, wenn man es so nennen will, lag hier in der Hand der Journalisten. Für die gilt die ärztliche Berufsordnung nicht. Auch der beteiligte Arzt würde sich durch eine eventuelle Verletzung der ärztlichen Berufsordnung allein noch nicht strafbar machen, die Berufsordnung ist lediglich ärztliches Standesrecht.

  12. Ob Journalisten betrügen dürfen, um einen Betrug aufzudecken?
    Das müsste man mal Herrn Wallraff fragen.

    Oder den Chaos-Computer-Club.
    Sehr gute Programmierer, die ein Unternehmen vor Hacking schützen, haben oft genau damit angefangen und der “selbstbewusste” Vorstand eines Unternehmens wird wohl erst glauben, dass seine EDV nicht sicher ist, wenn es ihm jemand stichhaltig beweist.

  13. Pingback:Nein, Alkohol trinken ist nicht gesund » Fischblog » SciLogs - Wissenschaftsblogs

Schreibe einen Kommentar