Studien als willfährige Belege für alles und nichts

BLOG: Vom Hai gebissen

Notizen aus dem Haifischbecken
Vom Hai gebissen

Wissenschaftliche Studien als willfähriger Beleg für praktisch jede Position zum Thema – diese Einschätzung zur aktuell populären Schokoladen-Studie las ich bei Top Agrar, was mich ärgerte.

Nein, wir nehmen durch den Verzehr von Schokolade nicht ab – eigentlich keine Meldung, wenn da nicht eine Studie durch die Medien gereicht worden wäre, die genau das Gegenteil belegt haben sollte. Bitter war am Ende nicht nur die Schokolade, sondern auch die Wahrheit – alles Quatsch. Die Studie in Verbindung mit diesem Ergebnis wurde von zwei Journalisten bewusst so lanciert. Zum Hintergrund der Studie schreibt Lars Fischer in seinem Kommentar auf Spektrum:

Der Witz an der Geschichte ist nämlich, dass man die ursprünglich lancierte Meldung kaum als Fälschung bezeichnen kann. Hinter ihr steht eine Studie von einem echten (allerdings in den Plan eingeweihten) Mediziner mit ebenso echten Probanden. Die teilnehmenden Personen ernähren sich auf drei verschiedene Arten, und die schokoladeunterstützte Diät führt zum statistisch signifikant stärksten Gewichtsverlust. Das unterscheidet sich kaum von vielen anderen Untersuchungen, die hinter solchen Ernährungsschlagzeilen stehen – abgesehen eben von der betrügerischen Intention.

…und weiter:

Der Trick liegt im Aufbau der Studie: Sie erfasst mehr potenziell relevante Parameter, als sie Teilnehmer hat – ein Patentrezept für statistisch signifikante Ergebnisse, das quer durch die Ernährungsforschung geht und nicht nur dort ganze Fachmagazine füllt. Wenn man nur genug Parameter untersucht, kommt man schon mit irgendwas über die Fünf-Prozent-Hürde. Und das war von Anfang an die Absicht der Gruppe, die dann mit dem so gezielt erzeugten Scheinergebnis an die Öffentlichkeit ging.

…um dann lesenswert fortzufahren, dass das mit den Ernährungswissenschaften eine Sache für sich ist.

Natürlich kann man in eine Studie jede beliebige Meinung hinein interpretieren, wenn man nur das Abstract oder die PR-Mitteilung liest und den Methoden-Teil ignoriert. Dabei können sich hier wichtige Details verstecken, die Hinweise auf die Aussagekraft einer Studie geben können. Dazu kann die Größe der Versuchsgruppe gehören, aber auch verwendete Produkte oder Versuchstiere bzw. deren Gesundheitszustand können letztlich dazu führen, dass ein Ergebnis doch nicht jenes ist, das aktuell verbreitet wird. Auch ein Blick in die Referenzen kann aufschlussreich sein.

Kleiner Exkurs: gelange ich bspw. in den Besitz eines Papers über Tierwohl oder Stockmanship schaue ich mittlerweile zuerst nach hinten. Ich hatte mal eine Liste mit Namen und Begriffen verbloggt. Gedacht war diese Liste eigentlich, um auch Laien einen schnellen Sucherfolg zu ermöglichen, funktioniert aber ebenso gut, um den Hintergrund einer Studie zu erforschen.

Ebenso wichtig ist die Frage, wer eine Studie finanziert hat. Unnötig zu erwähnen, dass von der Industrie finanzierte Studien einen schwereren Stand haben bei der Einordnung. Voraussetzung für eine grundsätzliche Einschätzung einer Studie ist natürlich, dass alle relevanten Infos vorhanden sind.

An dieser Stelle wurde es 2013 auch für Seralini eng. Klar, seine gewünschte Botschaft vom Krebs-erregenden Genmais war längst draußen in der Welt und wurde begeistert weitergetragen – was ihn allerdings nicht davor schützte, dass in der Wissenschaft einige genauer hinsahen und das Ergebnis nachzuvollziehen versuchten.

Martin Ballaschk hat die Geschichte in seinem Blog emsig verfolgt und schreibt dort unter anderem:

Die wissenschaftliche Welt fragte sich indes, wie die Publikation überhaupt durch das Peer Review kommen konnte. Über 30 Forschungsorganisationen, die Gentechnik-Zulassungsbehörden vieler Länder (darunter die europäische EFSA und das deutsche BfR) und zahllose Wissenschaftler distanzierten sich von den Schlussfolgerungen, die in der Arbeit gezogen wurden. Die Hauptvorwürfe: Die gezeigten Daten stützten nicht die Schlussfolgerungen, dass der gentechnisch veränderte Mais NK 603 wirklich in Ratten Krebs verursache. Die Studie hätte viele schwere Fehler, darunter eine viel zu kleine Zahl von Versuchstieren, sodass ein Zufallsbefund nicht ausgeschlossen werden könne. Der ausgewählte Rattenstamm neige zur spontanen Entwicklung von Tumoren, und auch die nicht behandelten Tiere der Kontrollgruppe hätten Tumore entwickelt und seien vorzeitig verstorben. Die Darstellung der Daten sei unnötig kompliziert und unvollständig, und die Rohdaten wären von Séralini auch auf wiederholte Anfrage nicht veröffentlicht worden.

(Quelle und weitere Verweise am Ende)

Zwischen grandioser Wissenschaft und massivem Unsinn gibt es natürlich noch den Mittelweg. Hier tummeln sich solche Studien, die zwar völlig in Ordnung sind, aber keinen großen Erkenntnisgewinn beinhalten. Das ist gar nicht schlimm, schließlich ist Wissenschaft nie zielgerichtet – vorher zu wissen, was nachher rauskommt, ist keine Wissenschaft. Ein Ziel gibt es dennoch: die Überprüfung der zuvor aufgestellten Thesen oder Studienergebnisse anderer Wissenschaftler. Das kann direkt klappen, manchmal braucht es aber auch mehrere Anläufe. Als Beispiel für eine solche Studie, die jetzt keinen grundsätzlichen Erkenntnisgewinn liefert, fällt mir spontan die zuletzt erwähnte Studie über die Ziegenhaltung auf den Philippinen ein. Ziel war die Erforschung des Effektes von Lehrgängen auf die Gesundheit und Lebensdauer der dort beliebten Ziegen. Wenig überraschend führten bessere Kenntnisse im Stallbau, der Fütterung und im allgemeinen Umgang genau dazu – die Ziegen lebten länger, waren gesünder und gaben mehr Milch und Fleisch. Die Lehrgänge funktionierten also, grundsätzlich war das jetzt aber alles nicht neu.

Nein, Studien sind nicht beliebig interpretierbar. Wenn das passiert, wurden entweder vorhandene Daten übersehen oder – wie im Fall Séralini – erst gar nicht freigegeben. Unsinn lässt sich also durchaus als solcher erkennen – ebenso wie gute Studien, die methodisch sauber sind und die Forschung weiterbringen.

Ansonsten gilt: Perfektion gibt es nirgendwo. In der Wissenschaft passieren Fehler ebenso wie im Journalismus. Wenn aber aus der Geschichte der zwar echten, aber bzgl. ihres Ergebnisses gefaketen Schokoladen-Studie die Erkenntnis einer völligen Beliebigkeit bzgl. der Interpretation statistischer Ergebnisse hängen bleibt, wünsche ich mir fast, die Knallchargen von Journalisten hätten sich die Nummer mit der Studie besser verkniffen.


Verweis

Veröffentlicht von

Wissenschafts- und Agrarblogger seit 2009 – eher zufällig, denn als „Stadtkind“ habe ich zur Landwirtschaft keine direkten Berührungspunkte. Erste Artikel über Temple Grandin und ihre Forschungen zum Thema Tierwohl wurden im Blog dann allerdings meiner überwiegend ebenfalls nicht landwirtschaftlichen Leserschaft derart positiv aufgenommen, dass der Entschluss zu einer stärkeren Beschäftigung mit der Landwirtschaft gefallen war. Auch spätere Besuche bei Wiesenhof und darauf folgende Artikel konnten die Stimmung nicht trüben. Seit 2015 schreibe ich auch gelegentlich für das DLG-Blog agrarblogger.de, teile meine Erfahrung in der Kommunikation als Referent und trage nebenbei fleißig weitere Literatur zum Thema Tierwohl zusammen. Auf Twitter bin ich unter twitter.com/roterhai unterwegs.

10 Kommentare

  1. Pingback:Schokolade macht nicht schlank – wer hätte das gedacht? @ gwup | die skeptiker

  2. TopAgrar gehört zwar nicht zu meiner Lektüre (und ich find’ hier auch keinen Link zu dem Text), daher weiß ich nicht, wie dort diese Annahme, mit wissenschaftlichen Studien ließe sich alles begründen, aus der “Schokoladenstudie” gewonnen werden konnte. Aber wie schon Lars erklärt hat: Das Problem an der “Studie” (die Anführungszeichen setze ich deshalb, weil das Projekt ja keine wissenschaftliche Arbeit sein sollte, sondern anderen Zwecken diente) ist nicht, dass aus ihr irgendetwas rausgelesen wurde, was nicht drin stand, oder dass Daten irgendwie “uminterpetiert” wurden, um eine bestimmte und von vorneherein gewünschte Aussage zu “belegen”. Der grundlegende Mangel der Schokoladen-“Studie” besteht darin, dass sie zu viele Variable mit zu wenigen Stichproben untersucht hat, und dann mit statistischen Methoden, die große Fallzahlen voraussetzen, die dabei erhobenen “Daten” ausgewertet hat. Selbst das wäre unter Umständen sogar noch im Rahmen des Azeptablen, wenn ganx klar auf diese Problematik der geringen Fallzahlen und die Grenzen dessen, was sich damit aussagen lässt, hingewiesen würde.

    Ein zweiter Fehler war, dass diese Studie nicht etwa zum Test einer Hypothese angelegt war, sondern “ex post” aus den Daten, die irgendwie signifikant schienen, eine Hypothese geformt hat (das Texas-Sharpshooter-Problem). Datamining macht das zwar auch gelegentlich, aber typischer Weise eben mit großen Datensätzen.

    Der Fehler liegt also nicht primär darin, dass ein Zusammenhang behauptet wird, der nicht existiert (das wäre wohl das, was mit dem Adjektiv “beliebig” gemeint ist), oder dass Daten erfunden wurden, die diese Kausalität belegen sollen, sondern dass ein Zusammenhang als “signifikant” – was im Laiendeutsch als “so gut wie gesichert” missverstanden werden kann – präsentiert wurde, obwohl dies statistisch ganz und gar nicht abgesichert war.

    • Hallo Herr Schönstein,

      hätten Sie bis zum Ende gelesen, wären Ihnen drei fein säuberlich aufgelistete Quellen aufgefallen, darunter auch die Meldung bei Top Agrar.

      Vielen Dank für Ihre Erläuterungen, die sicherlich völlig richtig sind. Ich habe mich allerdings ein wenig an besagtem Kommentar wie auch an einigen Kommentaren auf Facebook dazu orientiert – und deren Tenor ging doch recht eindeutig in die Richtung, dass Studien eben beliebig seien und gesunder Menschenverstand am wichtigsten sei. Und das ist ein Quatsch-Fazit.

  3. @Sören Schewe
    Stimmt, der Link war hinter dem Satz “Der Stein des Anstoßes bei TopAgrar” verorgen – ich habe bis zum Ende gelesen (falls dies eine Anspielung gewesen sein sollte), hatte diesen Satz allerdings versehentlich als den Hinweis auf eine weitere Sekundärquelle fehlinterpretiert und nicht weiter verfolgt. Ist so eine komische Angewohnheit von mir, Links im Text zu suchen…

    Und ja, genau weil ich auch gesehen habe, dass die Diskussion über die Bedeutung dieser “Studie” oft an der Sache vorbeizielt, habe ich meinen Kommentar geschrieben – nicht als Kritik an diesem Blogbeitrag, sondern als zusätzliche Information. Oder, wenn man so will, meinen “Senf”…

    • Alles gut Herr Schönstein!

      Genau so habe ich Ihren Kommentar auch verstanden, also als Ergänzung. Die kleine Spitze zur Quellensuche konnte ich mir aber nicht verkneifen 😉

  4. Wenn die hohen Qualitätsansprüche für wissenschaftliche Arbeiten diskutiert werden, verweise ich gerne auf das Thema ´Nahtod-Erfahrung´(NTE) – bzw. die NTE-Forschung – um die Reaktion zu testen:
    Hier kann man erkennen das seit 40 Jahren nachweislich gepfuscht und betrogen wird – 1975 bis 2015 ist ein Jubiläum!
    bei www .dasGehirn.info > entdecken > neurokritik > Wann können wir die Neuro-Wissenschaft wieder beim Wort nehmen – kann man einige meiner Vorwürfe nachlesen
    Ebenso per DOI: 10.5281/zenodo.15532 bzw .15455 oder .15525 (kostenlos)

    Die Reaktion ist immer wieder ähnlich:
    A) Leute, die sich erst öffentlich für hohe Qualitätsstandards in der Wissenschaft eingesetzt haben – haben plötzlich keine Ahnung mehr, was ´Gute wissenschaftliche Praxis´ überhaupt ist.
    B) mir wird erklärt, dass dieses Thema NTE nicht zum aktuellen Blog passt
    C) mir wird der Vorwurf gemacht, dass ich schon wiederholt(!) auf dieses Problem aufmerksam gemacht habe – und dass ich damit bitte aufhören sollte
    D) Das Datenmanipulation in der Wissenschaft ein Betrugsvorgang ist – scheint plötzlich völlig unbekannt zu sein, wenn der Begriff NTE erwähnt wird.
    E) dass man als Wissenschaftler selbst aktiv werden soll, wenn man Betrug erkennt oder auf Betrug in wissenschaftlicher Arbeit hingewiesen wird – wird ignoriert

    (Ich erwarte auf die obigen Vorwürfe keine Antwort. Denn ich betrachte meine Beiträge bei SciLogs mittlerweile nur noch als öffentliche Dokumentation.)

    • Mein Blog ist nicht Ihr Notizzettel. Sollten Sie diesen das nächste Mal als solchen verwenden ohne Interesse an einer Diskussion, fliegen Ihre Kommentare raus.

  5. Nachtrag: In den Blogbeiträgen von ´vom Hai gebissen´ wird oft das Tierwohl thematisiert.
    Hätte man beim Thema ´NTE´ nicht seit 40 Jahren betrogen – dann wären bestimmte Forschungen von Anfang an als fragwürdig erkannt worden: z.B. das Thema ´Spiegelneuronen´.
    Für die Erforschung der ´Spiegelneuronen´ werden aber seit Anfang der 1990er Jahre Affen (Makkaken) mit Elektroden im Gehirn verwendet. Nachweislich sinnlose Experimente mit Tieren bezeichne ich als Tierquälerei. Wer sich an Tierquälerei nicht stört, sollte meine Vorwürfe zum Thema ´NTE´ weiter ignorieren.

  6. Pingback:Die 5 zum Sonntag #6 | Matkix Media Industries UG

  7. Pingback:Anekdoten ohne Relevanz › Vom Hai gebissen › SciLogs - Wissenschaftsblogs

Schreibe einen Kommentar