Noch ein Auswahleffekt in klinischen Studien…

BLOG: Fischblog

Wissenschaft für alle
Fischblog

Update Nummer 2: Mein Beitrag für Spektrumdirekt ist jetzt mit kleineren Änderungen wieder Online. An der Kernaussage hat sich nichts geändert, weil die beiden verwechselten Studien auf die gleiche Weise ein Problem angehen, an dem sich ganz offensichtlich seit 2005 auch nichts geändert hat. Einige Ergänzungen habe ich gefettet eingefügt.
Thema sind klinische Studien, die vorzeitig abgebrochen werden, weil die Ergebnisse so eindeutig erscheinen, dass sich eine Fortsetzung nicht mehr lohnt. Das ist natürlich ein Irrtum:

Allerdings berge der frühe Abbruch der Studie das Risiko, dass die positiven Effekte der untersuchten Therapie deutlich überschätzt werden, berichtet jetzt ein internationales Forscherteam. […] Demnach zeigten die gleichen Therapien in abgebrochenen Studien deutlich stärkere positive Effekte als in solchen Studien, die über den gesamten vorgesehenen Zeitraum liefen.

Was in meinem Text nicht drinsteht ist, wie viele Studien das Problem betrifft, und das hat einen Grund. Tatsächlich geben die Autoren in ihrem Paper einen Anteil von etwa 1,2% am gesamten Studienaufkommen an. Aber es fällt mir schwer, diese Zahl ernstzunehmen.

Das aktuelle Paper enthält keine Angaben zu Zahlen, die Autoren merken aber an, dass sie beim zusammenstellen der Vergleichsstudien auf weitere gekürzte Untersuchungen stießen und davon ausgehen, dass noch mehr da draußen sind.

 

Zumal die Autoren der Studie [von 2005] ganz schlicht die Datenbank nach solchen Papers durchsucht haben, in denen explizit drinsteht, dass die Studie abgebrochen wurde und warum. Der Verzicht auf einige Schlüsselworte wie halted, closed, closure, terminated, stopped, early, prematurely reichte völlig aus, um unter dem Radar zu bleiben. Insofern dürften Guyatt und Kollegen eher die ehrlichsten und integersten von jenen herausgefischt haben, die schon mal Studien vorzeitig beendeten.

In der neuen Studie haben Montori et al. genau das gleiche gemacht: Die Literaturangabe für ihre Methode ist die Studie von 2005.

Aber gerade die Ergebnisse der vorliegenden Studie verdeutlicht das beträchtliche Potential frühzeitig beendeter klinischer Tests für die weniger redlichen Kollegen: Selbst nachweislich unwirksame Präparate schnitten in den abgebrochenen Studien gelegentlich 30 Prozent besser ab als das Plazebo [Zahl von 2010]. Ich sehe keinen Grund, weshalb man eine Studie nicht auf gut Glück durchführen und gezielt bei passenden Zahlen abbrechen kann. Dass bei manchen Studien nachträglich die Methode geändert wird, damit die Zahlen besser aussehen, ist bekannt – dass nach dem gleichen Muster auch eine mehr oder weniger willkürlich trunkierte Studie auf „geplant“ frisiert werden kann, scheint mir eher nahezuliegen.

Ob das tatsächlich so praktiziert wird, kann ich nicht abschließend beurteilen, ich halte es aber für ziemlich wahrscheinlich. Zumal von einer gefälschten Studie bei so etwas keine Rede sein kann – alle Daten sind echt, alle Auswertungen valide. Das erinnert ein bisschen an den klassischen publication bias in der klinischen Forschung: Positive Ergebnisse werden publiziert, negative wandern in die Schublade. Aus welchen Motiven auch immer.

Ohne statistische Methoden wäre aussagekräftige klinische Forschung nicht denkbar, aber Statistik ohne kontrollierte Rahmenbedingungen ist kaum mehr als Zahlenmystik. Beispiele dafür sind die Probleme mit multivarianten Analysen, an denen sich Beck-Bornholdt und Dubben in den 90ern abgearbeitet haben, das Schindluder, das mit p-Werten getrieben wird, nachträgliche, undokumentierte Änderungen des Analyseverfahrens, oder eben die vorzeitig abgebrochenen Studien. Sie alle führen dazu, dass fehlerhafte Ergebnisse in der klinischen Literatur landen, die aus Zeit- und Kostengründen erst sehr viel später korrigiert werden – wenn überhaupt.

Die naheliegende Lösung für derlei Probleme ist eine verpflichtende Registrierung aller klinischer Studien und ihrer Eckdaten vor Beginn der Untersuchung, so dass man durch einen einfachen Abgleich eventuelle Manipulation erkennen kann. Noch im November letzten Jahres hat Peter Sawicki, damals Chef des Instituts für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG), dazu aufgerufen, einen solchen Mechanismus auch in Europa einzuführen. In den USA sichert eine solche Datenbank seit 2008 Mindeststandards[1] bei der Durchführung klinischer Studien – Sawicki dagegen wurde Anfang des Jahres gefeuert.
.
.
.
[1] Allerdings erfordert auch die ideale Datenarchivierung eine zusätzliche Analyse, um Probleme durch abgebrochene Studien zu erkennen.

3 Kommentare

  1. Registrierung und Veröffentlichung!

    „Die naheliegende Lösung für derlei Probleme ist eine verpflichtende Registrierung aller klinischer Studien…“
    Dem kann ich nur zustimmen. Es müsste eine Pflicht zur zentralen Registrierung und Veröffentlichung aller von Ethikkommissionen genehmigten Studien geben und es geht vor allem auch um die negativen Resultate.
    Allerdings ist davon auszugehen, dass auch hier Methoden zur ‚verbesserten statistischen Darstellung’ ausgeschöpft würden. Denn eine fehlende oder gar negative Wirkung lässt sich eben nicht gut verkaufen. Und hierbei geht es nicht wie bei Herrn Sawicki um ein paar Liter verhängnisvoller Weise falsch verbuchtes Rasenmäherbenzin sondern um etwas höhere Beträge. Auch wären Folgestudien gefährdet, denn welcher Patient würde sich gern von Medikament XY behandeln lassen, welches in Studie A nicht wirksam genug war? Welcher Arzt könnte noch guten Gewissens seine Patienten in eine solche Studie einschleusen?
    Es wird sich zeigen, wohin das Schiff des IQWiG nach dem mehr als fragwürdigen Rauswurf seines bisherigen Kapitäns in Zukunft steuern wird.

  2. Veröffentlichung

    …in einer zentralen Datenbank wäre eine gute Sache. Vom Prüfplan über alle Amendments bis hin zum Abschlussbericht inklusive Statistischer Analyse. Das wäre transparent und würde manchen Spekulationen über getürkte Studien den Boden entziehen. Oder auch nicht.

    Derzeit ist es doch so, dass eine “ergebnislose” Studie nicht einfach in der Schublade verschwindet, sondern bei der BfArM landet, wenn es zur Zulassung kommt. Eigentlich besteht also gar kein Anreiz und auch nur wenig Möglichkeit, hier zu tricksen, ohne dass das der Zulassungsbehörde auffällt (vermute ich mal).

    Was von den Studien dann letztlich in Fachjournalen publiziert wird, steht auf einem anderen Blatt, hier gibt es in der Tat eine Menge Gestaltungsmöglichkeiten.

    Dass klinische Prüfungen abgebrochen werden können, erscheint mir aber sehr wichtig, schon aus ethischen Gründen. Normalerweise wird im Prüfplan festgeschrieben, wann ein Zwischenbericht erstellt wird und welche Kriterien erfüllt sein müssen, damit ein Abbruch erfolgen kann (z.B., wenn zu viele unerwünschte Ereignisse auftreten, oder wenn es ethisch nicht mehr vertretbar ist, der Kontroll-Gruppe das Verum vorzuenthalten).

  3. Der Sawicki

    ist ja nicht umsonst auf Druck der Lobby gefeuert worden: durch seine Untersuchungen fielen ja Machenschaften der Pharmalobby zu leicht auf.

Schreibe einen Kommentar