Voodoo in der Hirnforschung?

BLOG: MENSCHEN-BILDER

Mensch, Gesellschaft und Wissenschaft
MENSCHEN-BILDER

Voodoopuppe

Ein Doktorand am Massachussetts Institute of Technology (MIT) hat in der Hirnforscherszene für gehörigen Wirbel gesorgt. In seinem Aufsatz wirft er Sozialen Neurowissenschaftlern mit Rang und Namen vor, „Voodoo-Korrelationen“ zu berichten. Diesem Vorwurf wurde jetzt sogar eine Meldung in der neuen Ausgabe von Nature gewidmet.

+++ Achtung, die Informationen in diesem Artikel sind nicht 100% korrekt. Bei den “Voodoo-Korrelationen” handelt es sich um ein methodologisch kompliziertes Problem, über das ich aufgrund der Aktualität damals schnell schreiben wollte. Bitte haben Sie etwas Geduld, bis ich einen besseren Artikel verfügbar mache. Sofern Sie englisch lesen können und darauf Zugriff haben, empfehle ich den Artikel Everything you never wanted to know about circular analysis, but were afraid to ask (Journal of Cerebral Blood Flow & Metabolism, 2010, 30, 1551–1557). +++ (S. Schleim, 20. März 2012)

Als Korrelation bezeichnet man einen Zusammenhang zwischen zwei statistischen Variablen. So werden in der bildgebenden Hirnforschung gerne die Werte von Hirnaktivierungen mit Persönlichkeitsvariablen in Zusammenhang gebracht. Dadurch will man mehr Aufschluss darüber erhalten, was die neuronale Aktivierung bedeutet, die man für eine bestimmte Experimentalbedingung gefunden hat.

Stellen wir uns vor, in einem Experiment wurde beim (vermuteten) vorliegen von Angst eine erhöhte Aktivierung der Mandelkerne (Amygdalae) gefunden. Natürlich kann man jetzt einfach behaupten: Diese Aktivierungen wurden häufig im Zusammenhang mit Angst gefunden, also zeigt unser Ergebnis, dass die Versuchspersonen Angst hatten. Ein Problem ist aber, dass für quasi alle Hirnregionen bei unterschiedlichen Aufgaben Aktivierungen gemessen wurden. Daher kann man von einer Hirnaktivierung nicht direkt auf das Vorliegen eines psychischen Zustands schließen.

Hier kann aber eine Korrelationsanalyse helfen: Daher haben in unserem Beispiel die Forscher nicht nur die Hirnaktivierung gemessen, sondern auch mit einem Fragebogen erhoben, wie viel Angst die Versuchspersonen (subjektiv) erlebt haben. Lässt sich jetzt ein direkter Zusammenhang zwischen diesem Wert und der Hirnaktivierung feststellen, also eine Korrelation, dann untermauert das die Interpretation. Plausibel wäre hier eine positive Korrelation der Form: Je mehr Angst die Versuchsperson hatte, desto größer war die gemessene Aktivierung in den Mandelkernen.

Wir zeigen, dass diese Korrelationen über das hinausgehen, was statistisch möglich ist. (Edward Vul und Kollegen, S. 2; dt. Übers. S.S.)

Gerade für einschlägige Publikationen sind solche Unterstützungen der Hirnaktivierungen inzwischen essenziell geworden. Indem Edwar Vul, der erwähnte Doktorand vom MIT, nun diese Funde infrage Stellt, trifft er den Nerv der gesamten Forschergemeinde sozialer Neurowissenschaftler. Der Aufsatz, den er mit drei Psychologen verfasst hat, erscheint im September in der Zeitschrift Perspectives on Psychological Science, ist aber schon jetzt als Vorabversion im Internet abrufbar.

Dort erklären die Kritiker, die Größe der berichteten Korrelationen habe sie hellhörig gemacht: Der so genannte Korrelationskoeffizient gibt an, wie stark der Zusammenhang zwischen den Variablen ist. Er kann Werte von -1 bis 1 annehmen. Im Fall von 0 gibt es überhaupt keinen Zusammenhang, bei -1 oder 1 ist er absolut negativ beziehungsweise positiv. Nun setze die Zuverlässigkeit von Messverfahren diesem Wert eine obere Grenze. Ihren Schätzungen zufolge dürfe er für die verwandten Persönlichkeitstests und bei der funktionellen Kernspintomographie nicht größer als 0,74 sein. Nun berichten Studien aber Werte wie 0,88 oder gar 0,96. Wie kann das sein?

Vul und Kollegen werfen den Hirnforschern nun vor, dass die für die Korrelationsanalyse ausgewählten Bildpunkte des Gehirns gar nicht unabhängig von der Korrelationsanalyse seien. In der funktionellen Analyse wähle man nämlich auch solche Hirnregionen aus – wie im Beispiel oben für die Angstbedingung –, die nicht nur ein tatsächliches Signal zeigen, sondern auch derart verrauscht seien, dass sie den gewünschten Effekt zeigten. Würde man mit diesen Daten nun nach einer Korrelation suchen, könnte man auch zufällig einen starken Zusammenhang entdecken. Die Kritiker haben dies in 1.000 simulierten Experimenten mit Zufallsdaten nachgewiesen.

Wir gehen davon aus, dass die Korrelationskoeffizienten von mehr als der Hälfte der untersuchten Studien […] vollkommen unglaubwürdig sind. (Vul und Kollegen, S. 20; dt. Übers. S.S.)

Dass diesen Vorwürfen nun eine Meldung in der aktuellen Ausgabe von Nature aufgreift, macht deutlich, dass die Kritiker einigen Forschern ordentlich auf die Füße getreten sind. So bemängelt auch Tania Singer von der ETH Zürich, eine der Autorinnen, deren Studien Vul und Kollegen aufs Korn genommen haben, dass dies kein Vorbild für guten wissenschaftlichen Diskurs sei. Chris Frith vom University College London hat die Befürchtung, der rebellische Aufsatz könne das Ansehen von Neurowissenschaftlern bei Laien schädigen.

Inzwischen haben eine Reihe der angegriffenen Hirnforscher auf die Vorwürfe von Vul und Kollegen geantwortet. Ihr Hauptargument ist, dass durch entsprechende Korrekturen schon dafür vorgesorgt sei, Signalrauschen auszuschließen. Außerdem sei nicht erwiesen, dass die Zuverlässigkeit von Messungen mit dem Hirnscanner so gering sei, wie es die Kritiker bemängelt hatten. Christian Keysers von der Universität Groningen in den Niederlanden räumt aber ein, dass in den Vorwürfen einem Teil der Forschungsliteratur gegenüber zumindest ein Fünkchen Wahrheit stecke. So sieht er in den Vorwürfen auch etwas Gutes: Sie würden die Forscher daran erinnern, mit ihren statistischen Verfahren umgehen zu müssen.

Gedankenlesen - Das Buch Erfahren Sie mehr über die Methoden der bildgebenden Hirnforschung sowie die Chancen, Einschränkungen und Risiken des Gedankenlesens im Buch von Stephan Schleim. Mehr Informationen finden sich auf der Homepage zum Buch.

Quellen:

Nature 457 vom 15. Januar 2009, S. 245: Brain imaging studies under fire.
Die anderen zitierten Artikel sind im Text verlinkt und können als PDF abgerufen werden.

Foto: © Harald Wanetschka (Running Man Fotos) / PIXELIO

Stephan Schleim

Veröffentlicht von

www.schleim.info

Die Diskussionen hier sind frei und werden grundsätzlich nicht moderiert. Gehen Sie respektvoll miteinander um, orientieren Sie sich am Thema der Blogbeiträge und vermeiden Sie Wiederholungen oder Monologe. Beim Gedankenaustausch darf es auch mal heiß hergehen, jedoch nicht beleidigend werden, vor allem nie unter die Gürtellinie gehen. Stephan Schleim ist studierter Philosoph, Psychologe und promovierter Kognitionswissenschaftler. Seit 2009 ist er an der Universität Groningen in den Niederlanden, zurzeit als Assoziierter Professor für Theorie und Geschichte der Psychologie. Der Autor schreibt auch für zahlreiche andere Medien.

8 Kommentare

  1. Voodoo

    “Ich kann (und will) eine gewisse klammheimliche Freude nicht verhehlen…”
    (‘Mescalero’)

    Obwohl ich zugeben muss, dass dies alles sehr weit jenseits des Horizontes meiner statistischen Expertise liegt (de facto betreib’ ich schon Hochstaplerei, indem ich hier das Wort “Expertise” verwende).

    Soso, die Statistik kann “Sinn” produzieren, wo nur “Rauschen” ist. Und wie (ketzerisch gesprochen), wenn der Geist selber genauso funktionierte? Wasser auf die Mühlen der Konstruktivisten…

  2. @ Wicht: So einfach ist es nicht

    Ja, es ist schwer, sich eine abschließende Meinung zu bilden. Wir werden die Angelegenheit in unserer Arbeitsgruppe wohl am 6. Februar diskutieren.

    Das ist auch schon deshalb nötig, weil eine Arbeit aus unserer Arbeitsgruppe in der Liste von Vul und Kollegen auftaucht.

    Sofern sich dabei neue Erkenntnisse ergeben, will ich hier gerne ein Postscriptum schreiben.

  3. @ Schleim – Postscriptum

    ..au ja, bitte!

    Wie macht Ihr das eigentlich? Habt Ihr von vorneherein Mathematiker/Statistiker im Team, oder verlässt man sich da einfach (wie ich das AUCH tue!) auf die statistischen “packages” die bei der Software mit dabei sind?

  4. @ Wicht: Statistik

    Es gibt natürlich schon einen Unterschied zwischen Anwendergruppen, zu denen wir gehören, und Methodengruppen, die Methoden verbessern oder gar neue entwickeln.

    So lange es um die Standardauswertungen geht, können wir uns weitgehend auf die Software verlassen — schließlich tauchen bestimmte Probleme bzw. Fragestellungen ja immer wieder auf.

    Wenn man dann etwas speziellere Untersuchungen machen möchte, muss man sich dazu natürlich in die Literatur einlesen und/oder den Statistiker seines Vertrauens hinzu ziehen. So einen haben wir zwar nicht in der Gruppe aber wir pflegen dafür externe Kontakte.

    Das Hauptproblem sehe ich bei den meisten Studien in der sozialen Neurowissenschaft aber nicht so sehr bei der Statistik, sondern der Frage der Validität: Haben die Forscher auch wirklich das untersucht, was sie behaupten? Mit der Frage habe ich mich schon in theoretischen Schriften beschäftigt und werde ich sicher noch das eine oder andere mal populär aufgreifen.

    Wofür brauchst du eigentlich Statistik? Erstellst du anhand zahlreicher Proben so etwas wie Wahrscheinlichkeitskarten, an welchem Ort sich eine bestimmte anatomische Struktur befindet?

  5. @ Schleim-Statistik

    Ach Gottchen,
    die Anatomie ist – sehr zu meinem Leidwesen- längst auch zu einem “quantitativen Fach” geworden. Guck’mal um die Ecke bei “Wissenslogs” (Synaposendichte Männer vs. Frauen), denk’ an die ganze Hirnvolumenmesserei, denk’ an semiquantitative Analysen der Experssion von irgendwelchen mRNAs an diesem oder jenem Ort in Abhängigkeit von irgendwelchen Stimuli – es wird mittlerweile mindestens ebensoviel gemessen wie geguckt.

    Sehr zu meinem Glück ist’s meist mit ‘nem T- oder U-Test getan. Und bitte: hetz’ mir nicht die Jungs vom MIT auf den Hals. Denn ich bin mir sicher, dass man auch diese Tests vermurksen kann. Ich nehm’ das mit der “klammheimlichen Freude” auch zurück. War nur das Bauchgrollen von jemand, der im tiefetsen Herzen davon überzeugt ist, dass der “Geist” keinen Ort hat. Bestenfalls einen, an dem er produziert wird…

  6. @ Wicht: Klammheimliche Freude

    Vielleicht bereitet es dir aber klammheimliche Freude, dass in der heutigen Nature ein Bericht darüber ist, dass man eine BOLD-Antwort auch dann zuverlässig messen konnte, wenn gar keine neuronale Aktivität vorhanden war.

    Das dürfte jedenfalls manchen etwas Grübeln bereiten…

  7. BOLD und neuronale (Nicht-)Aktivität

    ..da war doch neulich dieser Blobeitrag vom Schönfelder (wo isser eigentlich??) mit dem Link auf den Aufsatz von Logothetis (“What we can and what we cannot do with fMRI”):

    http://www.nature.com/nature/journal/v453/n7197/abs/nature06976.html

    Ziemlich klasse, der Aufsatz. Nachdem ich ihn gelesen habe, würde ich ja jetzt sagen: wundert mich nicht. Vielleicht sind’s ja nicht die Neurone, sondern die Glia.

  8. @ Wicht: BOLD Claims

    Ja, Vinzenz hat da gute Arbeit geleistet; ich schätze, er muss für seinen PhD so viel schuften, dass er kaum zum Bloggen kommt.

    Für die nächste Ausgabe ist auch schon ein Artikel über die Grenzen der bildgebenden Hirnforschung angekündigt — vielleicht hat er den ja geschrieben?

Schreibe einen Kommentar