Das Elend der Wahlprognosen
BLOG: Gedankenwerkstatt
Die britischen Konservativen hätten die Unterhauswahl nie gewinnen dürfen – wenn man den Wahlprognosen Glauben schenkte. Führt Hillary Clinton mit 10 % Abstand gegen Donald Trump, oder liegt sie ein Prozent zurück? Bei den Wahlen in Island am Samstag hat die Piratenpartei 14,5 % der Stimmen eingefahren. Das ist durchaus beachtlich, aber eine Prognose kurz vor der Wahl sah sie mit 22% der Stimmen als Wahlsieger. Selbst ein Horoskop wäre genauer.
In einem News-Feature ist die Zeitschrift Nature diesem Phänomen jetzt auf den Grund gegangen. Meinungsforscher betrachten sich nicht als Wahrsager, sondern als Wissenschaftler, die nach anerkannten Methoden der Sozialwissenschaft arbeiten. Nehmen wir an, sie möchten ein Meinungsbild zu den Wahlabsichten der Bevölkerung ermitteln. Dann konsultieren sie ihre Personendatenbank und suchen mindestens 1000 Wahlberechtigte heraus, und zwar zu etwa gleichen Teilen Männer und Frauen. Ferner sollten die Probe die Verteilung von Reichtum, Bildung und geographische Verteilung der Gesamtbevölkerung widerspiegeln. Dann setzen sich die fleißige Hilfskräfte der Umfrage-Institute ans Telefon und rufen die ausgewählten Personen an. Das ist heute aber nicht mehr so einfach wie früher. Über stationäre Telefone erreichten die Anrufer relativ schnell bis zu einem Drittel ihrer Zielpersonen. Im Jahr 2016 haben aber in England und den USA bereits die Hälfte der Haushalte nur noch Handys. Weil die meisten Menschen Anrufer mit unbekannten Nummern einfach wegdrücken, kommen die Telefonisten der Umfrage-Institute nur bei etwa jedem zehnten Anruf durch. Das verteuert die Umfragen erheblich und macht es schwieriger, in der vorgegebenen Zeit eine repräsentative und ausreichend große Stichprobe zu erheben.
Sollte man vielleicht besser auf das Internet umsteigen? Wer bei Google unter „Internet Polls“ sucht, findet eine ganze Reihe von Anbietern, die versprechen, dass jeder Laie mit ihren Tools binnen weniger Minuten einen erstellen kann. Alle großen Nachrichtenportale nutzen dieses Mittel, um den Nutzern die Möglichkeit einer Mitwirkung vorzugaukeln. Interessierte Gruppen können das Ergebnis einer solchen Umfrage aber leicht manipulieren. Seine Aussagekraft ist also minimal. Die großen Umfrage-Institute gehen deshalb einen anderen Weg: Sie rekrutieren gezielt Menschen für Online-Befragungen. Der so gewonnene Adressenpool heißt im Fachjargon „Online-Access-Panel“. Das Marktforschungsunternehmen Harris Interactive wirbt damit, auf mehr als acht Millionen Panelisten (grässliches Wort!) weltweit zugreifen zu können. Wenn das Unternehmen den Auftrag für eine Umfrage oder eine Marktanalyse erhält, verschickt es E-Mails an ausgewählte Menschen seines Pools, und bittet sie, auf einer eigens eingerichteten Internetseite ihre Meinung kundzutun. Weil Harris genaue Hintergrundinformationen über die Menschen in seiner Datenbank besitzt, lassen sich die Rohdaten der Ergebnisse relativ zuverlässig auf die Gesamtbevölkerung umrechnen.
Die Universität von Southern California und die Los Angeles Times gehen einen anderen Weg, um die diesjährige Wahl des US-Präsidenten genauer vorherzusagen. Sie befragen seit Juli jede Woche eine vorher ausgewählte Gruppe von 3000 US-Bürgern nach ihren Wahlabsichten. Damit möchten sie eine mögliche Wählerwanderung besser erfassen. Sollte aber die Gruppe aber von Anfang an die Wahlabsichten der Amerikaner verzerrt abbilden, würde dieser Fehler über die gesamte Zeit erhalten bleiben.
Probleme der Auswertung
Die zu Bits geronnenen Meinungen von 1000 oder mehr befragten Menschen bilden erst einmal nur Rohdaten. Weil die Befrager in der vorgegebenen Zeit niemals alle Zielpersonen erreichen, entstehen sich Ungleichgewichte. Vielleicht sind zu viele Frauen in der Stichprobe oder zu viele Nordlichter. Das muss das Umfrage-Institut in seiner finalen Statistik ausgleichen. Andere Gründe für eine Schieflage fallen nicht gleich auf und verzerren das Ergebnis manchmal bis zur völligen Wertlosigkeit. Hier einige Beispiele:
- Bei politischen Umfragen verweigern einige Gruppen die Antworten. Viele Unterstützer der AfD oder von Donald Trump misstrauen dem „System“. Dazu zählen sie auch die Meinungsforscher. In England haben die Meinungsforscher in den letzten Jahrzehnten stets die Stimmenanzahl der Tories unterschätzt. Die schüchternen Konservativen („shy conservatives“) bekennen sich offenbar bei Telefonumfragen nicht so gerne zu ihrer Partei.
- In den USA wählen maximal 65% aller eingetragenen Wähler. Die Wahlforscher müssen also auch in Erfahrung bringen, welche Partei voraussichtlich mobilisierenwird. Auch in Deutschland ist dieses Phänomen in den letzten Jahren immer wichtiger geworden.
- Wenn aus dem Nichts ein neues bedeutendes Thema auftaucht, fehlen den Meinungsforschern die Bewertungsgrundlagen. Zum Beispiel hat die Ankunft von mehreren hunderttausend Flüchtlingen die Landtagswahlen in Deutschland in diesem Jahr entscheidend beeinflusst. Die Umfragen konnten diesen Trend aber nur ungenügend erfassen.
Um diese und andere Unwägbarkeiten zu berichtigen, schrauben die Meinungsforscher nach geheimen Rezepten an ihren Ergebnissen herum. Damit überschreiten sie allerdings die Grenze zur Wahrsagerei. Zahlen alleine garantieren keine exakte Wissenschaft. Ein Astrologe destilliert seine zweifelhaften Gutachten schließlich auch aus den objektiv überprüfbaren Bahndaten der Planeten. Unter Wissenschaftlern ist es Konsens, dass Methoden überprüfbar sein müssen, alle andere ist Kaffeesatzleserei.
Die undurchsichtige Korrektur der Ergebnisse ist bedenklich, denn Meinungsforscher beeinflussen durch ihre Vorhersagen den Verlauf von Wahlkämpfen und den Ausgang der Wahlen. Der abgetretene britische Premierminister David Cameron wollte mit seinem unseligen Versprechen einer Volksbefragung zum EU-Austritt seine Wahlchancen verbessern, denn in Umfragen verloren seine Konservativen ständig Stimmen an die nationalistische UKIP. Bei den Unterhauswahlen schnitten die Tories aber viel besser ab, als die Umfragen erwarten ließen. Sie erhielten 330 Sitze und damit etwa 50 Sitze mehr, als die Prognosen erwarten ließen. Cameron fühlte sich an sein Versprechen gebunden, zumal Umfragen im gesamten Jahr 2015 eine Mehrheit für den Verbleib erwarten ließen. Aber diese Erwartung erwies sich als falsch.
Der durchschaute Mensch
Noch bedenklicher, ja nachgerade gruselig, sind die Zukunftsvorstellungen der Umfrage-Branche. Sie wünscht sich den vollkommen gläsernen Menschen. Jo Twyman, der Forschungschef von YouGov für Europa und den Nahen Osten, sagte der Nature:
„‚Big Data‘, das ist es, wo genauere Ergebnisse herkommen werden. Es geht darum, die Wahldaten eines Befragten mit seiner Internet-Nutzung, anderen Umfragedaten und demographischen Informationen zu verbinden. Das erzeugt ein wesentlich umfassenderes Bild dieser Person, und ermöglicht genauere und kleinteiligere Vorhersagen.
In der Tat ein Paradox: Im Zeitalter von Big Data, im Zeitalter wo Google weiss welche Bücher ich gekauft habe und für welche Produkte ich mich in letzter Zeit interessiert habe – gerade in dieser Zeit sind Wahlprognosen oft schlechter als auch schon.
Die Zuverlässigkeit von Wahlprognosen scheint aber stark von den Umständen und dem Wahlmodus abzuhängen. Beeindruckend war wie genau Nate Silver die Wiederwahl Obamas voraussagte: Für alle ausser einem US-Bundesstaat war seine Voraussage korrekt – habe ich in Erinnerung. In der Wikipedia aber liest man sogar:
.
Der Wahlmodus spielt eine wichtige Rolle. In den USA beispielsweise fällt die Entscheidung in den Swing States. Die oben gemacht Aussage:
hört man in vielen Varianten, wobei aber alle Varianten, die sich auf die Stimmabsichten des Durchschnitts-US-Bürgers beziehen, wenig aussagekräftig sind, denn ein paar Staaten geben den Ausschlag und nicht der Durchschnittsbürger, was auch etwas mit dem Wahlmännersystem der USA zu tun hat. Nate Silver jedenfalls sieht am 1.11.2016 eine Chance von 75% für Clinton, die Wahl zu gewinnen, während Trump ein 24%-ige Chance hat.
Am wenigsten kann ich verstehen, dass es heute nicht gelingen soll, eine repräsentative Stichprobe von Wählern zu finden. Heute wo derart viele Leute ihre Datenspuren im Internet hinterlassen und wo viele gerade Junge keinen Bedarf mehr sehen für eine gut geschützte Privatsphäre. Heute sollte es auch einfacher sein, rasch die Einstellung zu einem neuen Thema zu eruieren, denn heute kursieren Meinungen dazu en masse im Internet. Besser schon verstehe ich die Schwierigkeit abzuschätzen ob jemand überhaupt zur Wahl geht.
Ich bin aber überzeugt: Es ist nur eine Frage der Zeit bis Wahlprognosen eine ähnlich hohe Trefferquote erreichen wie es heute Wetterprognosen tun. Denn heute sollten die dafür nötigen Daten vorhanden und “lesbar” sein.
In diesem Blog habe ich nur die Gründe untersucht, die mit der Erfassung und der Verarbeitung der Rohdaten zu tun haben. Zwei weitere Entwicklungen liegen außerhalb dieses Bereichs, und machen den Meinungsforschern das Leben zusätzlich schwer. Zum einen ist nur noch schwer zu ermitteln, was eigentlich repräsentativ ist. Muss man das unterschiedliche Wahlverhalten von Protestanten und Katholiken berücksichtigen? Von Bayern und Schleswig-Holsteinern? Von Leute, die nahe an einer Hochspannungstrasse wohnen und solchen, die keine Freileitung in Sichtweite haben? Von Städtern und Landbewohnern? Von Arbeitern, Angestellten und Freiberuflern? Je nachdem, welches Thema gerade wichtig wird, fühlen sich die Menschen heute ganz unterschiedlich angesprochen, oder benachteiligt. Die Wichtigkeit von Themen wechselt heutzutage sehr viel schneller als früher, die Aufmerksamkeitsspanne hat gewaltig abgenommen. Die Parteien beklagen sich zu Recht über eine geringe Bindung. Die Menschen sind ad hoc bereit, eine andere Partei zu wählen, wenn sie nur für ein (!) aktuelles Thema eine bessere Lösung verspricht. Die Meinungsforscher und die Politiker stehen vor dem Dilemma, dass sie nicht wissen können, wie viele Menschen dieses Thema am Wahltag überhaupt noch auf dem Schirm haben. Ist es vielleicht längst in der Versenkung verschwunden? Soll man es also ignorieren? Oder wird es immer größer, und man verbaut sich die Wahlchancen, wenn man nicht reagiert? Dieses Phänomen, also die schnelle Änderung der Wählermeinung verbunden mit einer geringen Parteibindung machen jede Vorhersage zum Glücksspiel. Dieses gesellschaftliche Entwicklung liegt nicht in der Verantwortung der Meinungsforscher und lässt sich auch mit “Dig Data” nicht beseitigen.
@ Herr Holzherr :
Erstens meint diese Repräsentanz immer ein Modell und zweitens ist das mit dem Finden so eine Sache, es müssten sich hier idealerweise große, sehr große Datenproben finden lassen, die idealerweise auch “repräsentant” sind.
Vermutung:
Hier wird sich i.p. Zuverlässigkeit auch i.p. “Big Data” nichts machen lassen, bspw. sind Wettervorhersagen auf den Zeitraum von wenigen Tagen bezogen deutlich zuverlässiger (und auch konkreter, der (sich verändernden) Datenlage näher) als politische Vorhersagen, auf den Zeitraum von wenigen Tagen bezogen.
Dies müsste auch gut so sein, aus demokratischer Sicht.
MFG
Dr. Webbaer
Howdy, Herr Grüter, schöne Grüße nach Münster, nur ein paar Anmerkungen:
– ‘Bei politischen Umfragen verweigern einige Gruppen die Antworten. ‘ [Zitat, Artikeltext]
So müsste es sein, niemand hat gerne “falsche” politische Meinung zu verkünden, wenn nicht gezwungen, erst am Wahltag wäre er sozusagen gezwungen.
Dies könnte Umfrageergebnisse verfälschen.
– Ein weiterer Grund dafür, dass Wahlergebnisse verfälscht vorhergesagt werden, könnte im Bias des forschenden Personals liegen (das übrigens auch Probleme hat, insbesondere: intern, “falsche” politische Meinung in die Algorithmen einfließen zu lassen, der Job liegt hier sozusagen näher als die Sache).
– ‘[]‚Big Data‘, das ist es, wo genauere Ergebnisse herkommen werden.’ [Zitat, Artikeltext]
Korrekt, allerdings könnten sich dort, wenn Nutzer durchschaut werden und gerade auch wenn “Meinungs-Bots” (die durchaus auch aus real existierendem Personal bestehen könnten, sogenannte Internet-Trolle, auch bezahlte, sind hier gemeint) am Start sind, andere Verfälschungen ergeben, die die Prädiktion belasten.
– Wichtich natürlich auch die Größe der Datenprobe und deren Zusammensetzung, nur so kann erklärt werden, dass auf die Staaten (ca. 300 Millionen Staatsangehörige) gesamt bezogen ganz unterschiedliche Ergebnisse in pol. Meinungsumfragen herauskommen können.
Es ist schon (für einige) frappierend, wenn es Unterschiede in der bilateralen Bewertung der (beiden) Hauptkandidaten im Bereich 10 % gibt.
– ‘Die undurchsichtige Korrektur der Ergebnisse ist bedenklich, denn Meinungsforscher beeinflussen durch ihre Vorhersagen den Verlauf von Wahlkämpfen und den Ausgang der Wahlen.’ [Zitat, Artikeltext]
Auch ein wichtiger Punkt, Meinungsforschungsinstitute selbst könnten auf dem politischen Markt sozusagen zu Playern werden.
—
Ansonsten, wenn Sie mal freundlicherweise auf Nate Silver schauen, der war in der Vergangenheit recht gut darin zu prädiktieren [1], sein “Trick” scheint ganz deutlich darin bestanden zu haben, dass er Webdaten abgriff und in seine Berechnungen / Prädiktionen einfließen ließ.
Stichwort: Betting-Scene, political Bets, vgl. bspw. hiermit:
-> http://www.paddypower.com/bet/politics/other-politics/us-politics?ev_oc_grp_ids=791149
Dort wo Geld vorab investiert wird, reagiert der Markt sozusagen eine Spur ehrlicher.
MFG + schöne Woche noch,
Dr. Webbaer
[1]
Die Stochastik meint statistisch bereit stehende Daten für die Zwecke der Ratelehre, vgl. mit der Etymologie, Zitat, Artikeltext:
‘Damit überschreiten sie allerdings die Grenze zur Wahrsagerei.’
(Selbstverständlich bleiben hoch komplexe und auch allgemein ernst zunehmende Modelle hier maßgeblich, herabgesetzt werden soll so keim Stochastiker – auch deshalb nicht, weil Stochastik funktioniert bzw. sich derart, auch in Wirtschaftsunternehmen, Geld verdienen lässt.)
Im zweiten Absatz weiter oben war ein Komma zu viel und es musste natürlich ‘herabgesetzt werden soll so kei[n] Stochastiker’ heißen.
Sorry, vielen Dank für diese, äh, Evalution, Herr Dr. Grüter und eine Korrekturfunktion für Kommentatoren bliebe nicht schlecht.
Es gibt auch große Unterschiede in den Mentalitäten , gerade in Deutschland , vor allem bei Kleinstädten.
Die eine gilt als hinterwäldlerisch , die nächste als das genaue Gegenteil.
Bei der geringen Basis von Befragten dürfte es schwer sein , sowas mit einzubringen.