Dressur des demokratischen Willens – Wenn Computeralgorithmen Wahlen entscheiden

BLOG: Beobachtungen der Wissenschaft

Grenzgänge in den heutigen Wissenschaften
Beobachtungen der Wissenschaft

Die Mechanismen öffentlicher Aufmerksamkeitserregung und Empörung besitzen eine nicht immer einfach nachvollziehbare Dynamik. Verständlich ist dagegen, dass die Geschäftspraxis der Firma Cambridge Analytica starke öffentliche Abwehrreaktionen hervorrufen. Die Kommentare in Print- und Onlinemedien sind selten so einhellig wie in diesem Fall: Hier wurden die Grundregeln der Demokratie verletzt. Weniger verständlich ist der Zeitpunkt dieser Erregung. Das Gebaren der Firma mit ihrem so unheimlich wie schnöselig auftretenden Chef Alexander Nix waren längst bekannt (auch dass in deren Vorstand lange der ultrarechte Nazi-Sympathisant Steve Bannon sass und dass deren Hauptanteilseigner der Hedge Fonds-Manager Robert Mercer ist, der größte Spender der Trump-Kampagne). Wer es wissen wollte, konnte ohne weiteres in Erfahrung bringen, dass Nix und seine Leute mit Methoden des so genannten „Micro Targeting“ sowohl für Trump als auch für die Brexit-Kampagne aktiv waren und entscheidenden Anteil an ihren so überraschenden wie beklemmenden Wahlsiegen hatten. So dienten Cambridge Analytica und Micro Targeting beispielsweise in meinem Buch Supermacht Wissenschaft vom August 2017 als prominente Beispiele dafür, wie der technogische Wandel die Spielregeln unserer Gesellschaft verändert.

Ein breiter öffentlicher Diskurs über diese Praktiken setzt aber erst jetzt sein. So überrascht (und ernüchtert) man von der späten Reaktion unserer Medien, Politiker und Wirtschaftsführer auf den technologischen Wandel oft auch sein mag, so ermutigend ist, dass die volle Wucht der öffentlichen Entrüstung sich nun diesem Thema zuwendet. Es war höchste Zeit: Wie wir unterdessen mit Hilfe der modernen digitalen Technologien, Big Data und künstlicher Intelligenz (KI) manipuliert werden, bedarf einer breiten politischen und gesellschaftlichen Reaktion, die weit über ein blosses Achselzucken für die üblichen Lügen der grossen Internetfirmen wie Facebook oder Google, dass ihr Datensammeln über uns doch nur dem Allgemeinwohl diene und dass unsere Daten bei ihnen sicher seien, hinausgehen muss. Endlich reagiert die Politik, auch wenn es erst Video-Aufnahmen schlüpfriger Details im Geschäftsgebaren von Cambridge Analytica bedurfte, um dafür den Anstoss zu geben. Denn nicht die skandalöse Manipulation des öffentlichen Willen mit Hilfe von KI und Big Data waren es, die Alexander Nix zum Rücktritt von seinem Posten zwangen, sondern das Bekanntwerden der von seiner Firma verwendeten jahrhundertealten Manipulationstechniken von Sexfallen („honey traps“) und Denunziation.

Bereits vor einiger Zeit prahlten Nix und seine Firma damit, über psychologische Daten von „ca. 220 Millionen Amerikanern mit vier bis fünftausend Datenpunkten für jeden einzelnen von ihnen“  zu verfügen und damit im Jahr 2014 Einfluss auf 44 politische Wahlen in den USA genommen zu haben (was auch eine Zusammenarbeit mit Trumps neuem Rechtsaussen-Sicherheitsberater John Bolten umfasste). Und 2017 war die Firma nach eigenen Angaben massgeblich am Wahlsieg Uhuru Kenyattas beteiligt. Der Kenyattas Wahlsieg vorangegangene Wahlkampf war wie kaum eine Wahl je zuvor von Fake news und Fehlinformationen geprägt, die über Smartphones und soziale Medien ihre Verbreitung fanden.

Die Methode, Daten für politische Zwecke auszunutzen, ist keineswegs neu.  Seit Jahrhunderten versuchen Wahlkämpfer die Persönlichkeiten, politischen Ansichten und Neigungen der Wähler zu bestimmen und diese Information zum Nutzen ihrer Kandidaten zu verwenden. Doch zweierlei ist neu und wird die zukünftige Architektur der politischen Macht in demokratischen Gesellschaften massgeblich prägen: das schiere Volumen der verwendeten Daten und die immer intelligenteren Algorithmen, die zwecks Manipulation der Wähler eingesetzt werden. Dass dabei Facebook mit all den Daten, die die Firma über uns sammelt, eine massgelbliche Rolle spielt (aber auch Google, Microsoft und Apple), ist nun endlich in der öffentlichen Diskussion angekommen.

Wie stark wir bereits heute mit Hilfe von Big Data und KI-Algorithmen durchleuchtet werden, ist nur den wenigsten Menschen bekannt. Eine besonders ergiebige Datenquelle für KI-Anwendungen zur Bestimmungen unserer Eigenschaften sind die „Likes“ auf Facebook. Gemäss Studien des Psychometrik-Experten Michal Kosinski innerhalb seines Projektes „myPersonality“ lässt sich aus durchschnittlich 68 Likes eines Users mit Hilfe eines entsprechenden KI-Algorithmus mit 95-prozentiger Treffsicherheit vorhersagen, welche Hautfarbe, mit 88-prozentige Wahrscheinlichkeit, welche sexuelle Orientierung und mit 85 Prozent Treffsicherheit, welche politische Orientierung diese Person hat. Aber auch Dinge wie Drogenkonsum, Religionszugehörigkeit und sogar Intelligenzquotient und Familienverhältnisse in der Kindheit lassen sich so ermitteln. Kosinski behauptet: Sein Algorithmus kann anhand von zehn Facebook-Likes Charakter und Verhalten einer Person besser einschätzen als ein durchschnittlicher Arbeitskollege, mit 70 Likes besser als ein Freund, mit 150 besser als die Eltern und mit 300 Likes besser als deren Lebensgefährte. Und mit noch mehr Likes kann die Maschine sogar die Person bei ihrer Selbsteinschätzung übertreffen. Ein weiteres Beispiel für die Macht der Daten: im Frühjahr 2016 beschrieb der KI-Experte Eric Horvitz von Microsoft Research, wie ein Computerprogramm allein anhand öffentlich verfügbarer Daten zu dem Schluss kommen kann, welche Personen in Zukunft mit einer gewissen Wahrscheinlichkeit Opfer bestimmter Krankheiten werden. Horvitz zeigte zum Beispiel auf, wie intelligente Algorithmen aus Twitter- und Facebook-Meldungen einzelner Nutzer eine beginnende Depression erkennen können – noch bevor der Betroffene selber davon weiss.

Spätestens hier sollte jedem klar sein, dass diese Fähigkeiten von KI und Big Data ein gewaltiges Gefahrenpotential bergen. Denn von Kenntnis unserer Persönlichkeit ist es nur ein kurzer Weg zur Beeinflussung unseres Verhaltens, im politischen Zusammenhang, wie wir wählen. Dass wir mittels Algorithmen und Big Data beeinflussbar sind, zeigt bereits der gewaltige kommerzielle Erfolg Facebooks. Wäre dem nicht so, könnte Facebook mit personalisierter Digital-Werbung nicht Dutzende von Milliarden Dollar verdienen. Spätestens seit der Brexit-Abstimmung und der US-Präsidentenwahl 2016 ist aber klar, dass KI auch in politischen Auseinandersetzungen und demokratischen Wahlkämpfen eine immer bedeutendere Rolle spielt. Algorithmen wie der von Michal Kosinski lassen sich nämlich auch umgekehrt benutzen: Zur Suche nach bestimmten Profilen, beispielsweise nach ängstlichen, frustrierten oder zornigen Arbeitnehmern, nach Waffennarren und Rechtsextremen – oder auch: nach unentschlossenen Wähler. Und von dort ist es nicht mehr weit, Menschen zu manipulieren und sie in ihrem Wahlverhalten zu beeinflussen. So lassen sich die mit Hilfe von KI erstellten Profile dazu verwenden, jedem Wähler seine eigene auf ihn gemünzte Botschaft zukommen zu lassen. Potenziellen Clinton-Wählern – Latinos und Afroamerikaner, skeptische Liberale und Linke, junge Frauen –  wurden 2016 massenweise „Nachrichten“ zugesandt, inklusive schamloser Lügen, über die Interessenkonflikte der Clinton-Stiftung oder angeblicher illegaler Machenschaften der demokratischen Präsidentschaftskandidatin, mit dem Ziel, sie davon abzuhalten, Hillary Clinton zu wählen. Zu diesem Zweck wurden computergenerierte automatisierte Skripte eingesetzt, so genannte „Bots“, die eine grosse Menge künstlich generierten Contents in sozialen Medien wie Twitter und Facebook veröffentlichten. Empfängliche User wurden so systematisch mit propagandistischen Beiträgen und dreisten Lügen bombardiert (z.B. dass der Papst Trump unterstütze oder dass Hillary Clinton einem Ring von Kinderpornografen vorstehe). Es gab sogar „Hispanic bots“, die vorspiegelten, für die Mehrheit der Latinos zu sprechen und Trump zu unterstützen (wobei allseits bekannt war, dass sich die Latinos in grosser Mehrheit gegen ihn waren). All diese Massnahmen zeigten Erfolg: die ländlichen Wählerschaft (traditionell republikanische Wähler) verzeichnete signifikante Zunahmen, afroamerikanische Stimmen dagegen einen Rückgang. Und unerwarteterweise wählten ein Drittel der Latinos Trump, trotz zahlreicher öffentlichen Beschimpfungen dieser Gruppe von seiner Seite.

Dies alles ist aber erst der Anfang, so Horvitz. Wie schnell und vor allem wie leicht die Algorithmen sozialer Medien uns zu extremen Positionen bringen und die Radikalisierung junger Menschen fördert, zeigt ein Experiment des französischen Informatikers Kave Salamatian. Dieser legte zahlreiche Scheinprofile bei Facebook an und liess studentische Mitarbeiter verschiedene Nachrichten und Informationen mit harmlosen Themen mit Likes markieren. Nach drei Tagen hatten die Mitarbeiter ihren Teil zum Experiment beigetragen. Von jetzt an liess Salamatian die Accounts automatisch jeden neuen Freund akzeptieren und jeden Beitrag, der ihnen präsentiert wurde, mit „Gefällt mir“ beantworten. Das Ergebnis war so erstaunlich wie unheimlich: Nach weiteren drei Tagen hatten zehn der Accounts direkten Kontakt zum terroristischen IS, erste Recruiter meldeten sich bei den „Schützlingen“.

Auch in Bezug auf die Verwendung unserer Daten für kommerzielle oder politische Zwecke ist der Skandal um Cambridge Analytica wohl nur die Spitze eines schnell wachsenden Eisbergs. Unzählige weitere Firmen haben via Facebook Zugang zu unseren Daten. Und eine wohl noch grössere Macht als Facebook hat der Internet-Riese Google: Sollte die Firma in Zukunft beispielsweise einen bestimmten Präsidentschaftsbewerber ausbooten wollen, könnte sie kurzerhand die Algorithmen modifizieren und so seinen Nutzern nur entsprechend gefilterte Informationen zukommen lassen. Mit diesen Möglichkeiten der Einflussnahme, wie sie die grossen amerikanischen Internetfirmen besitzen und wie sie von skrupellosen Firmen wie Cambridge Analytica ausgenutzt werden, steht unsere Demokratie selbst auf dem Prüfstand. Die digitale Revolution hat längst ihr Immunsystem angegriffen und unser Ortungssystem für richtig und falsch, für wahre oder fake News durcheinandergebracht.

Die Menschen taten sich immer schon schwer, mit neuen Medien kritisch umzugehen. Wir amüsieren uns zu Tode, prophezeite bereits in den 1980er Jahren der Philosoph Neil Postman (und beschrieb damit unsere Verhältnis zum TV). Aus heutiger Sicht eine geniale Vorwegnahme der Entwicklungen – auch wenn Postman die manipulative Kraft der sozialen Medien noch nicht kannte. Und man kann noch weiter zurückgehen: Das neu entwickelte Radio war in den späten 1920er und 1930er Jahren ein wesentliches Propagandainstrument der Nazis.

Dass Algorithmen der künstlichen Intelligenz massiv auf unsere alltägliche Erfahrung, das soziale Leben und das politische Geschehen Einfluss nehmen, dämmert uns so langsam. Doch die Tragweite dieser Entwicklung haben wir noch bei weitem nicht erfasst. Längst fordern KI-Experten wie Horvitz eine entsprechende Gesetzgebung, die als „ein wichtiger Teil der rechtlichen Landschaft der Zukunft helfen soll, Freiheit, Privatsphäre und das Allgemeinwohl zu bewahren.“

Avatar-Foto

Veröffentlicht von

www.larsjaeger.ch

Jahrgang 1969 habe ich in den 1990er Jahren Physik und Philosophie an der Universität Bonn und der École Polytechnique in Paris studiert, bevor ich am Max-Planck-Institut für Physik komplexer Systeme in Dresden im Bereich theoretischer Physik promoviert und dort auch im Rahmen von Post-Doc-Studien weiter auf dem Gebiet der nichtlinearen Dynamik geforscht habe. Vorher hatte ich auch auf dem Gebiet der Quantenfeldtheorien und Teilchenphysik gearbeitet. Unterdessen lebe ich seit nahezu 20 Jahren in der Schweiz. Seit zahlreichen Jahren beschäftigte ich mich mit Grenzfragen der modernen (sowie historischen) Wissenschaften. In meinen Büchern, Blogs und Artikeln konzentriere ich mich auf die Themen Naturwissenschaft, Philosophie und Spiritualität, insbesondere auf die Geschichte der Naturwissenschaft, ihrem Verhältnis zu spirituellen Traditionen und ihrem Einfluss auf die moderne Gesellschaft. In der Vergangenheit habe ich zudem zu Investment-Themen (Alternative Investments) geschrieben. Meine beiden Bücher „Naturwissenschaft: Eine Biographie“ und „Wissenschaft und Spiritualität“ erschienen im Springer Spektrum Verlag 2015 und 2016. Meinen Blog führe ich seit 2014 auch unter www.larsjaeger.ch.

9 Kommentare

  1. Da braucht sich keiner was vor zu machen.
    Es wurde und wird immer mit allen verfügbaren Mittel gearbeitet.
    Da brauchen man sich nur die von Filmteams erstellten Videos aus dem Syrien Krieg anzusehen.
    Fake News bis zum geht nicht mehr.

  2. Nur kurz hierzu angefragt, Herr Dr. Lars Jaeger, für diese Behauptung, die sich “so gar nicht” mit dem Kenntnisstand des hiesigen Kommentators deckt (wohlgemerkt : ohne von Kommentarenseite so zum Ausdruck zu bringen politisch konservativ aufgestellt zu sein, politisch rechts zu stehen – Dr. W versteht sich als liberal, dies nur rein freundlicherweise so angemerkt), verfügen Sie sicherlich über Belege, die Sie spätestens auf Nachfrage gerne beibringen?!

    […] der ultrarechte Nazi-Sympathisant Steve Bannon […]

    MFG + schöne Woche noch,
    Dr. Webbaer

    PS:
    Mit ‘Belegen’ sind Zitate von Steve Bannon gemeint, nicht Hinweise auf ähnlich erfolgte Einschätzung anderswo.


    Der im Artikel beigebrachte Vorhalt ist zentral für die Präsidentschaft von Donald J. Trump, deshalb wäre es wirklich nett diese Aussage zu belegen oder zurückzunehmen, sich gerne bedarfsweise auch : entschuldigend.

  3. Ansonsten natürlich, von dem o.g. möglichen Tiefpunkt einmal abgesehen, gilt diese Kritik :

    Spätestens hier sollte jedem klar sein, dass diese Fähigkeiten von KI und Big Data ein gewaltiges Gefahrenpotential bergen.

    …und es gilt hier neue Methoden gesellschaftlich Rahmen zu geben, sie derart einzupflegen zu suchen.

    Bei “‘FATNAG” (für Facebook, Apple, Twitter, Netflix, Amazon, Google) würde Dr. W spgar zur Zerschlagung raten, allerdings nicht unter der Maßgabe oder nackten Vermutung, dass hier globale, globalistische Unternehmen der politischen Rechten zuarbeiten, das Gegenteil könnte der Fall sein, denn derartige Unternehmen sind aus Sicht des Schreibers dieser Zeilen Nationalstaaten abhold und neigen eben zu Globalismus, der nicht besser sein muss als strenger Nationalismus, also Gesellschaften gefährdend sein kann bis muss.

    Sog. Monopole meinend, die sich seit einiger Zeit zudem, wie einige finden, i.p. Zensur von Meinung hervortun, eigenen, so anzunehmenden, Interessen folgend.

    Cool (“unverschwitzt” – genau so ist diese Metaphorik gemeint) wäre es derartige Problematik nicht einseitig zu bearbeiten, hier exemplarisch einen Steve Bannon bemühend, auch bei Barack H. Obama handelt es sich um einen “Community Organizer”, sondern zum Nutzen aller.

    Das Web funktioniert zwar schon so, wie von einigen erhofft, Dr. Webbaer, dies nur ganz am Rande angemerkt ist seit den Anfängen der netzwerkbasierten Kommunikation dabei, deshalb auch der “Handle” oder “Nick”, allerdings scheint es ihm so, dass, seinen liberalen Sichten widersprechend, im Sinne von Kartell-Ämtern nun die Axt angelegt werden muss.

    MFG
    Dr. Webbaer (der weiter oben womöglich ein wenig streng war, es aber nicht so-o meint, wenn er Unbekömmliches anmängelt, generell schon “Old School” ist)

    • *
      würde Dr. W s[o]gar

      **
      Dr. Webbaer, dies nur ganz am Rande angemerkt[,] ist seit den Anfängen der netzwerkbasierten Kommunikation dabei

  4. Rettet die Demokratie!
    So gut der Artikel recherchiert sein mag, so einfach ließen sich die Aussagen durch Trollkommentare torpedieren.

    Nicht zuletzt aufgrund der Möglichkeit, künstliche Identitäten zu schaffen, können Autoren sich verstecken.
    Es wird Zeit, dass die Macht der Masse auch in die andere Richtung funktioniert.

    Man benötigt dafür die Möglichkeit, Kommentatoren und ihre Kritiker eindeutig zu identifizieren. Auf diese Art könnten Unwahrheiten auf die Verfasser zurückgespiegelt werden. Wie wäre es mit einem Register für Ratings von Autoren und deren Beiträgen? So Kategorien wie “Von Lesern bestätigte Glaubhaftigkeit” wären etwas, was mich bei Beiträgen interessiert. Die entsprechende Autorenkategorie ist dann die durchschnittliche Bewertung ihrer Beiträge.

    Auf die Art wäre es möglich, Verfasser von Fake-Meldungen zu identifizieren.
    Auch jeder der Beurteilungen abgibt, nimmt an diesem Teilnehmerkreis teil. Dessen Ruf zählt auch und sollte sich z.B. durch Bewertungen für seine Kommentare ergeben. So könnte die Glaubhaftigkeit eines Beitrags auch nachträglich leiden.

    Kommentar, Autor und Kritiker wären so miteinander verbunden.

    Mit freundlichen Grüßen
    Andreas Grund

    • Nicht zuletzt aufgrund der Möglichkeit, künstliche Identitäten zu schaffen, können Autoren sich verstecken.
      Es wird Zeit, dass die Macht der Masse auch in die andere Richtung funktioniert.

      Man benötigt dafür die Möglichkeit, Kommentatoren und ihre Kritiker eindeutig zu identifizieren.

      Pseudonyme gibt es schon ein wenig länger als das Web [1] und ob eine Identitätskontrolle, die im Web abär nur schwierig zu realisieren wäre, ‘die Demokratie retten’ oder gefährden würde?

      ‘Die Macht der Masse’ ‘in die andere Richtung’, ja, so etwas gab es schon mal, war lange Zeit auch Standard, bis die Aufklärung kam und sich sukzessive durchgesetzt hat, nicht überall, korrekt.

      MFG + vielen Dank für Ihr Statement,
      Dr. Webbaer (der nichts Besonderes gegen Kommentatoren-Ratings hätte, auch wenn sie wohl nicht so-o gut leisten könnten, wie sich dies einige erwarten, denn der Gegenredner, zumindest der weniger populäre, könnte so kaum auf gute Ratings hoffen – Meinung sollte weniger durch die Menge bestimmt, sondern zugelassen werden, fast egal, wie blöde)

      [1]
      Im Web ist es üblich und zulässig mit Klarnamen oder Real-Life-Name beizutragen oder eben mit Pseudonym (das aber nicht gewechselt werden sollte, gar wild und bedarfsweise, sog. Sockenpuppen meinend).

  5. Die ganze Diskussion geht von einem falschen Modell aus. Unterstellt wird, dunkle Mächte könnten und würden Individuen manipulieren und diese gelinge um so besser, je mehr man über diese Individuen wissen. Dieses Modell ergibt wenig Sinn.

    Individuen wählen bereits ohne Nachhilfe aus den verfügbaren Informationen diejenigen aus, die zu ihrem Weltbild passen (https://de.wikipedia.org/wiki/Best%C3%A4tigungsfehler). Es gibt also keinen Grund, Kampagnen aufwändig an individuelle Ansichten und Vorlieben anzupassen, sondern man muss lediglich alle maßgeblichen Zielgruppen ansprechen.

    Dass man dennoch in jeder Werbung, ob politisch oder nicht, eine Optimierung durch Targeting versucht, hat vor allem ökonomische Hintergründe. Ein Werbekontakt, der von vornherein keine Erfolgschance hat, weil das Ziel am Inhalt kein Interesse hat, ist rausgeworfenes Geld. Man wird deshalb versuchen, absehbar überflüssige Werbekontakte zu vermeiden.

    Absehbar überflüssig ist statistisch gesehen alle Werbung – die Reaktionsraten bleiben, Optimierung hin oder her, verschwindend gering. Das dürfte ähnlich auch für Beeinflussungsversuche gelten, die im Gewand von Nachrichten oder Gerüchten daherkommen. Test: Wer von Euch ist so leichtgläubig, dass er sich von plumpen Fake News beeinflussen ließe?

    Das Internet erlaubt unter diesen Umständen einen neuen Optimierungsansatz. Man kann hier mit geringen Kosten nahezu alle ansprechen – und aus den Reaktionen in Form von Klicks ersehen, wer für welche Ansprache anfällig ist. Cormac Herley hat sich unter dem Gesichtspunkt der IT-Sicherheit mit solchen Ansätzen beschäftigt und unter anderem dieses Paper veröffentlicht: „Why do Nigerian Scammers Say They are from Nigeria?“ (http://www.econinfosec.org/archive/weis2012/papers/Herley_WEIS2012.pdf). Darin beschreibt er am Beispiel der Betrugsmasche der Nigeria Connection genau diesen interaktiven Ansatz. Die Betrüger streuen breit ihre absurde Geschichte von den Millionen, die man außer Landes bringen wolle, und beschäftigen sich dann einzeln mit den wenigen Trotteln, die blöd genug sind, darauf einzugehen.

    Mit einer ähnlichen Methode kann man Werbung gezielter verbreiten und ihre Erfolgsraten – im Rahmen der bescheidenen Möglichkeiten – optimieren. Dazu muss man lediglich messen, welche Werbung in welchem Kontext (Website, Inhalt, Nutzergruppe, Uhrzeit usw.) wie oft angeklickt wird, und die Auswahlkriterien darauf optimieren. Werbenetze tun so etwas, optimieren aber nicht stur die Klickrate, sondern ihre Einnahmen. Dabei müssen sie gar nicht besonders persönlich werden. Die automatisierte Optimierung lohnt sich bereits, wenn wir zum Beispiel auf ausländischen Websites trotzdem heimische Werbung sehen.

    Ökonomisch nicht plausibel ist demgegenüber die Vorstellung, man könne ohne weiteres zwei Elemente kombinieren: die Skalierbarkeit einer Massenansprache mit sehr geringen Kosten pro Einzelfall und die individuelle Beeinflussung nach ausgefeilten Kriterien. Unabhängig davon, welche Daten ein Laden wie Cambridge Analytica über Menschen hat, kann er nicht zu geringen Kosten Millionen individuell zugeschnittener Botschaften entwerfen. Andererseits braucht man die ganzen schönen Daten überhaupt nicht, wo man Reaktionen messen kann. Deswegen ist die Erzählung von der Massenmanipulation ökonomischer Blödsinn.

    Eine Wirkung auf die Demokratie finden wir in diesem Zusammenhang an anderer Stelle. Die Online-Werbung ist einer der Nägel im Sarg der herkömmlichen Medien und vor allem der Presse. Deswegen sind die Verleger so schlecht auf Werbefirmen wie Google und Facebook zu sprechen. Aber das ist eine andere Diskussion.

  6. Wie jetzt? Ich dachte der Superverschwörer Putin hat die Wahlen manipuliert? Kontrolliert Putin denn jetzt auch Cambridge Analytica?

  7. @Sven Türpe

    »Absehbar überflüssig ist statistisch gesehen alle Werbung…«

    Das sieht man in den Chefetagen von BMW und Daimler, um nur mal zwei zu nennen, ganz anders. Warum wohl?

Schreibe einen Kommentar


E-Mail-Benachrichtigung bei weiteren Kommentaren.
-- Auch möglich: Abo ohne Kommentar. +