Kulturelle Signifikanz

Vor ein paar Wochen machte eine Studie die Runde, in der festgestellt wurde, dass

A film’s popularity depends on how many references are made to it in future movies, according to new study

wie die britische Zeitung The Independent titelte. Soso, die Popularität eines Films hängt also davon ab, wie oft er von anderen Filmemachern referenziert wird. Das ist nicht ganz der Zirkelschluss, den der gewitzte Leser sofort erkennt, denn die Studie beschränkt sich tatsächlich auf die Popularität bei Filmemachern.

Nicht Kritiker, deren Kritiken und Bestenlisten, nicht der Erfolg bei Zuschauern sei wesentlich dafür, wie wichtig ein Film für die Kultur sei, sondern ausschliesslich, wie sehr Elemente eines Films später aufgegriffen werden.

Dafür entwickelten die Studienmacher eine automatisierte Methode, die Filme auf eben diese Auswirkungen hin untersuchten. Mitmachen durften nur Filme, deren Erstaufführung mindestens 25 Jahre zurücklag. Das macht Sinn, schliesslich können wir davon ausgehen, dass in bestimmten Bereichen, die zum Vergleich heran gezogen werden – Kartenumsätze, aktuelle Kritiken –, eine Häufung rund um die Veröffentlichung eines Films zu finden ist. eine typische Situation, die langfristig haltbare Aussagen verfälscht.1

Kunstklinik im ehemaligen Klinikum Bethanien in Hamburg-Eppendorf

Allerdings hat das auch einen Nachteil. Journalisten benutzen im Zusammenhang mit der Studie z.B. das Wort ‘prediction’. Nun ist es ziemlich einfach, die Signifikanz eines alten Werkes vorherzusagen, wenn diese bereits eingetreten ist. Stellen Sie sich vor, 2002 wäre jemand auf die Idee gekommen, eine Titelstory darüber zu machen, dass Star Wars ein soziokulturell wichtiger Film werden dürfte.

Es gibt aber ein grösseres Problem, dass bereits in der Studie selbst steckt: Was ist denn das Testkriterium der Forscher?

“Directors keep coming back to movies that are significant. If you show a little bit of ‘Psycho’, such as referencing the shower scene, you are putting that whole movie in front of the viewer of the new movie,” Professor Amaral said.2

Das ist ohne Frage richtig, galt auch vor der Erfindung des Films schon. Es ist so richtig, dass es trivial ist: Werke, die oft direkt oder indirekt zitiert werden, werden oft direkt oder indirekt zitiert, sind also populär.

Aber sagt das auch etwas Interessantes aus? Zitieren wir noch einmal Steve Connor:

An analysis of nearly 15,500 films found that it was possible to predict which ones would be considered among the greatest ever made by looking at how often its themes, images or overall message are picked up by other directors many years later. 3

Ob ein Film gut ist, gar ‘great’, hängt allerdings nicht daran, wie oft er in anderen Filmen aufgegriffen wird. Andrew Wakefields lächerliche Studienfälschung, die Autismus als Ergebnis von Masernimpfungen proklamierte, wird nicht besser, weil sie oft zitiert wird. Sie wird von anderen aufgegriffen, um die Ergebnisse erst zu replizieren und dann zu zeigen, warum das nicht möglich ist.

Der erste Satz von Bulwer-Lyttons Paul Clifford

It was a dark and stormy night; the rain fell in torrents — except at occasional intervals, when it was checked by a violent gust of wind which swept up the streets (for it is in London that our scene lies), rattling along the housetops, and fiercely agitating the scanty flame of the lamps that struggled against the darkness.

ist nicht gerade für seine ‘greatness’ bekannt und oft zitiert.4

Selbstverständlich ist es schön, wenn Mathematiker und Physiker neue Algorithmen zur Verarbeitung grosser, komplexer Datenmengen an Filmen oder Belletristik testen. Nur, vorhersagen können sie damit nichts. Sie lassen Computer Verbindungen zählen. Das war’s. Wieder kein Ersatz für Literaturwissenschaftler und Kritiker durch Computer.

Notes:
1. Für jene, deren Einführung in die Statistik schon länger zurück liegt, ein fast aktuelles Beispiel aus der Politik: Die gesellschaftliche Signifikanz der Schill-Partei würde erheblich überschätzt werden, wenn wir uns auf die Berichterstattung rund um ihren einen Wahlerfolg stützten.
2. aus: Steve Connor, ‘A film’s popularity depends on how many references are made to it in future movies, according to new study’.

The Independent. 2015. Accessed February 1 2015.

3. aus: Steve Connor, ‘A film’s popularity depends on how many references are made to it in future movies, according to new study’.

The Independent. 2015. Accessed February 1 2015. Hervorhebung von mir.

4. Sie brauchen ein Beispiel aus der Filmwelt? Erinnern Sie sich an die Szene mit dem blauen Licht in Rambo 3.

Nach dem Abitur habe ich an der Universität Hamburg Anglistik, Amerikanistik, Soziologie und Philosophie studiert. Den Magister Artium machte ich 1992/93, danach arbeitete ich an meiner Promotion, die ich aus verschiedenen Gründen aufsteckte. Ich beschäftige mich meist mit drei Aspekten der Literatur: - soziologisch [Was erzählt uns der Text über die Gesellschaft] - technisch [Wie funktioniert so ein Text eigentlich] - praktisch [Wie bringen wir Bedeutung zum Leser] Aber auch theoretische Themen liegen mir nicht fern, z.B. die Frage, inwieweit literarische Texte außerhalb von Literatur- und Kunstgeschichte verständlich sein müssen. Oder simpler: Für wen schreiben Autoren eigentlich?

7 Kommentare Schreibe einen Kommentar

  1. Äh – wenn ich das recht verstehe, ist diese Untersuchung eine Paraphrase auf die (tautologische) Spruchweisheit: „Nichts ist erfolgreicher als der Erfolg.“

  2. Selbstreferentialität und Zitate sind ein Merkmal der Kunst überhaupt. Es gibt sie schon bei Bildern der alten Meister wo der Künstler direkt oder versteckt im Bild auftaucht (z.B: van Eyck: die Arnolfini-Heirat wo der Künstler in einem gebogenen Spiegel (im Mittelalter Hexe genannt) sichtbar wird). Es gibt natürlich auch einen Motivkanon in fast jeder Kunst. Dieser Motivkanon, den nicht nur jeder Künstler kennt sondern den eben auch die meisten Kunstrezipienten kennen, ist etwas was ein Künstler in mehrfacher Hinsicht ausnutzen und selbst einsetzen kann. Einerseits als Zitat, andererseits als Anlass zu einer Neuinterpretation, einer Zuspitzung oder gar einer Umkehrung der Bedeutung.

    Es verwundert deshalb nicht, dass Zitate (Referenzen) und auch Selbstreferentialität im Kino besonders häufig vorkommen. Denn Filme erreichen die breite Masse, so dass bei einem Zitat mit hohen Wiedererkennungswerten zu rechnen ist. Referenziert wird sicher nur, was wirkt. Und der Erfolg eines Filmes wird selbst bei ambitionierten Filmen weit stärker an der Wirkung gemessen als es bei anderen Kunstgattungen der Fall ist. Filme, die von späteren Filmmachern zitiert werden, haben eben mindestens auf die Filmmacher gewirkt.

    Im Kino wurde das aber auf die Spitze getrieben. Eine Referenz auf ein anderes Werk

  3. Die Idee scheint jedenfalls nicht schlecht, auch wenn wohl, wie auch im Artikel erklärt und kritisiert, ein wenig vollmundig (‚A film’s popularity depends on how many references are made to it in future movies, according to new study.‘) vorgetragen worden ist.

    Die ‚automatisierte Methode‘ wäre von Interesse. Also wie diese funktioniert, Algorithmen der Informationstechnologie müssen nicht in der Lage sein Filme wie beschrieben zu analysieren.

    Interessant vielleicht ebenfalls im Vergleich, wie bspw. Rotten Tomatoes, per Handarbeit, Filme und Kundenzufriedenheit (diese ex post und mit Hilfe eines RT-Rating-Systems feststellen zu versuchend) zu messen sucht.

    MFG
    Dr. W

  4. Filmzitate können genial sein ,einfach so , weils Spaß macht , kuklturelle Relevanz mit Zitaten quantifizieren , das erinnert an diese Spackos , die vor irgendwelchen Bildern stehen und interpretieren , was sich der Künstler wohl gedacht habe , während dem Künstler selber einfach nur im Suff der Pinsel ausgerutscht war und er danach zu faul war , das Ergebnis zu korrigieren.

  5. Ich finde diese Auseinandersetzung mit der Arbeit etwas oberflächlich, weil sie kaum auf die tatsächlichen Stärken und Schwächen (die es durchaus gibt) der Methode eingeht. Dafür hätte man auch die Original-Arbeit lesen müssen, statt nur einen Bericht in der Tagespresse, dessen Autor anscheinend auch nicht die Studie selbst gelesen hat, sondern sich nur auf die (notwendigerweise verkürzenden) Aussagen des Studienleiters in einem Interview oder einer Pressemitteilung bezieht. Andernfalls hätte Steve Connor kaum geschrieben „… analysed the 15,425 American-produced films listed in the Internet Movie Database“, denn in der IMDb gibt es ca. 20 Mal so viele amerikanische Kinofilme, und die gut 15.000 sind das Ergebnis eines Auswahlprozesses, der im ersten Artikel der Autoren (ja, es gibt zwei davon) ausführlich erläutert und im zweiten Artikel noch mal kurz zusammengefasst wird. Nebenbei waren in der National Film Registry zum Zeitpunkt der Untersuchung zwar 625 Filme versammelt, aber am 19. Januar, als der Artikel im Independent erschien, waren es seit einem guten Monat schon 650, was Connor auch entgangen ist. Es führt auch nicht weiter, aus Connors Artikel eine Formulierung wie „the greatest [films] ever made“ herauszupicken und noch durch Fettschrift hervorzuheben, denn in der Studie selbst steht das gar nicht. Die Autoren diskutieren kurz, was (ihrer Meinung nach) unter kultureller Signifikanz eines kreativen Werks zu verstehen sei, und das kreist um die Begriffe „impact“ und „influence“, während „greatness“ dabei keine herausgehobene Rolle spielt.

    Ich habe hier in einem Blog-Artikel über die Studie berichtet. Darin wird auch die Frage von Dr. Webbaer beantwortet, woher die Autoren ihre Daten hatten, und der von Helmut Wicht erhobene Tautologie-Verdacht wird (hoffentlich) entkräftet. Ein paar von mir selbst automatisiert erzeugte Filmlisten gibt es da auch, die freilich nur begrenzte Aussagekraft haben.

    Um aber noch einen Punkt gleich hier zu beantworten: Was ist denn das Testkriterium der Forscher? Das wird eigentlich auch im Independent beantwortet, wenn auch vielleicht nicht mit der nötigen Deutlichkeit. Als a priori festgelegtes Kriterium dient die Liste der (damals 625) Filme in der National Film Registry der Library of Congress. Und dann wird eben verglichen, wie gut verschiedene Verfahren diese Liste reproduzieren können. Da wird ein einzelner professioneller Kritiker (nämlich Roger Ebert) herangezogen, eine Website (nämlich Metacritic), die verschiedene Quellen abfragt und daraus Durchschnittswerte bildet, die „Schwarmintelligenz“ der IMDb-Hobbyrezensenten, und schließlich auch einige Varianten der automatisierten Erhebung von Filmzitaten. Und siehe da, während Roger Ebert am schlechtesten abschneidet, erzielt eines der automatischen Verfahren, nämlich der „long-gap citation count“, das beste Ergebnis. Das ist ein durchaus empirisches Ergebnis – etwas, das man noch nicht gewusst hat und vielleicht auch nicht erraten hätte -, und nicht nur eine statistisch verschwurbelte Version von „nichts ist erfolgreicher als der Erfolg“.

    Dass man auch weiterhin Literaturwissenschaftler und Kritiker haben sollte, unterschreibe ich gern. Aber deren Abschaffung haben auch die Autoren der Studie nicht gefordert.

    • Sie haben Recht, mein Beitrag stützt sich auf Artikel der allgemeinen Presse, nicht auf die Studie selbst. Das hätte ich noch deutlicher machen sollen.

      Ich zweifle nicht daran, dass die Macher der Studie ihr statistisches Handwerk beherrschen. Ich zweifle an Prämissen, Vorhersagekraft und Begrifflichkeit. So ist es nicht Connor, der von zuerst von ’significance‘ spricht, das tun die Studienautoren. Sie nehmen dann eine Liste, für die sie ein statistisches Modell entwerfen, dass diese Liste reproduzieren soll. Vielleicht übersehe ich etwas ganz Wesentliches, aber mehr als ein proof of concept kommt dabei nicht raus – ein Beweis für ein funktionierendes Datenbankabfragemodell.

      Zu meinen grundsätzlichen Kritikpunkte sowohl an der Rezeption durch Journalisten [den Studienautoren unterstelle ich nicht, etwas über ‚prediction‘ zu sagen], aber auch der Studienprämisse sowie einigen Annahmen selbst, stehe ich.

      PS: Roger Eberts Sternemodell heranzuziehen, weil es konsistent sei, ist durchaus problematisch, weil er es – wie er immer wieder erläuterte – eben nicht konsistent einsetzte. Er mochte es nie, nutzte es nur, weil manche Menschen lieber absolut erscheinende Wertungssysteme sehen als fünf Absätze Kritik lesen. Es kam durchaus häufiger vor, dass Leser sich beschwerten, die Sternebewertung würde nicht zu seinem Text passen.

      • Was Sie vielleicht nicht übersehen haben, aber meiner Meinung nach auch nicht ausreichend berücksichtigen, ist die Tatsache, dass das eine Verfahren, das schließlich „gewonnen“ hat und über das dann auch die Tagespresse berichtete, nicht von vorherein „diese Liste reproduzieren soll[te]“, wie Sie schreiben, sondern dass sich dieses Verfahren erst im Lauf der durchaus „ergebnisoffenen“ Forschungsarbeiten ergeben hat. Nicht umsonst haben die Autoren ja schon im Mai 2014 ihren ersten Artikel veröffentlicht, in dem von diesem Verfahren und von einem wie auch immer gearteten Test zur Ermittlung kulturell signifikanter Filme noch gar nicht die Rede ist. Und im zweiten Artikel vom letzten Dezember traten dann erst mal eine einfache Variante der Methode mit den Filmzitaten (der „total citation count“) und ein anderes automatisches Verfahren (ein PageRank-Algorithmus ähnlich dem, den Google verwendet) gegen Ebert, Metacritic und die IMDb-User-Votings an. Die Autoren haben sich also keineswegs frühzeitig auf ein bestimmtes Modell festgelegt, das dann gewinnen sollte. Und die Modifikation, nur Zitate mit einer zeitlichen Lücke von mindestens 25 Jahren zuzulassen, also den „total citation count“ durch den „long-gap citation count“ zu ersetzen, ergab sich erst aufgrund weiterer statistischer Betrachtungen. Und erst dieses Modell hat dann „gewonnen“, während die beiden zuvor betrachteten automatischen Methoden nur ungefähr so gut wie Metacritic waren.

        Mir ist nicht ganz klar, ob sie die Wahl der National Film Registry als Bewertungsmaßstab kritisieren, oder die Wahl irgendeiner Vergleichsliste schlechthin. Aber irgendeinen Maßstab braucht man für so einen Vergleich nun mal, und ich wüsste, auf die USA bezogen, keine dafür brauchbarere Liste als die NFR, auch wenn mir darin der eine oder andere Film (vor allem aus dem Avantgarde-Sektor) fehlt (aber es kommen ja auch jedes Jahr neue Filme hinzu). Man sollte vielleicht ausdrücklich erwähnen, dass der Vergleich der automatischen mit den anderen Methoden nicht nur zierendes Beiwerk ist, sondern im Zentrum der Studie steht, weshalb das ja auch im Titel steht („Cross-evaluation of metrics …“). Natürlich darf man die Vergleichsliste nicht im nachhinein wählen, damit dann „das Ergebnis stimmt“, sondern muss es im vorhinein tun, und das haben die Autoren ja gemacht.

        Was Ebert betrifft: Ich gebe gerne zu, dass so ein System mit Sternen oder Punkten nicht wirklich streng konsistent sein kann, vor allem, wenn man es so lange wie Ebert betreibt. Dass Ebert selbst es nicht mochte, glaube ich gerne. Aber wahrscheinlich war Ebert noch das beste, was man in dieser Hinsicht finden konnte. Wenn die Autoren überhaupt keinen einzelnen professionellen Kritiker in den Vergleich einbezogen hätten, hätte man ihnen das womöglich auch vorgeworfen.

        Ihre Kritik an der Rezeption durch die Presse wollte ich überhaupt nicht in Frage stellen. Es tut mir leid, wenn das so rübergekommen ist.

Schreibe einen Kommentar




Bitte ausrechnen und die Zahl (Ziffern) eingeben