Die Größe der Wissenschaft

MENSCHEN-BILDER

Wie misst man die individuelle Leistung eines Wissenschaftlers? In den letzten Jahren wird hier verstärkt von eine Größe gebrauch gemacht, die man als Impact Factor bezeichnet. Ihr Einfluss setzt sich bis zur Besetzung von Lehrstühlen fort.

Hinter dem Impact Factor verbirgt sich ein Zahlenwert, den das US-amerikanische Privatunternehmen Thomson Reuters für mehr als 9.000 Fachzeitschriften berechnet. Maßgeblich ist dafür die Anzahl der Zitationen einer Zeitschrift binnen der letzten zwei Jahre geteilt durch die Anzahl der darin veröffentlichten Artikel im selben Zeitraum. Anders formuliert ist der Impact Factor also die durchschnittliche Anzahl, wie oft einer ihrer Artikel innerhalb der letzten zwei Jahre zitiert wurde. Das entsprechende Qualitätskriterium scheint also zu sein, dass diejenigen Wissenschaftler, die in den am häufigsten zitierten Zeitschriften veröffentlichen, auch die besten sind.

Der Impact Factor bedeutet: So oft wurde in den letzten zwei Jahren ein Artikel dieser Zeitschrift durchschnittlich zitiert.

Was ist daran verkehrt? Ein Problem, auf das der Max-Planck-Direktor Kai Simons kürzlich in einem Editorial in Science hinwies, ist die Manipulierbarkeit dieser Größe. Beispielsweise würden in diesen Zahlenwert nicht nur Forschungsartikel einfließen, sondern auch Überblicksartikel (Reviews). Nun würden solche Überblicksartikel, die keine eigenen neuen wissenschaftlichen Daten vorstellen, sondern die bekannten Daten unter einem bestimmten Gesichtspunkt diskutieren, häufiger zitiert als die eigentlichen Studien. Das heißt, eine Zeitschrift kann ihren Impact Factor erhöhen, indem sie die Anzahl der Reviews erhöht. Ein erfolgreicher Hirnforscher hat mir einmal gesagt, er würde so viele Einladungen zu Überblicksartikeln erhalten, dass er seine eigentliche Forschungsarbeit an den Nagel hängen könne, wenn er sie alle annähme.

Ein weiteres Problem ist nach Simons, dass Zitationen für Artikel, die zurückgezogen werden mussten oder auch solche, deren Ergebnisse von anderen Studien längst widerlegt wurden, weiterhin zur Berechnung des Impact Factors verwendet würden. Auf die Spitze getrieben könnte man sich eine Überblicksarbeit vorstellen, die so hanebüchene Thesen aufstellt, dass ihr jeder Wissenschaftler widerspricht – das wäre ein Glücksfall für die Zeitschrift, in der er erschienen ist, würde aber keinesfalls für ihre Qualität sprechen; ganz im Gegenteil.

Mich selbst hat es mehr als einmal überrascht, wie wenig manche Wissenschaftler, die großen Wert auf ihren Impact legen, wirklich über diese Größe wissen. Beispielsweise wollte mir ein ausgewiesener Senior-Wissenschaftler partout nicht glauben, dass zur Berechnung auch diejenigen Zitationen gezählt werden, die innerhalb einer Zeitschrift getätigt werden. Das heißt, eine Zeitschrift, in der besonders viele ihrer eigenen Artikel zitiert werden, hat auch einen höheren Impact Factor. Tatsächlich gibt es Zeitschriften, die als Kriterium für eine Veröffentlichung vorschreiben, dass man mindestens einen ihrer früheren Artikel zitiert; in anderen werden die begutachtenden Wissenschaftler dazu angehalten, die Annahme eines Artikels davon abhängig zu machen, ob er binnen einer bestimmten Frist mindestens einige Male zitiert werde. Man muss nicht lange überlegen, um sich die Motive hinter diesen Vorgaben zu erschließen.

Damit entscheidet ein rein quantitatives Aufmerksamkeitskriterium, das von einem US-amerikanischen Privatunternehmen berechnet wird, über die qualitative Bewertung der Wissenschaftler – eine Art Einschaltquote der wissenschaftlichen Gemeinschaft. Man verwendet eine Größe, die sich leicht berechnen lässt und frei verfügbar ist. Tatsächlich höre ich immer häufiger, dass auch bei der Besetzung universitärer Lehrstühle hierzulande immer mehr Gebrauch vom Impact Factor gemacht werde, um sich ein Bild von der Eignung eines Bewerbers zu machen. „Hip“ ist, wer in Zeitschriften publiziert, die „in“ sind. Absurderweise schwankt die Qualität eines Wissenschaftlers dann im Laufe der Zeit mit den Moden der wissenschaftlichen Gemeinschaft – hat ein Wissenschaftler beispielsweise früher in einer Zeitschrift publiziert, die neuerdings von vielen zitiert wird, steht seine Arbeit plötzlich einem besseren Licht dar. Umgekehrt kann die Reputation wieder verloren gehen, wenn sich die Aufmerksamkeit auf andere Zeitschriften verschiebt. Publikationen in Medien, die nicht von Thomson Reuters Datenbank erfasst werden, bleiben außen vor.

Ein Folgeproblem, auf das Kai Simons hinweist, ist die Strategie beim Publizieren, die zu Lasten der gesamten Gemeinschaft gehe. So würden viele Wissenschaftler ihre Arbeiten zunächst nicht bei den Zeitschriften zur Publikation einreichen, die thematisch am besten passten, sondern die höchsten Impact Factors hätten. Erhalte man dort eine Ablehnung, würde man es eine Stufe tiefer erneut probieren, bis es schließlich klappe. Damit würde der Aufwand im Peer-Review-Verfahren, in dem Wissenschaftler die Arbeit ihrer Kollegen bewerten, vervielfacht. Der Impact Factor ist damit tatsächlich Sand im Getriebe einer produktiveren Wissenschaft. Simons schließt sein Editorial daher mit einem Appell:

Solange Verlage, Wissenschaftler und Institutionen keine ernsthaften Bemühungen unternehmen, die Art und Weise zu verändern, wie der Beitrag jedes einzelnen Wissenschaftlers bestimmt wird, wird die wissenschaftliche Gemeinschaft dazu verdammt sein, nach dem zahlenmäßig getriebenen Motto zu leben: Du überlebst durch deinen Impact Factor. (Kai Simons; dt. Übers. S.S.)

Simons, K. (2008). The Misused Impact Factor (Editorial). Science 322, 165.

Stephan Schleim

Veröffentlicht von

www.schleim.info

Die Diskussionen hier sind frei und werden nicht moderiert. Gehen Sie respektvoll miteinander um, orientieren Sie sich am Thema der Blogbeiträge und vermeiden Sie Wiederholungen. Beim Gedankenaustausch darf es auch mal heiß hergehen, jedoch nicht beleidigend werden, vor allem nie unter die Gürtellinie gehen. Stephan Schleim ist studierter Philosoph, Psychologe und promovierter Kognitionswissenschaftler. Seit 2009 ist er an der Universität Groningen in den Niederlanden, zurzeit als Assoziierter Professor für Theorie und Geschichte der Psychologie. Der Autor schreibt auch für zahlreiche andere Medien.

1 Kommentar

  1. Das ist schon fast eine sozialisti.., pardon soziologische Kritik an universitärer Qualifikationsproduktion. Zur Ausschmückung der historischen Perspektive und der erkenntnistheoretischen Problematik lasse ich Humboldt aus und verweise auf Erving Goffman:

    Ich habe kein Allheilmittel gegen die Krankheiten der Soziologie. Viele Formen der Kurzsichtigkeit behindern den Blick auf unseren Gegenstand. Nur eine Quelle dieser Blindheit und Voreingenommenheit als die wichtigste zu bezeichnen, wäre auf übertriebene Weise optimistisch. Was immer unser Gegenstand und wie immer unsere methodische Ausrichtung sein mag, alles, was wir tun können, ist, wie ich meine, an einen Geist zu glauben, wie er in den Naturwissenschaften vorherrscht: im Kreis gehen und uns dabei ernsthaft vormachen, daß wir vorwärts kommen. Uns wird nicht so viel Glauben geschenkt und nicht so viel Gewicht beigemessen wie den Ökonomen in jüngster Zeit, aber wir können es fast mit ihnen aufnehmen, wenn es um das Versagen präzise berechneter Prognosen geht. Zweifellos sind unsere systematischen Theorien Stück für Stück mindestens genauso banal wie ihre, und uns gelingt es fast so gut wie ihnen, viele wichtige Variablen zu übersehen. Wir sind auch nicht so geistreich wie die Anthropologen, doch wenigstens ist unser Gegenstand nicht von der Verbreitung der Weltwirtschaft ausradiert worden. So ist uns die Möglichkeit unbenommen, die bedeutsamen Tatsachen mit unseren ureigensten Augen zu übersehen. Wir ziehen keine Studenten an, die so begabt sind wie die der Psychologie, und die scheinen bestenfalls eine professionellere und gründlichere Ausbildung als die zu bekommen, die wir anbieten. Auf diese Weise haben wir es noch nicht geschafft, bei unseren Studenten ein so hohes Niveau geschulter Inkompetenz zu erzeugen, das die Psychologie bei ihren erreicht hat – obwohl wir, weiß Gott, daran arbeiten.“ [Auszug aus der Ansprache des Präsidenten der American Sociological Association (ASA )im Jahre 1982]

    Erving Goffman (1982). Die Interaktionsordnung. S. 50-104 in: Erving Goffman: Interaktion und Geschlecht. Hg: Hubert Knoblauch. Campus, S. 54 f.

Schreibe einen Kommentar