Ein Impact Faktor ist nicht genug

BLOG: Quantensprung

Versuch einer Aufklärung
Quantensprung

Derzeit erleben wir einen regelrechten Boom der Bewertung wissenschaftlicher Publikationen mithilfe diverser neuer Werkzeuge. Jüngstes Beispiel, das mir in der Runde aufgefallen ist, ist die Seite Total Impact.  Ebenso wie die bereits vorgestellte Sciencecard von Martin Fenner und das openSNP-Projekt von Philipp Bayer und Bastian Greshake haben sich hier einige Forscher im Zuge des Mendeley/PLoS Binary Battles zusammengetan und mit den Möglichkeiten der beiden Plattformen PLoS und Mendeley sowie eben auch anderer gespielt.

Mithilfe von Total-Impact soll auf einfache und schnelle Art und Weise der Impact einzelner Forschungsergebnisse auf großer Bandbreite angezeigt werden. Jenseits der üblichen Parameter wie Zitaten in anderen Publikationen werden hier viele weitere (Downloads, Lesezeichen, Blogbeiträge etc.) berücksichtigt. Der Journal Impact Factor aber bleibt explizit außen vor.

Dafür zieht Total Impact Daten aus folgenden Online-Formaten heran:

–    der DOI-Plattform Crossref,
–    der Medizinischen Literaturzentrale PubMed,
–    den Metriken von PLoS,
–    der Literaturdatenbank Mendeley,
–    dem Portal für Präsentationen Slideshare,
–    der internationalen Bibliothek angewandter Biowissenschaften Dryad,
–    dem Social Bookmarking Service für wissenschaftliche Publikationen CiteULike,
–    dem Bookmarker der anderen Natur Delicious,
–    der Wikipedia,
–    der Social Media Suche Seite Topsy,
–    der Blogaggreagation Researchblogging,
–    den Plattformen für Software-Entwickler GitHub und SourceForge,
und   sogar nach Facebook likes und shares wird gefahndet.

So soll ein umfassendes Gesamtbild entstehen.

Doch sehen, wenn einzelne Forscher ihre Publikationen auf total-impact durch die Auswertung schicken, die Ergebnisse eher spielerisch aus, wie dieses Beispiel von Heather Piwowar, einer der Initiatorinnen von Total Impact, zeigt. 

Total Impact Heather Piwowar jpg

Viele Details. Eine wirklich lange Liste. Doch wo steckt die Aussage?
Zu was das Ganze letztlich wirklich genau gut ist, scheinen die Macher bis dato selbst noch nicht so recht zu wissen. Sehr sympatisch antworten sie auf die Frage „What do these numbers actually mean?“ mit „The short answer is: probably something useful, but we’re not sure what.“

Sie verweisen primär auf Forscher und Forschungsgruppen, die wissen wollen, wie oft welche ihrer Arbeiten runtergeladen, als Lesezeichen vermerkt und über welche gebloggt wurde.  Und sie ordnen ihr Projekt natürlich in den Gesamtrahmen der Altmetrics ein, sprich total impact ist ein Versuch, möglichst viel aus der Datenwelt zu wissenschaftlichen Publikationen zu erfassen und je besser die Macher ihr Tool weiter aufsetzen, mit Algorithmen genauer arbeiten etc., desto aussagekräftiger kann dies alles werden. Doch noch, und darauf weisen sie in ihrem About mehrfach hin, noch darf man ihre Daten nicht wirklich ernst nehmen. 

Wird man das jemals dürfen? Ich hoffe, dass die vermeintliche Macht im Sinne der analytischen Aussagekraft der Daten, nicht die individuelle und fachkundige Bewertung wissenschaftlicher Arbeiten verdrängt. Gleichzeitig sind die vielen unterschiedlichen Projekte (altmetric, citedin, Microsoft Academic Search, PLoS altmetrics, ReaderMeter, ScienceCard, SciVAl), die auf eine immer breitere Datenbasis und -auswertung setzen, sehr interessant und es bleibt spannend, welche sich etablieren. 

 

Beatrice Lugger

Veröffentlicht von

Beatrice Lugger ist Diplom-Chemikerin mit Schwerpunkt Ökologische Chemie. Neugierde und die Freude daran, Wissen zu vermitteln, machten aus ihr eine Wissenschaftsjournalistin. Sie absolvierte Praktika bei der ,Süddeutschen Zeitung' und ,Natur', volontierte bei der ,Politischen Ökologie' und blieb dort ein paar Jahre als Redakteurin. Seither ist sie freie Wissenschaftsjournalistin und schreibt für diverse deutsche Medien. Sie war am Aufbau von netdoktor.de beteiligt, hat die deutschen ScienceBlogs.de als Managing Editor gestartet und war viele Jahre Associated Social Media Manager der Lindauer Nobelpreisträgertagung, des Nobel Week Dialogue in 2012/2013 und seit 2013 berät sie das Heidelberg Laureate Forum. Kommunikation über Wissenschaft, deren neue Erkenntnisse, Wert und Rolle in der Gesellschaft, kann aus ihrer Sicht über viele Wege gefördert werden, von Open Access bis hin zu Dialogen von Forschern mit Bürgern auf Augenhöhe. Seit 2012 ist sie am Nationalen Instituts für Wissenschaftskommunikation, NaWik - und seit 2015 dessen Wissenschaftliche Direktorin. Sie twittert als @BLugger.

5 Kommentare

  1. eigentliches Problem

    Das eigentliche Problem dieser scheinbar objektiven Meßwerte ist ihre leichte Manipulierbarkeit. Sobald man eine solche Kenngröße zum Maßstab wissenschaftlichen Erfolgs macht, werden sich Leute finden, die ihre Energie darauf verwenden, genau diese Kenngröße zu optimieren. So wie es bereits beim Impakt Faktor geschieht: Nefarious Numbers.

  2. eigentliches Problem

    Ohja, dann bloggen die Forscher über ihre eigenen Artikel, twittern wie wild, laden runter und bookmarken etc.. Genau das tun die kommunikativen auch heute schon – und profitieren hoffentlich auch davon, weil so ein wenig Selbstmarketing gar nicht schlecht ist, auch ohne Metriken. Bleiben wir beim alten Journal Impact Factor, dann müssen Forscher eben weiterhin ihre eigenen Arbeiten ganz fleißig in neuen Publikationen zitieren,-).

Schreibe einen Kommentar