Derzeit erleben wir einen regelrechten Boom der Bewertung wissenschaftlicher Publikationen mithilfe diverser neuer Werkzeuge. Jüngstes Beispiel, das mir in der Runde aufgefallen ist, ist die Seite Total Impact.  Ebenso wie die bereits vorgestellte Sciencecard von Martin Fenner und das openSNP-Projekt von Philipp Bayer und Bastian Greshake haben sich hier einige Forscher im Zuge des Mendeley/PLoS Binary Battles zusammengetan und mit den Möglichkeiten der beiden Plattformen PLoS und Mendeley sowie eben auch anderer gespielt.

Mithilfe von Total-Impact soll auf einfache und schnelle Art und Weise der Impact einzelner Forschungsergebnisse auf großer Bandbreite angezeigt werden. Jenseits der üblichen Parameter wie Zitaten in anderen Publikationen werden hier viele weitere (Downloads, Lesezeichen, Blogbeiträge etc.) berücksichtigt. Der Journal Impact Factor aber bleibt explizit außen vor.

Dafür zieht Total Impact Daten aus folgenden Online-Formaten heran:

–    der DOI-Plattform Crossref,
–    der Medizinischen Literaturzentrale PubMed,
–    den Metriken von PLoS,
–    der Literaturdatenbank Mendeley,
–    dem Portal für Präsentationen Slideshare,
–    der internationalen Bibliothek angewandter Biowissenschaften Dryad,
–    dem Social Bookmarking Service für wissenschaftliche Publikationen CiteULike,
–    dem Bookmarker der anderen Natur Delicious,
–    der Wikipedia,
–    der Social Media Suche Seite Topsy,
–    der Blogaggreagation Researchblogging,
–    den Plattformen für Software-Entwickler GitHub und SourceForge,
und   sogar nach Facebook likes und shares wird gefahndet.

So soll ein umfassendes Gesamtbild entstehen.

Doch sehen, wenn einzelne Forscher ihre Publikationen auf total-impact durch die Auswertung schicken, die Ergebnisse eher spielerisch aus, wie dieses Beispiel von Heather Piwowar, einer der Initiatorinnen von Total Impact, zeigt. 

Viele Details. Eine wirklich lange Liste. Doch wo steckt die Aussage?
Zu was das Ganze letztlich wirklich genau gut ist, scheinen die Macher bis dato selbst noch nicht so recht zu wissen. Sehr sympatisch antworten sie auf die Frage „What do these numbers actually mean?“ mit „The short answer is: probably something useful, but we’re not sure what.“

Sie verweisen primär auf Forscher und Forschungsgruppen, die wissen wollen, wie oft welche ihrer Arbeiten runtergeladen, als Lesezeichen vermerkt und über welche gebloggt wurde.  Und sie ordnen ihr Projekt natürlich in den Gesamtrahmen der Altmetrics ein, sprich total impact ist ein Versuch, möglichst viel aus der Datenwelt zu wissenschaftlichen Publikationen zu erfassen und je besser die Macher ihr Tool weiter aufsetzen, mit Algorithmen genauer arbeiten etc., desto aussagekräftiger kann dies alles werden. Doch noch, und darauf weisen sie in ihrem About mehrfach hin, noch darf man ihre Daten nicht wirklich ernst nehmen. 

Wird man das jemals dürfen? Ich hoffe, dass die vermeintliche Macht im Sinne der analytischen Aussagekraft der Daten, nicht die individuelle und fachkundige Bewertung wissenschaftlicher Arbeiten verdrängt. Gleichzeitig sind die vielen unterschiedlichen Projekte (altmetric, citedin, Microsoft Academic Search, PLoS altmetrics, ReaderMeter, ScienceCard, SciVAl), die auf eine immer breitere Datenbasis und -auswertung setzen, sehr interessant und es bleibt spannend, welche sich etablieren.