ScienceCard – der Blick auf einzelne Forscher

BLOG: Quantensprung

Versuch einer Aufklärung
Quantensprung

Weil die Unzufriedenheit mit dem Impact Factor als Messgröße wissenschaftlicher Etabliertheit dauerhaft groß ist, suchen Forscher, Verlage und neue Netzwerke nach neuen Methoden einer Evaluation. Gestern hat Martin Fenner in seinem Blog sein jüngstes Projekt ScienceCard vorgestellt. Wozu das gut ist und was Martin damit will, erklärt er in den Antworten auf meine Fragen.

Metriken für wissenschaftliche Werke werden für deren Evaluation verwendet. Der Impact Faktor ist weit verbreitet, aber nicht das beste Werkzeug um die Qualität einzelner Artikel zu bewerten, weil hier die Journale im Vordergrund stehen, nicht der einzelne Artikel.  Im Juli 2009 hat etwa PLoS, unter deren Dach Martin heute bloggt, deshalb begonnen PLoS-Artikeln Messgrößen wie Zitierungen, Häufigkeit von Downloads etc. hinzuzufügen, die automatisch laufend aktualisiert werden. Martin hat nun für den Mendeley/PLoS API Binary Battle ein neues Werkzeug kreiert, das einzelnen Forschern deren Artikel und deren Wertigkeiten zuweist.

Werfen wir einen Blick auf Gudmundur Thorisson: Seine auf ScienceCard gelisteten 7 Artikel wurden auf citeulike 133 und auf Mendeley 127 mal gelesen und gebookmarked; und aus PubMed lässt sich filtern, dass sie 1006 Mal zitiert wurden, Microsoft Academic Search kommt auf 1286 Zitierungen. (Mehr zu Mendeley und Microsoft Academic Search hatte ich hier geschrieben).

Martin, einerseits finde ich es sehr gut, wenn mehr Transparenz in der Forschung entsteht, brauchen wir dazu aber ‚gläserne Forscher’ und was ist der Nutzen von ScienceCard für die Forscher?

Martin Fenner: Forschung findet ja schon jetzt prinzipiell in der Öffentlichkeit statt, denn Wissenschaft macht nur Sinn, wenn Forschungsergebnisse "veröffentlicht" werden, sodass andere Forscher die Ergebnisse aufgreifen und weiterentwickeln können. Die Frage ist also nicht so sehr, ob Forscher und ihre Forschung öffentlich sind, sondern eher wie viel Öffentlichkeit und Transparenz nötig und sinnvoll sind. Dienste wie ScienceCard möchten zwei Dinge erreichen. Zum einen soll es Forschern erleichtern interessante Wissenschaft zu entdecken. ScienceCard listet eben nicht nur auf, wie oft die eigene Publikation zitiert wurde, sondern es verlinkt auch direkt zu den zitierenden Arbeiten. So kann ich sehen, wie meine eigene Publikation von anderen genutzt wurde, und kann dabei hoffentlich selbst etwas Neues lernen. ScienceCard möchte sich auch zunutze machen, dass sich die Autoren über Twitter registrieren. In der nächsten Version der Software werden die Nutzer nach Anmeldung zunächst die Autoren sehen, mit denen sie über Twitter befreundet sind, und deren Publikationen. ScienceCard macht es so einfacher, automatisch über neue Publikationen von Kollegen im eigenen sozialen Netzwerk informiert zu werden.

Der zweite Aspekt von ScienceCard ist sicherlich die Evaluation von Wissenschaft und Wissenschaftlern. Es ist in den letzten Jahren zunehmend üblich geworden, eine besonders häufig zitierte Arbeit als gute Wissenschaft zu bezeichnen, und mit damit eine Forschungsförderung zu begründen. Dies ist natürlich Unsinn aus einer ganzen Reihe von Gründen, z.B. weil in manchen Forschungsgebieten besonders viel publiziert und deshalb auch zitiert wird. ScienceCard ist eine Lösung für vier weitere Probleme: häufig wird zur Evaluation eines Wissenschaftlers der Journal Impact Factor verwendet, also die durchschnittliche Zahl von Zitaten der Zeitschrift, in der der Wissenschaftler publiziert hat. Dies ist natürlich sehr ungenau, wesentlich besser ist es, direkt die Zitate der Arbeit des Wissenschaftlers anzusehen. Das zweite Problem ist Transparenz. Es ist sehr schwer, aus frei verfügbaren Quellen verlässliche Informationen über die Anzahl von Zitaten zu bekommen. Man sieht bei ScienceCard sehr gut, wie die Anzahl der Zitate für die gleiche Arbeit bei unterschiedlichen Quellen schwankt. Das dritte Problem ist die Anzahl der Zitate als Maßstab der Evaluation. Naturgemäß erscheinen Zitate erst mit deutlicher Verzögerung, mit unter Jahre nach der Publikation. Die Information, wie oft ein Artikel heruntergeladen oder in Mendeley importiert wurde, steht dagegen schon kurz nach der Publikation zur Verfügung. Das vierte Problem ist die Heranziehung von wissenschaftlichen Artikeln als alleiniges Maß für die Evaluation. ScienceCard sammelt momentan nur Publikationen, aber spätere Versionen sollen auch andere wissenschaftliche Arbeiten sammeln, ein erster Schritt wären dabei wissenschaftliche Datensätze.

Zu guter Letzt ist ScienceCard natürlich ein freiwilliger Service, niemand wird gezwungen hier teilzunehmen und es werden nur öffentlich verfügbare Informationen gezeigt.

Bisher sind 49 (Stand 29.09.2011) Forscher auf ScienceCard gelistet, die sich selbst dort eingetragen haben. Könnte dies auch automatisiert von allen Forschern ohne deren Einverständnis geschehen, wie beispielsweise ReaderMeter, das Mendeley-Daten auswertet?

Martin Fenner: Es gibt verschiedene Möglichkeiten, die ScienceCard-Software zu nutzen. Ein Verlag könnte z.B. für seine Autoren und seine Publikationen öffentliche Autorenseiten einrichten, oder eine Hochschule für alle ihre Wissenschaftler. Für den ScienceCard-Dienst möchte ich aber immer das Einverständnis des Wissenschaftlers. Zum einen ist so eine ScienceCard eine sehr persönliche Angelegenheit. Es ist zum zweiten aber auch wesentlich einfacher Informationen über Publikationen mit Hilfe des Autors zu sammeln. Readermeter versagt z.B. bei allen Wissenschaftlern mit häufigen Namen (John Smith, etc.).

Selbst wenn Du das nicht vorhast. Könnte nicht irgendwann ein gewisser Druck entstehen, sodass sich Forscher ob bei ScienceCard oder anderen solcher metrischer Systeme letztlich fast registrieren müssen? Hättest Du da Bedenken?

Martin Fenner:  ScienceCard funktioniert nur mit eindeutigen Identifikatoren für Wissenschaftler und wissenschaftliche Arbeiten. Während mit dem Digital Object Identifier (DOI) für Zeitschriftenartikel seit Jahren ein allgemein akzeptierter Standard existiert, ist das für Personenidentifikatoren bisher nicht der Fall. Die Situation wird sich 2012 mit der Einführung von Open Researcher & Contributor ID (ORCID) hoffentlich ändern, sodass in einigen Jahren sicher die Mehrzahl der Wissenschaftler eine ORCID-Nummer haben wird. ORCID ist ein freiwilliges System, und ich finde das auch gut so. Bei der letzten ORCID-Tagung vor zwei Wochen (ich sitze im Vorstand der ORCID-Initiative) wurde von einigen Teilnehmern nochmals betont, dass so ein System nur funktioniert, wenn es auf Freiwilligkeit beruht und der Wissenschaftler sein Einverständnis zur Registrierung gibt.

Ein Grundproblem metrischer Ansätze, wissenschaftliche Arbeiten zu bewerten, sind die verschiedenen Codes, die den Artikeln hinzugefügt werden – die etablierten DOI plus eigene etwa von PubMed, Mendeley oder anderen. Wie kann man es schaffen, dass ein Artikel in allen Systemen eindeutig erkannt werden kann?

Martin Fenner:  ScienceCard basiert auf DOIs und damit kommt man eigentlich sehr weit. Leider möchten auch 10 Jahre nach Einführung der DOI viele ihre eigenen Identifier benutzen. Das ist nachvollziehbar für Arbeiten, die keine DOI haben (z.B. Dissertationen), aber leider ist der Grund häufiger die zu enge Sichtweise der Dienstleister. PubMed ist hier ein gutes Beispiel, die DOI eines Artikels wird hier sehr gut versteckt und ScienceCard muss zuerst die PubMed ID erfragen, bevor in einem zweiten Schritt die Zitate erfragt werden können. DOIs werden inzwischen auch für andere wissenschaftliche Arbeiten verwendet, z.B. vergibt DataCite DOIs für wissenschaftliche Datensätze. Eine DOI für wissenschaftliche Blogartikel wäre ebenso denkbar.

Und zum Schluss: Was ist Deine Vision für eine bessere Evaluierung von Forschung?

Martin Fenner: Ich würde mir etwas mehr Zurückhaltung bei allen Beteiligten wünschen. Damit meine ich insbesondere eine Reduktion des Zeitaufwands für Wissenschaftler, die viel zu häufig nach Publikationslisten, Lebensläufen, etc. gefragt werden. Und es muss allen Beteiligten klar sein, dass die Werkzeuge zur Evaluation noch in den Kinderschuhen stecken, und metrische Indikatoren allenfalls eine Hilfestellung bei der Evaluation sein können. Am Ende des Tages muss der Gutachter doch die Publikation lesen.

Danke Martin und ich bin gespannt, wie sich Bewertungssysteme von Wissenschaft insgesamt weiterentwickeln!


Martin Fenner weiß als Arzt und Forscher an der Klinik für Hämatologie, Hämostaseologie, Onkologie und Stammzelltransplantation in Hannover wovon er spricht.

Avatar-Foto

Veröffentlicht von

Beatrice Lugger ist Diplom-Chemikerin mit Schwerpunkt Ökologische Chemie. Neugierde und die Freude daran, Wissen zu vermitteln, machten aus ihr eine Wissenschaftsjournalistin. Sie absolvierte Praktika bei der ,Süddeutschen Zeitung' und ,Natur', volontierte bei der ,Politischen Ökologie' und blieb dort ein paar Jahre als Redakteurin. Seither ist sie freie Wissenschaftsjournalistin und schreibt für diverse deutsche Medien. Sie war am Aufbau von netdoktor.de beteiligt, hat die deutschen ScienceBlogs.de als Managing Editor gestartet und war viele Jahre Associated Social Media Manager der Lindauer Nobelpreisträgertagung, des Nobel Week Dialogue in 2012/2013 und seit 2013 berät sie das Heidelberg Laureate Forum. Kommunikation über Wissenschaft, deren neue Erkenntnisse, Wert und Rolle in der Gesellschaft, kann aus ihrer Sicht über viele Wege gefördert werden, von Open Access bis hin zu Dialogen von Forschern mit Bürgern auf Augenhöhe. Seit 2012 ist sie am Nationalen Instituts für Wissenschaftskommunikation, NaWik - und seit 2015 dessen Wissenschaftliche Direktorin. Sie twittert als @BLugger.

8 Kommentare

  1. Spannendes Thema

    Danke, spannendes Thema; mir ist allerdings noch nicht klar geworden, wie die ScienceCard nun genau den Sprung von der Quantität der Zitationen zur Qualität einer Arbeit schaffen will. Gibt es dort denn ein inhaltliches Bewertungssystem?

  2. Re-Spannendes Thema

    Leider hilft alle Metrik nicht wirklich und vollkommen zur Lösung der Qualitätsfrage. Letztlich wird man sich die einzelnen Artikel, wenn man es wirklich wissen will, doch immer ansehen müssen. Aber für eine Ersteinschätzung halte ich die verschiedenen neuen Systeme, die den Impact Factor ergänzen für wertvoll.

  3. Re-spannendes Thema

    Stephan, ich glaube dass es hier zwei Schritte gibt: 1) Zuordnung von Publikationen und anderen Forschungsergebnissen zu Autoren und 2) Bewertung. 1) sollte möglichst offen und nachvollziebar erfolgen und ScienceCard ist hier hoffentlich eine Hilfe. 2) ist völlig offen. Vielleicht ist es ein sinnloses Unterfangen, vielleicht gibt es einen oder mehrere sinnvolle Indikatoren die wir noch nicht kennen. ScienceCard ist keine Lösung, sondern ein kleiner Schritt weiter weg vom Journal Impact Factor.

  4. Die Idee find ich super! Jetzt bräuchte die Seite nur noch einen “Hilfe”-Bereich, ein Tutorial oder ne Support-Emailadresse. Denn irgendwie scheint das bei mir nicht so richtig zu klappen… (Ich finde keine Möglichkeit, meinen Namen anzugeben und beim MS Academic Search-Feld wird mein Name auch nicht akzeptiert.)

  5. Florian

    das ist alles noch sehr Beta. Im Grunde eine erste Ideenskizze, die ich aber sogleich ganz schön gut fand. Ich denke, Deine Wünsche sind sowieso in Planung.

  6. Neuheiten

    spannendes Thema, dem kann ich mich nur anschließen.

    Allerdings sind einige der als Neuerungen vorgestellten Features doch schon bei anderen Diensten vorhanden – bei dem Web of Science (ISI Web of Knowledge) kann man doch beispielsweise auch sehen, wo die Zitate einer bestimmten Veröffentlichung herkommen und dann direkt dort draufklicken.

    Dann kann man dort auch nach einzelnen Wissenschaftlern suchen und ihre Veröffentlichungen samt Zitaten ansehen und so auch gleich den viel diskutierten h-Index bestimmen.

    Mit einem anderen Projekt aus dem gleichen Hause werden auch sogenannte researcher-ids vergeben (http://www.researcherid.com/).

    Lediglich eine twitter-Vernetzung existiert nicht, soweit ich weiß.

    Nachteil vom ISI Web of Knowledge ist natürlich, dass man dort als Privatmensch nicht allzuviel unternehmen kann, aber leider komme ich als Privatperson an die meisten Forschungsartikel doch sowieso nicht heran (ein Unding, wenn ihr mich fragt, aber das ist wohl ein anderes Thema 😉
    und kann dieses Tool daher nicht richtig nutzen.

    Die ScienceCard ist vermutlich kostenlos, oder?

    Mich würde vor allem die Meinung von Martin Fenner interessieren, wo er den Unterschied und die Weiterentwicklung im Vergleich zu dem ISI Web of Knowledge sieht?

  7. Re-Neuheiten

    Florian, Hilfe und Support kommen noch. Als ersten Schritt gibt es @sciencecard bei Twitter für Fragen und Anregungen. Die Registrierung bei ScienceCard geht nur über Twitter, der bei Twitter angegebene Name kann nicht geändert werden.

    Alf, das Problem von vielen bibliographischen Datenbanken (z.B. PubMed) ist, dass sie Autoren nicht eindeutig identifizieren. Damit ist eine automatische Generierung einer Bibliographie nicht möglich. Das im Interview angesprochene ORCID-Projekt hat die Researcher ID Software von Thomson Reuters lizensiert und wird darauf basieren. Web of Science und Scopus sind kommerzielle geschlossene Systeme. Google Scholar Citations ist ein interessantes neues Projekt, aber Google Scholar hat kein API auf das man zugreifen kann.

Schreibe einen Kommentar