Die Zukunft der Fachartikel

BLOG: RELATIV EINFACH

… aber nicht einfacher
RELATIV EINFACH

Wenn es um die Zukunft des wissenschaftlichen Publizierens geht, ist heutzutage meist von den Auswirkungen von Blogs die Rede, von anderen neuartigen Möglichkeiten, an die Öffentlichkeit zu gehen und mit Fachkollegen und anderen zu interagieren (z.B. hier, oder Blogs als Kontrollinstrument hier, und dann natürlich: researchblogging.org) oder von Open Access (z.B. hier oder hier). Letzte Woche hat mir mein Kollege Knud Jahnke von einem Vorschlag von David Hogg erzählt, der mich davon überzeugt hat, dass die wichtigste anstehende Neuerung – ob sie sich durchsetzt, ist eine andere Frage – zumindest weiter Teilbereiche des naturwissenschaftlichen Publizierens nichts mit Web 2.0 und nur zum Teil etwas mit Open Access zu tun hat.

Ich bin ein großer Fan von David Hogg. Er ist einer jener Wissenschaftler, die sich neben der spezialisierten Forschung auch Zeit für die größeren, übergreifenderen Fragen nehmen. Zum einen für ganz grundlegende Fragen, wie wir eigentlich Wissenschaft betreiben (z.B. wie man Modellparameter an Daten anpasst oder was es heißt, astronomische Kataloge anzufertigen). Zum anderen für Themen, die eigentlich jeder Astronom ganz genau verstehen sollte und auch verstehen könnte, wenn er oder sie sich die nötige Zeit nehmen würde, sich damit in Ruhe auseinanderzusetzen, was dann aber nie passiert. David nimmt sich die Zeit und schreibt anschließend klare, eingängige und damit wiederum für Studenten ebenso wie für seine Kollegen höchst nützliche Zusammenfassungen zu den verschiedenen Arten kosmologischer Abstände oder der K-Korrektur oder der Anfertigung von Histogrammen. Und David macht immer wieder mal sehr coole Dinge; jüngst etwa die automatisierte Rekonstruktion eines Kometenorbits aus per Yahoo-Bildersuche gefundenen Fotografien. Zuletzt habe ich ihn auf der .astronomy 3-Konferenz getroffen (über diese Konferenz vielleicht in einem zukünftigen Blogartikel mehr); außerdem besucht er  regelmäßig, und dann immer gleich für etwas länger, das Max-Planck-Institut für Astronomie.alt

Reproduzierbarkeit: Ideal und Wirklichkeit

Aber zum eigentlichen Thema. Wissenschaft lebt davon, dass ihre Ergebnisse nachvollziehbar und die daraus gezogenen Schlüsse reproduzierbar sind. Deswegen müssen Fachartikel, in denen neue Resultate beschrieben sind, insbesondere so geschrieben sein, dass sie es den Kollegen erlauben, nachzuvollziehen, wie dort analysiert und ausgewertet wurde und wie die Autoren eigentlich zu den von ihnen veröffentlichten Behauptungen gekommen sind.

Soweit der Idealzustand. Die Wirklichkeit sieht, wie so oft, etwas anders aus. Fachartikel sind bis zu einem gewissen Grade Insider-Dokumente, die umfangreiche Vorkenntnisse voraussetzen. Das ist völlig legitim; Fachartikel stehen nicht für sich allein, sondern sind Puzzleteile eines größeren Entwicklungsbogens der Forschung. Niemand hat die Zeit, in jedem Artikel mit dem kleinen Einmaleins anzufangen. Dementsprechend gilt ja auch: Wer einen bestimmten Fachartikel verstehen möchte, ohne mit dem Spezialgebiet vertraut zu sein, wird in der Regel eine ganze Reihe weiterer Artikel lesen müssen, um zu verstehen, wo die Methoden und Voraussetzungen herkommen. Wiederum ganz normal; man muss sich in ein neues Forschungsgebiet eben erst einmal “einarbeiten”. Problematisch ist, wenn die Rekonstruktionsketten nicht vollständig sind, das aber niemandem auffällt, weil ja sowieso alle, die auf diesem Forschungsgebiet tätig sind – die Autoren ebenso wie die Gutachter für den Peer Review – wissen, was z.B. mit einer bestimmten, im Text nur ungenügend definierten Methode gemeint ist. Oder wenn Detailangaben fehlen, und dieser Umstand demjenigen, der die Ergebnisse nicht nur auf Plausibilität überprüfen, sondern genau reproduzieren möchte, das Leben schwer macht.

Hinzu kommt: Nicht jeder, der gute Forschung betreibt, ist auch gut darin, seine Ergebnisse klar zu beschreiben. Auch das dürfte denjenigen, die mit dem Forschungsgebiet sowieso vertraut sind, deutlich weniger auffallen als jemandem, der anhand des Artikels versucht, sich in ein Gebiet einzuarbeiten.

Ein zynischer Randaspekt: Wer seine Arbeit allzu eingängig und klar beschreibt, züchtet sich möglicherweise gerade dadurch Konkurrenten; oftmals ist ein Fachartikel Teil eines größeren Forschungsprogramms, und wer möchte schon, dass einem die Kollegen dann dank der eigenen pädagogisch wertvollen Anleitung beim nächsten Schritt des Programms zuvorkommen?

Übersetzungen häufiger Redewendungen aus wissenschaftlichen Artikeln wie 

“Wie seit langem bekannt ist…” = “Ich war zu faul, die Quellen zu recherchieren”

“Wie allgemein angenommen wird…” = “Ich glaube, dass…” 

“Typische Werte sind…” = “Meine besten Werte sind…”

“Das Ergebnis ist nicht eindeutig” = “Das Ergebnis widerlegt meine Lieblingshypothese”

sind natürlich nicht ernst gemeint – aber wie das immer so ist: dass solche “Übersetzungen” Wissenschaftler zum Schmunzeln bringen, liegt daran, dass sie ein Körnchen Wahrheit enthalten: Bei weitem nicht alle Fachartikel sind so direkt reproduzierbar, wie man es sich wünschen würde, und oft liegt das daran, dass nicht eindeutig genug beschrieben ist, was dort eigentlich gemacht wurde.

Knud Jahnke fügt gerade noch hinzu, dass er sich nicht erinnern kann “Es ist plausibel, dass …” je mit anderer Bedeutung als  “Ich kann … nicht beweisen” gesehen hätte; logisch: wer etwas direkt nachweisen kann, muss sich nicht auf Plausibilität berufen.

Die Software-Lösung

David Hogg merkt dazu an, dass wir eigentlich deutlich weiter sein könnten (und direkt auf diesem Text von ihm beruht das meiste von dem, was ich in diesem Abschnitt schreibe):

Auswertung findet in weiten Teilen der Naturwissenschaft so statt, dass die Ausgangsdaten in elektronischer Form vorliegen. In der Astronomie sind das typischerweise Bilder, die mit Hilfe einer an ein Teleskop angeschlossenen CCD-Kamera gemacht wurden (ob mit oder ohne dazwischengeschaltetem Spektrograf). Diese Ausgangsdaten werden mit Hilfe von Software weiterverarbeitet. In der Astronomie beispielsweise ist der nächste Schritt die Datenreduktion; typischerweise sind das Verarbeitungsschritte, die berücksichtigen, dass bestimmte Regionen des Kamerachips etwas empfindlicher sind als andere, dass die Elektronik des Kamerachips dem Bild eine bestimmte Menge an Rauschen hinzufügt und dass die Teleskopoptik das Bild in bestimmter Weise verzerrt. 

Auch auf höherer Ebene kommt Software zum Einsatz: zur Ableitung bestimmter Kenngrößen wie Temperatur oder Elementhäufigkeiten aus den Spektren von Himmelsobjekten etwa, oder für statistische Analysen.

Software, Software, Software – zum Teil kommerziell, zum Teil von den Kollegen entwickelt, wobei die Frage, ob der Beitrag der software-entwickelnden Wissenschaftler zu ihrer Wissenschaft ausreichend gewürdigt wird und wie man mit dieser Form wissenschaftlicher Leistung umgehen sollte, ein Thema für sich ist.

Und da haben wir sie, die zeitgemäße Form, wissenschaftliche Ergebnisse zu veröffentlichen: Zu jedem Fachartikel sollte eine große Sammeldatei mit den Originaldaten veröffentlicht werden, außerdem ein Programm, welches man auf jene Sammeldatei anwenden kann und welches daraus alle in dem Fachartikel präsentierten Ergebnisse ermittelt.

Damit ist die Ableitung der Ergebnisse definitiv reproduzierbar: Computer tun nur, was man ihnen sagt; das beigefügte Computerprogramm enthält also wirklich alle Schritte, um von den Originaldaten zu denbehaupteten Ergebnissen zu kommen.

Um seine Rolle zu erfüllen, muss das Computerprogramm gut dokumentiert und verständlich geschrieben sein. Das ist für die Softwarewerkzeuge, die derzeit unter Wissenschaftlern im Umlauf sind, bei weitem nicht immer der Fall, und diese neue Rolle der Software wäre eine wichtige Motivation, klarere Programme zu schreiben – was die Nützlichkeit dieser Programme wiederum deutlich erhöhen würde.

Auch die Arbeit der Gutachter von Fachartikeln würde einfacher, denn in dem beigefügten Programm wären die Ableitungsschritte direkt nachvollziehbar. Eine ganze Reihe von Autoren würden wahrscheinlich auch für die verständliche Abfassung des eigenen Fachartikels von der Notwendigkeit profitieren, ihre Schritte vorher in Softwareform systematisch aufzuschreiben.

Was ist mit denjenigen Auswertungsschritte, die nicht Teil einer Software-Pipeline sind? Mit Entscheidungen, bestimmte Datenpunkte auszuschließen und eine bestimmte Datenauswahl zu treffen? Auch diese Schritte lassen sich in die Form eines Programms gießen; das Programm enthält dann eben eine (hoffentlich kommentierte!) Liste, welche Auswahl aus den Rohdaten getroffen wurde. Die Software-Form hätte den Vorteil, dass alle Entscheidungen dieser Art im Programm vollständig dokumentiert sind; wo persönliche Einschätzungen in welcher Form eine Rolle spielen, wird damit transparent.

Natürlich würde die neue Veröffentlichungsform auch bestimmte Probleme mit sich bringen. Wer sich die Mühe macht, mit sorgfältig und u.U. sehr aufwändig durchgeführten Experimenten oder Beobachtungen Originaldaten zusammenzutragen, möchte verständlicherweise nicht, dass diese Daten gleich mit dem ersten dazu erschienenen Fachartikel Allgemeingut werden – und dann die Konkurrenten daran z.B. Auswertungen vornehmen, die man selbst auch noch vorhatte. Dazu müsste eine Art allgemein verbindliches Lizenzverfahren geschaffen werden, etwa, dass solche Daten zumindest in den ersten paar Jahren nur mit Genehmigung der Originalautoren verwendet werden dürfen. (Ähnliche Regelungen gibt es, zumindest in der Astronomie, bereits jetzt für bestimmte Sorten von Originaldaten, etwa denen, die mit den Teleskopen der ESO gewonnen wurden. Solche Daten werden allgemein zugänglich, aber erst nach einer bestimmten “Schonfrist”.) 

Wie ist es mit der Umsetzung?

So attraktiv eine solche deutlich andere Publikationspraxis aus den genannten Gründen wäre – wie kann der Übergang vom jetzigen zum neuen System gelingen?

Zwei Entwicklungen der letzten Jahre machen mir etwas Mut. Das eine ist die Open Access-Bewegung (wie schon gesagt z.B. hier oder hier), die es eigentlich noch schwerer haben sollte als die hier beschriebenen Reformen, da sie in Teilen direkt den Geschäftsinteressen der Fachverlage zuwider läuft. 

Die andere ist die Neuerung, in Anträgen auf Forschungsförderung (ist es in Bewerbungen bereits ähnlich?) nicht mehr die vollständige Publikationsliste von Wissenschaftlern abzufragen, sondern deren zehn bedeutendste Fachartikel (z.B. der letzten 10 Jahre). Damit verschiebt sich die Bewertung der Publikationstätigkeit automatisch: Im Zeitalter der vollständigen Publikationslisten lag es nahe, einfache, aber nicht unbedingt aussagekräftige Kriterien wie die Zahl der Fachartikel heranzuziehen, bei denen der Antragsteller Erstautor ist. Dementsprechend waren die Wissenschaftler in Versuchung, ihre Forschungsergebnisse auf möglichst viele Einzelartikel aufzuteilen – viel Artikel, viel Ehr’. Aus meinem alten Institut erinnere ich mich an einen bösen Spruch über einen Kollegen, nennen wir ihn hier fiktiv Dr. Mikrotowski, der viele nicht sehr gehaltvolle Artikel schrieb und über den daher gesagt wurde, es gebe eine natürliche Maßeinheit für den wissenschaftlichen Gehalt eines Artikels, nämlich das “Towski”.

Aus beiden Entwicklungen schöpfe ich zunächst einmal die Hoffnung, dass in der wissenschaftlichen Community eine gewisse Flexibilität besteht, bestehende Veröffentlichungspraxis zu verändern, wenn es denn gute Gründe dafür gibt (was nicht heißen soll, dass solche Veränderungen einfach und leicht zu bewerkstelligen sind, aber immerhin).

Also heißt es: Mundpropaganda. Kollegen überzeugen. Jeden, der darüber flucht, dass er wieder einen Arbeitstag damit verloren hat, die in einem Fachartikel nicht beschriebenen Schritte einer Auswertung zu rekonstruieren, darauf hinweisen, dass es auch anders gehen könnte. Für Astronomen, die selbst Software schreiben: In Erwägung ziehen, ob man die Software nicht unter einer Lizenz veröffentlichen kann, die entsprechende Transparenz eingebaut hat. Die GNU Public Science License: Wer ein so lizenziertes Programm zur Auswertung wissenschaftlicher Daten verwendet, verpflichtet sich bei der Veröffentlichung als Fachartikel, die als Input verwendeten Daten, etwaige angepasste Programmversionen und die von ihm gewählten Einstellungen für Programmparameter mit zu veröffentlichen.

Und vielleicht könnten Institutionen wie die DFG diese Art von Transparenz dann auch bei Projektanträgen ermutigen, und Artikel mit “algorithmischer Ergänzung” als Zeichen dafür, dass sich die Autoren besonders für die Nachvollziehbarkeit ihrer Arbeit einsetzen, besonders gewichtig werten.

In der Astronomie sollten die technischen Voraussetzungen für das neue Veröffentlichungsformat bereits jetzt im wesentlichen gegeben sein. In den anderen mir zugänglichen Teilen der Physik sieht es ähnlich aus – allerdings würde z.B. die Teilchenphysik dem System seine Grenzen aufzeigen, denn die Originaldaten eines Experiments an einem Teilchenbeschleuniger nehmen enorm viel Platz weg; den Speicherplatz von der Größenordnung 100 Petabyte, den CERN für die Daten der LHC-Experimente bereitstellt, kann das Webportal einer Fachzeitschrift natürlich nicht stemmen. Solche Projekte brauchen für die Datenspeicherung und -erschließung dann natürlich ganz eigene Ressourcen – und planen ja in der Regel auch entsprechend.

Wie es in der Biologie ist, in der Medizin, in der Chemie, das weiß ich nicht. Vielleicht kann der ein oder andere Leser dazu etwas sagen? Würde das hier vorgeschlagene Format auch in diesen Fächern funktionieren?

Markus Pössel

Markus Pössel hatte bereits während des Physikstudiums an der Universität Hamburg gemerkt: Die Herausforderung, physikalische Themen so aufzuarbeiten und darzustellen, dass sie auch für Nichtphysiker verständlich werden, war für ihn mindestens ebenso interessant wie die eigentliche Forschungsarbeit. Nach seiner Promotion am Max-Planck-Institut für Gravitationsphysik (Albert-Einstein-Institut) in Potsdam blieb er dem Institut als "Outreach scientist" erhalten, war während des Einsteinjahres 2005 an verschiedenen Ausstellungsprojekten beteiligt und schuf das Webportal Einstein Online. Ende 2007 wechselte er für ein Jahr zum World Science Festival in New York. Seit Anfang 2009 ist er wissenschaftlicher Mitarbeiter am Max-Planck-Institut für Astronomie in Heidelberg, wo er das Haus der Astronomie leitet, ein Zentrum für astronomische Öffentlichkeits- und Bildungsarbeit. Pössel bloggt, ist Autor/Koautor mehrerer Bücher, und schreibt regelmäßig für die Zeitschrift Sterne und Weltraum.

6 Kommentare

  1. Schon knapp 10 Jahre vergeudet …

    Markus Pössel schrieb (02. Mai 2011, 13:15):
    > […] Fachartikel, in denen neue Resultate beschrieben sind, [… müssen] insbesondere so geschrieben sein, dass sie es den Kollegen erlauben, nachzuvollziehen, wie dort analysiert und ausgewertet wurde und wie die Autoren eigentlich zu den von ihnen veröffentlichten Behauptungen gekommen sind.

    Sehr richtig.

    > Wer einen bestimmten Fachartikel verstehen möchte, ohne mit dem Spezialgebiet vertraut zu sein, wird in der Regel eine ganze Reihe weiterer Artikel lesen müssen, um zu verstehen, wo die Methoden und Voraussetzungen herkommen.

    Allzu wahr.
    Und genau dieses übliche Vorgehen, Wissen im Zusammenhang zu erschließen, sollte doch eine ganz bestimmte Form der Veröffentlichung (und der Aufarbeitung von schon vorliegenden Veröffentlichung) nahelegen:
    nämlich Wikipedia;
    unter Einsatz hinreichend sorgfältiger und ausführlicher Verlinkung des zu veröffentlichenden Textes,
    sowie hinreichend sorgfältiger und ausführlicher Behandlung von Artikeln, zu denen verlinkt wird.

    > […] dass wir eigentlich deutlich weiter sein könnten

    (Seufz.)

  2. ein bereits existentes Projekt:

    Mir hatten Mathematiker, die mit Voevodsky zusammenarbeiten, von laufenden Projekten in der Mathematik (und folglich in der math. Physik, Informatik) erzählt, wo software automatisch Argumentationsketten formalisiert, vergleicht, und Lesern Definitionen und irgendwo sonst vorhandene Beweise etc. in geeigneter Form bereitstellt.

  3. ein bereits existentes Projekt:

    Es gibt in der Mathematik im Umfeld von Voevodsky wohl (wie mir gesagt wurde) ein Projekt, aus Artikeln automatisch Argumentationsstränge zu extrahieren, zu formalisieren und zu einander in Beziehung zu setzen. Das soll u.a. zu software führen, die es Lesern von Fachliteratur ermöglicht, zu sie interessierenden Punkten automatisch lesbare Ergänzungen (Definitionen, Beweise, Beispiele, Verwendungen in anderen Kontexten) zu erhalten. Dadurch würde Fachliteratur für Aussenstehende wesentlich leichter zugänglich und leichter bewertbar. Andere Anwendungen sollen automatische Konsistenz- und Korrektheitschecks von software sein, deren Komplexität sich ja oft manuellen Übeprüfungen entzieht.

  4. Zustimmung

    Ein sehr interessanter Gedanke. Vielen Dank. Auch bei meinen Veröffentlichungen in der Atomphysik habe ich schon oft gedacht, dass es sinnvoll wäre, die Rohdaten zusammen mit den MATLAB-Skripten zur Auswertung zu veröffentlichen. Selbst für eine ausführliche Darstellung des Algorithmus ist ja in den Zeitschriften, gerade wenn es ein ‘Letter’ ist, kaum Platz. Ich wurde sogar einmal von einem Gutachter dafür kritisiert, dass ich die Auswertungsmethode zu detailliert beschrieben hätte.

    Zum Glück beginnt sich das langsam schon zu bessern. Viele Zeitschriften bieten jetzt zusätzliches Material in der On-line-Ausgabe an. Dort können Auswertealgorithmen abgelegt werden. Für eine Veröffentlichung der Rohdaten sind die Server der Fachverlage vielleicht der falsch Ort. Vielleicht sollten wir als Arbeitsgruppe selbst dafür sorgen, dass die Daten nach einer angemessenen Sperrfrist öffentlich werden. Das ist bei uns tatsächlich in Diskussion.

  5. ebenfalls

    >Für eine Veröffentlichung der Rohdaten sind die Server der Fachverlage vielleicht der falsch Ort.

    Ja wahrscheinlich, denn damit lässt sich dann ja kein Geld mehr verdienen.

    > Vielleicht sollten wir als Arbeitsgruppe selbst dafür sorgen, dass die Daten nach einer angemessenen Sperrfrist öffentlich werden.

    Das denke ich auch.

  6. Reproduzierbarkeit-eine Illusion?

    In der Biologie ist es bei vielen Publikationen so, dass gerade analytische Methoden häufig gerafft veröffentlicht werden, also nur mit den wichtigsten Eckdaten. Auch die statistischen Programme werden nur kurz wörtlich beschrieben. Jeder der mit Statistik arbeitet weiß, dass nur das konkret benutzte Program tatsächlich reproduzierbar ist. Um die Methoden einschätzen und reproduzieren zu können muss man Experte auf dem Gebiet sein. Viele kleine Details werden verschwiegen, könnten aber das Zünglein an der Waage sein. Viele wollen gar nicht, dass andere Labore etwas nachmachen könnten und entweder merken, dass doch nicht alles so funktioniert oder das sie dann Untersuchungen machen, die man selbst noch machen möchte. Um Ergebnisse reproduzieren zu können müssten die genutzten statistischen Programme zugänglich sein und ebenso die erhaltenen Rohdaten. Häufig werden nur Ratios, Differenzen oder andere Spielarten dargestellt, was zum Zwecke dessen, was man beweisen will auch legitim ist, aber es ist eben nicht mehr Nachweisbar wie z.B. die Konzentrationen oder Größenverhältnisse waren. Auch in der Biologie gibt es eine Flut an Publikationen. Der Wert einer solchen Publikation erschließ sich natürlich nicht nur in der Anzahl der Ergebnisse, sondern vor allem in der zuGrunde liegenden Methodik. Auch unscheinbare Ergebnisse könnten mal relevant sein, wenn sie methodisch korrekt erstellt worden. Leider weisen viele medizinische Paper methodische Schwächen auf, die aber durch umso wichtigere Ergebnisse (man plötzlich dieses oder jenes heilen) ins Hintertreffen geraten. Im Sinne der wissenschaft wäre es schön, wenn Sachen publiziert werden, wenn sie methodisch ausreichend geprüft worden und eine These entweder widerlegen oder bestätigen. Für wen diese Ergebnisse dann relevant sind oder nicht kann sicher kein einzelner entscheiden. Manchmal gibt es doch genau jemanden, der das wissen wollte. Ständiges Veröffentlichen der gleichen Daten sollte vermieden werden.

Schreibe einen Kommentar