Wenn es um die Zukunft des wissenschaftlichen Publizierens geht, ist heutzutage meist von den Auswirkungen von Blogs die Rede, von anderen neuartigen Möglichkeiten, an die Öffentlichkeit zu gehen und mit Fachkollegen und anderen zu interagieren (z.B. hier, oder Blogs als Kontrollinstrument hier, und dann natürlich: researchblogging.org) oder von Open Access (z.B. hier oder hier). Letzte Woche hat mir mein Kollege Knud Jahnke von einem Vorschlag von David Hogg erzählt, der mich davon überzeugt hat, dass die wichtigste anstehende Neuerung – ob sie sich durchsetzt, ist eine andere Frage – zumindest weiter Teilbereiche des naturwissenschaftlichen Publizierens nichts mit Web 2.0 und nur zum Teil etwas mit Open Access zu tun hat.

Ich bin ein großer Fan von David Hogg. Er ist einer jener Wissenschaftler, die sich neben der spezialisierten Forschung auch Zeit für die größeren, übergreifenderen Fragen nehmen. Zum einen für ganz grundlegende Fragen, wie wir eigentlich Wissenschaft betreiben (z.B. wie man Modellparameter an Daten anpasst oder was es heißt, astronomische Kataloge anzufertigen). Zum anderen für Themen, die eigentlich jeder Astronom ganz genau verstehen sollte und auch verstehen könnte, wenn er oder sie sich die nötige Zeit nehmen würde, sich damit in Ruhe auseinanderzusetzen, was dann aber nie passiert. David nimmt sich die Zeit und schreibt anschließend klare, eingängige und damit wiederum für Studenten ebenso wie für seine Kollegen höchst nützliche Zusammenfassungen zu den verschiedenen Arten kosmologischer Abstände oder der K-Korrektur oder der Anfertigung von Histogrammen. Und David macht immer wieder mal sehr coole Dinge; jüngst etwa die automatisierte Rekonstruktion eines Kometenorbits aus per Yahoo-Bildersuche gefundenen Fotografien. Zuletzt habe ich ihn auf der .astronomy 3-Konferenz getroffen (über diese Konferenz vielleicht in einem zukünftigen Blogartikel mehr); außerdem besucht er  regelmäßig, und dann immer gleich für etwas länger, das Max-Planck-Institut für Astronomie.

Reproduzierbarkeit: Ideal und Wirklichkeit

Aber zum eigentlichen Thema. Wissenschaft lebt davon, dass ihre Ergebnisse nachvollziehbar und die daraus gezogenen Schlüsse reproduzierbar sind. Deswegen müssen Fachartikel, in denen neue Resultate beschrieben sind, insbesondere so geschrieben sein, dass sie es den Kollegen erlauben, nachzuvollziehen, wie dort analysiert und ausgewertet wurde und wie die Autoren eigentlich zu den von ihnen veröffentlichten Behauptungen gekommen sind.

Soweit der Idealzustand. Die Wirklichkeit sieht, wie so oft, etwas anders aus. Fachartikel sind bis zu einem gewissen Grade Insider-Dokumente, die umfangreiche Vorkenntnisse voraussetzen. Das ist völlig legitim; Fachartikel stehen nicht für sich allein, sondern sind Puzzleteile eines größeren Entwicklungsbogens der Forschung. Niemand hat die Zeit, in jedem Artikel mit dem kleinen Einmaleins anzufangen. Dementsprechend gilt ja auch: Wer einen bestimmten Fachartikel verstehen möchte, ohne mit dem Spezialgebiet vertraut zu sein, wird in der Regel eine ganze Reihe weiterer Artikel lesen müssen, um zu verstehen, wo die Methoden und Voraussetzungen herkommen. Wiederum ganz normal; man muss sich in ein neues Forschungsgebiet eben erst einmal “einarbeiten”. Problematisch ist, wenn die Rekonstruktionsketten nicht vollständig sind, das aber niemandem auffällt, weil ja sowieso alle, die auf diesem Forschungsgebiet tätig sind – die Autoren ebenso wie die Gutachter für den Peer Review – wissen, was z.B. mit einer bestimmten, im Text nur ungenügend definierten Methode gemeint ist. Oder wenn Detailangaben fehlen, und dieser Umstand demjenigen, der die Ergebnisse nicht nur auf Plausibilität überprüfen, sondern genau reproduzieren möchte, das Leben schwer macht.

Hinzu kommt: Nicht jeder, der gute Forschung betreibt, ist auch gut darin, seine Ergebnisse klar zu beschreiben. Auch das dürfte denjenigen, die mit dem Forschungsgebiet sowieso vertraut sind, deutlich weniger auffallen als jemandem, der anhand des Artikels versucht, sich in ein Gebiet einzuarbeiten.

Ein zynischer Randaspekt: Wer seine Arbeit allzu eingängig und klar beschreibt, züchtet sich möglicherweise gerade dadurch Konkurrenten; oftmals ist ein Fachartikel Teil eines größeren Forschungsprogramms, und wer möchte schon, dass einem die Kollegen dann dank der eigenen pädagogisch wertvollen Anleitung beim nächsten Schritt des Programms zuvorkommen?

Übersetzungen häufiger Redewendungen aus wissenschaftlichen Artikeln wie 

“Wie seit langem bekannt ist…” = “Ich war zu faul, die Quellen zu recherchieren”

“Wie allgemein angenommen wird…” = “Ich glaube, dass…” 

“Typische Werte sind…” = “Meine besten Werte sind…”

“Das Ergebnis ist nicht eindeutig” = “Das Ergebnis widerlegt meine Lieblingshypothese”

sind natürlich nicht ernst gemeint – aber wie das immer so ist: dass solche “Übersetzungen” Wissenschaftler zum Schmunzeln bringen, liegt daran, dass sie ein Körnchen Wahrheit enthalten: Bei weitem nicht alle Fachartikel sind so direkt reproduzierbar, wie man es sich wünschen würde, und oft liegt das daran, dass nicht eindeutig genug beschrieben ist, was dort eigentlich gemacht wurde.

Knud Jahnke fügt gerade noch hinzu, dass er sich nicht erinnern kann “Es ist plausibel, dass …” je mit anderer Bedeutung als  “Ich kann … nicht beweisen” gesehen hätte; logisch: wer etwas direkt nachweisen kann, muss sich nicht auf Plausibilität berufen.

Die Software-Lösung

David Hogg merkt dazu an, dass wir eigentlich deutlich weiter sein könnten (und direkt auf diesem Text von ihm beruht das meiste von dem, was ich in diesem Abschnitt schreibe):

Auswertung findet in weiten Teilen der Naturwissenschaft so statt, dass die Ausgangsdaten in elektronischer Form vorliegen. In der Astronomie sind das typischerweise Bilder, die mit Hilfe einer an ein Teleskop angeschlossenen CCD-Kamera gemacht wurden (ob mit oder ohne dazwischengeschaltetem Spektrograf). Diese Ausgangsdaten werden mit Hilfe von Software weiterverarbeitet. In der Astronomie beispielsweise ist der nächste Schritt die Datenreduktion; typischerweise sind das Verarbeitungsschritte, die berücksichtigen, dass bestimmte Regionen des Kamerachips etwas empfindlicher sind als andere, dass die Elektronik des Kamerachips dem Bild eine bestimmte Menge an Rauschen hinzufügt und dass die Teleskopoptik das Bild in bestimmter Weise verzerrt. 

Auch auf höherer Ebene kommt Software zum Einsatz: zur Ableitung bestimmter Kenngrößen wie Temperatur oder Elementhäufigkeiten aus den Spektren von Himmelsobjekten etwa, oder für statistische Analysen.

Software, Software, Software – zum Teil kommerziell, zum Teil von den Kollegen entwickelt, wobei die Frage, ob der Beitrag der software-entwickelnden Wissenschaftler zu ihrer Wissenschaft ausreichend gewürdigt wird und wie man mit dieser Form wissenschaftlicher Leistung umgehen sollte, ein Thema für sich ist.

Und da haben wir sie, die zeitgemäße Form, wissenschaftliche Ergebnisse zu veröffentlichen: Zu jedem Fachartikel sollte eine große Sammeldatei mit den Originaldaten veröffentlicht werden, außerdem ein Programm, welches man auf jene Sammeldatei anwenden kann und welches daraus alle in dem Fachartikel präsentierten Ergebnisse ermittelt.

Damit ist die Ableitung der Ergebnisse definitiv reproduzierbar: Computer tun nur, was man ihnen sagt; das beigefügte Computerprogramm enthält also wirklich alle Schritte, um von den Originaldaten zu denbehaupteten Ergebnissen zu kommen.

Um seine Rolle zu erfüllen, muss das Computerprogramm gut dokumentiert und verständlich geschrieben sein. Das ist für die Softwarewerkzeuge, die derzeit unter Wissenschaftlern im Umlauf sind, bei weitem nicht immer der Fall, und diese neue Rolle der Software wäre eine wichtige Motivation, klarere Programme zu schreiben – was die Nützlichkeit dieser Programme wiederum deutlich erhöhen würde.

Auch die Arbeit der Gutachter von Fachartikeln würde einfacher, denn in dem beigefügten Programm wären die Ableitungsschritte direkt nachvollziehbar. Eine ganze Reihe von Autoren würden wahrscheinlich auch für die verständliche Abfassung des eigenen Fachartikels von der Notwendigkeit profitieren, ihre Schritte vorher in Softwareform systematisch aufzuschreiben.

Was ist mit denjenigen Auswertungsschritte, die nicht Teil einer Software-Pipeline sind? Mit Entscheidungen, bestimmte Datenpunkte auszuschließen und eine bestimmte Datenauswahl zu treffen? Auch diese Schritte lassen sich in die Form eines Programms gießen; das Programm enthält dann eben eine (hoffentlich kommentierte!) Liste, welche Auswahl aus den Rohdaten getroffen wurde. Die Software-Form hätte den Vorteil, dass alle Entscheidungen dieser Art im Programm vollständig dokumentiert sind; wo persönliche Einschätzungen in welcher Form eine Rolle spielen, wird damit transparent.

Natürlich würde die neue Veröffentlichungsform auch bestimmte Probleme mit sich bringen. Wer sich die Mühe macht, mit sorgfältig und u.U. sehr aufwändig durchgeführten Experimenten oder Beobachtungen Originaldaten zusammenzutragen, möchte verständlicherweise nicht, dass diese Daten gleich mit dem ersten dazu erschienenen Fachartikel Allgemeingut werden – und dann die Konkurrenten daran z.B. Auswertungen vornehmen, die man selbst auch noch vorhatte. Dazu müsste eine Art allgemein verbindliches Lizenzverfahren geschaffen werden, etwa, dass solche Daten zumindest in den ersten paar Jahren nur mit Genehmigung der Originalautoren verwendet werden dürfen. (Ähnliche Regelungen gibt es, zumindest in der Astronomie, bereits jetzt für bestimmte Sorten von Originaldaten, etwa denen, die mit den Teleskopen der ESO gewonnen wurden. Solche Daten werden allgemein zugänglich, aber erst nach einer bestimmten “Schonfrist”.) 

Wie ist es mit der Umsetzung?

So attraktiv eine solche deutlich andere Publikationspraxis aus den genannten Gründen wäre – wie kann der Übergang vom jetzigen zum neuen System gelingen?

Zwei Entwicklungen der letzten Jahre machen mir etwas Mut. Das eine ist die Open Access-Bewegung (wie schon gesagt z.B. hier oder hier), die es eigentlich noch schwerer haben sollte als die hier beschriebenen Reformen, da sie in Teilen direkt den Geschäftsinteressen der Fachverlage zuwider läuft. 

Die andere ist die Neuerung, in Anträgen auf Forschungsförderung (ist es in Bewerbungen bereits ähnlich?) nicht mehr die vollständige Publikationsliste von Wissenschaftlern abzufragen, sondern deren zehn bedeutendste Fachartikel (z.B. der letzten 10 Jahre). Damit verschiebt sich die Bewertung der Publikationstätigkeit automatisch: Im Zeitalter der vollständigen Publikationslisten lag es nahe, einfache, aber nicht unbedingt aussagekräftige Kriterien wie die Zahl der Fachartikel heranzuziehen, bei denen der Antragsteller Erstautor ist. Dementsprechend waren die Wissenschaftler in Versuchung, ihre Forschungsergebnisse auf möglichst viele Einzelartikel aufzuteilen – viel Artikel, viel Ehr’. Aus meinem alten Institut erinnere ich mich an einen bösen Spruch über einen Kollegen, nennen wir ihn hier fiktiv Dr. Mikrotowski, der viele nicht sehr gehaltvolle Artikel schrieb und über den daher gesagt wurde, es gebe eine natürliche Maßeinheit für den wissenschaftlichen Gehalt eines Artikels, nämlich das “Towski”.

Aus beiden Entwicklungen schöpfe ich zunächst einmal die Hoffnung, dass in der wissenschaftlichen Community eine gewisse Flexibilität besteht, bestehende Veröffentlichungspraxis zu verändern, wenn es denn gute Gründe dafür gibt (was nicht heißen soll, dass solche Veränderungen einfach und leicht zu bewerkstelligen sind, aber immerhin).

Also heißt es: Mundpropaganda. Kollegen überzeugen. Jeden, der darüber flucht, dass er wieder einen Arbeitstag damit verloren hat, die in einem Fachartikel nicht beschriebenen Schritte einer Auswertung zu rekonstruieren, darauf hinweisen, dass es auch anders gehen könnte. Für Astronomen, die selbst Software schreiben: In Erwägung ziehen, ob man die Software nicht unter einer Lizenz veröffentlichen kann, die entsprechende Transparenz eingebaut hat. Die GNU Public Science License: Wer ein so lizenziertes Programm zur Auswertung wissenschaftlicher Daten verwendet, verpflichtet sich bei der Veröffentlichung als Fachartikel, die als Input verwendeten Daten, etwaige angepasste Programmversionen und die von ihm gewählten Einstellungen für Programmparameter mit zu veröffentlichen.

Und vielleicht könnten Institutionen wie die DFG diese Art von Transparenz dann auch bei Projektanträgen ermutigen, und Artikel mit “algorithmischer Ergänzung” als Zeichen dafür, dass sich die Autoren besonders für die Nachvollziehbarkeit ihrer Arbeit einsetzen, besonders gewichtig werten.

In der Astronomie sollten die technischen Voraussetzungen für das neue Veröffentlichungsformat bereits jetzt im wesentlichen gegeben sein. In den anderen mir zugänglichen Teilen der Physik sieht es ähnlich aus – allerdings würde z.B. die Teilchenphysik dem System seine Grenzen aufzeigen, denn die Originaldaten eines Experiments an einem Teilchenbeschleuniger nehmen enorm viel Platz weg; den Speicherplatz von der Größenordnung 100 Petabyte, den CERN für die Daten der LHC-Experimente bereitstellt, kann das Webportal einer Fachzeitschrift natürlich nicht stemmen. Solche Projekte brauchen für die Datenspeicherung und -erschließung dann natürlich ganz eigene Ressourcen – und planen ja in der Regel auch entsprechend.

Wie es in der Biologie ist, in der Medizin, in der Chemie, das weiß ich nicht. Vielleicht kann der ein oder andere Leser dazu etwas sagen? Würde das hier vorgeschlagene Format auch in diesen Fächern funktionieren?