Besser, weiter, länger – Algorithmen auf dem Prüfstand

Die wissenschaftliche Arbeit, um die es in diesem Blogartikel geht, basiert zwar auf äußerst komplizierten Algorithmen, die Ergebnisse sind aber für alle verständlich. Ja, mehr noch: Sie sind ein wichtiger Bestandteil unseres täglichen Lebens. Sie können beeinflussen, ob wir morgens eine zusätzliche Schicht Kleidung überstreifen oder einen Schirm mitnehmen, von welchen Finanzgeschäften wir lieber die Finger lassen und wonach wir unsere Altersvorsorge ausrichten. Dies alles entscheiden wir, ohne genau zu wissen, auf welchen Berechnungen die Empfehlungen basieren, auf die wir uns verlassen, und wie seriös sie wirklich sind.  

Zeit für ein Gespräch mit Alexander Jordan aus der Forschungsgruppe „Computational Statistics“ am Heidelberger Institut für Theoretische Studien (HITS): Er kann nicht nur die mathematisch-statistischen Grundlagen der erwähnten Algorithmen erklären. Er kann auch ziemlich gut einschätzen, wie verlässlich die Ergebnisse sind, denn mit seiner Forschung trägt er dazu bei, diese Verlässlichkeit stetig zu verbessern. Der promovierte Mathematiker forscht am HITS zu den Bewertungskriterien von Vorhersagemodellen, und Unsicherheit ist für ihn dabei kein unbequemer Nebeneffekt, sondern eine Größe, mit der gerechnet werden muss. Doch dazu später mehr.

Prognosen: Kriterien statt Kaffeesatz

Es geht in diesem Beitrag also um Prognosen, genauer gesagt, um deren Evaluierung und die Kriterien, die dafür angelegt werden. Dabei ist eine Prognose eine Voraussage einer künftigen Entwicklung, künftiger Zustände oder des voraussichtlichen Verlaufs. Im Gegensatz zur Prophezeiung oder dem Lesen im Kaffeesatz orientieren sich Prognosen an wissenschaftlichen Kriterien bzw. lassen sich wissenschaftlich begründen. Aber welche Zutaten braucht man, wissenschaftlich betrachtet, für eine richtig gute Prognose, auf die man sich – Unsicherheit hin oder her – verlassen kann? Und warum beschäftigt sich eine ganze Forschungsgruppe am HITS damit?

„Es gibt grundsätzlich viele Wege, Vorhersagen zu treffen. Entscheidend ist, dass dabei Bewertungskriterien verwendet werden, die nicht ausgetrickst werden können“, erklärt Alexander Jordan die Herangehensweise. „Hierin liegt ein Schwerpunkt unserer Arbeit.“ Doch neben dem Anreiz, eine Prognose nach bestem Wissen abzugeben, braucht es für gute Vorhersagen noch weitere Faktoren: „Wichtig sind auch möglichst aktuelle Daten und ein gutes Verständnis, wie der aktuelle Zustand die Zukunft beeinflusst. Oftmals werden diese Zusammenhänge aus einer Datenhistorie abgeleitet.“

Beispiel Wettervorhersagen: Unsicherheiten mitberechnen

So weit, so theoretisch. Wie könnte dies nun an einem konkreten Beispiel aussehen? Nehmen wir dazu eine Vorhersage, die uns alle täglich betrifft, und auf die viele Menschen äußerst sensibel reagieren: Wettervorhersagen. Sie haben in den letzten Jahren stetig an Beliebtheit dazugewonnen, und die passende Wetter-App auf dem Handy ist längst Teil des Lifestyles. Aber wie wird die Wahrscheinlichkeit berechnet, trockenen Fußes oder Hauptes von einem Ausflug zurückzukehren oder auf dem Weg zur Arbeit die frisch geföhnte Frisur einzubüßen?

„Zuerst bestimmt ein Wetterdienst den Zustand der Atmosphäre – und das möglichst genau. Dann werden dort die Bewegungen und Ströme mithilfe physikalischer Modelle – oder inzwischen auch rein datengetrieben – fortgerechnet. Da aber der aktuelle Zustand nicht vollständig und ohne Unsicherheit erfasst werden kann, finden die Fortrechnungen mehrmals unter verschiedenen Bedingungen statt“, sagt Jordan. Das Ziel ist, dabei sowohl die möglichen als auch die wahrscheinlichsten Ausgänge abzubilden. „Und als Statistiker können wir dann Methoden liefern, mit denen verbleibende systematische Fehler in diesen Fortrechnungen erkannt und berücksichtigt werden können, um die Verlässlichkeit der Vorhersagen zu erhöhen.“

Doch obwohl sich die Genauigkeit von Wettervorhersagen in den letzten Jahren auch aufgrund der enorm gestiegenen Rechenleistung von Computern stetig verbessert hat – um ungefähr einen Tag pro Dekade – lässt die Qualität von Voraussagen manchmal noch sehr zu wünschen übrig. Aber wie lässt sich die Qualität einer Vorhersage bestimmen und gegebenenfalls verbessern? Und welche Kriterien stehen den Wissenschaftler*innen dazu zur Verfügung?

Neue Paradigmen für Prognosen: Die Kombination macht den Unterschied

Alexander Jordan beschreibt es folgendermaßen: „Über die wissenschaftlichen Disziplinen hinweg, in der Meteorologie bereits seit Jahrzehnten, vollzieht sich ein Paradigmenwechsel; von einer Prognose als einzelnem Wert zu der Form einer Verteilung – einer Beschreibung, welcher Wert mit welcher Wahrscheinlichkeit eintreten wird. Man kann sich das auch so vorstellen: Hinter den Kulissen ist eine Vorhersage heutzutage oftmals eine Kombination aus einer besten Einzelwert- oder Punktprognose und der zugehörigen Unsicherheit. In Phasen besonders hoher Unsicherheit wirken Punktprognosen alleine daher oft unzuverlässig.“

Um die Qualität einer Vorhersagemethode zu bestimmen, mittelt man also über einen längeren Beobachtungszeitraum einen Wert, der mithilfe bestimmter Verlustfunktionen für jedes Vorhersage-Beobachtungs-Paar errechnet wird. „Verbessern lassen sich Vorhersagen durch Transformationen, die im Mittel zu einem niedrigeren Verlust führen. Zusätzlich gibt es grafische Methoden zur Bestimmung der Art eines systematischen Fehlers. So kann gezielter nach einer geeigneten Korrektur gesucht werden.“

Die Vielfalt der Anwendungen: Wetter, Viren und das Weltall

Was Jordan dabei besonders fasziniert, ist der interdisziplinäre Aspekt seiner Arbeit und die Bandbreite der Anwendungsfelder, die ihm Einblicke in die unterschiedlichsten Bereiche gibt – überall dort, wo Vorhersagen gebraucht werden.

„Ob bei der Modellierung von riesigen Objekten in der Astrophysik oder von winzigen Molekülen in der Biomechanik – allein am HITS erleben wir Statistiker durch die datengetriebene Forschung eine unglaubliche Vielfalt.“

Zusammenfassend lässt sich sagen, dass Vorhersagen meist objektiver klingen, als sie in Wirklichkeit sind, eine Art „best guess“ sozusagen, der jedoch, je nach der Qualität der Daten, die ihm zugrunde liegen, schon eine ziemlich hohe Trefferquote hat und sich in Zukunft weiter verbessern wird.

Die Grundlagenforschung von Alexander Jordan in der Gruppe „Computational Statistics“ unter Leitung von Tilmann Gneiting trägt dazu bei, die Qualität nicht nur von Wettervorhersagen stetig zu verbessern. Sie kommt außerdem überall dort zum Einsatz, wo auf der Grundlage von Prognosen gehandelt werden muss. Dabei war die Covid-19-Pandemie der letzten drei Jahre nur eines von zahlreichen Beispielen. Die wissenschaftliche Arbeit der Forschungsgruppe profitiert dabei von der exzellenten Computerinfrastruktur am HITS, der Universität Heidelberg und am Karlsruher Institut für Technologie. Die enorme Rechenleistung und Speicherkapazität der Rechen-Cluster machen Modelle und Simulationen im großen Stil erst möglich.

Im nächsten Teil der Reihe „Wie aus Computerdaten Wissenschaft wird“ spricht Jan Stühmer, Leiter der Forschungsgruppe „Machine Learning and Artificial Intelligence“, über sein Forschungsgebiet und erklärt, was es mit „„Geometric Deep Learning“ auf sich hat, und was Biochemie und Materialwissenschaften damit zu tun haben.

Mehr über die Forschung der Gruppe „Computational Statistics“ allgemein unter https://www.h-its.org/de/forschung/cst/. Mehr zum Pandemie Nowcast: https://www.h-its.org/de/2022/11/22/campus-report-nowcast/ und https://www.youtube.com/watch?v=wS4aGyPwEeA.