Gegen den Kontrollverlust

HYPERRAUM.TV


Als mir eine Pressemeldung der Universität des Saarlandes auf den Schreibtisch flatterte, in der es um einen neuen Sonderforschungsbereich und um Softwaresysteme ging, die laut Headline „ihr Verhalten selbst erklären“, fand ich das sofort extrem spannend. Hatte ich doch in der letzten Zeit viel über Themen aus der Künstlichen Intelligenz berichtet und dabei immer wieder von dem Faktum gehört, dass Forscher, die neuronale Netze entwickeln, die Entscheidungsfindung ihrer eigenen Systeme oft selbst nicht mehr nachvollziehen können. Aber es fängt schon viel früher an, man muss gar nicht maschinelles Lernen bemühen. Wer kennt die Situation nicht aus eigener Erfahrung: Der PC produziert gelegentlich lästige Software-Abstürze, deren Ursachen selbst die besten IT-Experten nicht entschlüsseln können. Da ist mal was, das dem offensichtlichen und anwachsenden Kontrollverlust in der Informatik entgegenwirkt, so habe ich gedacht! Das „Was“ war natürlich auch ein „Wer“ – nämlich Holger Hermanns, Sprecher des Sonderforschungsbereichs 248.

Also: Ich fand das Thema spannend, allerdings beschlich mich gleichzeitig auch die Sorge, dass die Umsetzung in eine halbwegs brauchbare Sendung für HYPERRAUM.TV – na, sagen wir mal – herausfordernd werden könnte. Denn die Optimierung der Zuverlässigkeit informatischer Systeme, das hörte sich nicht nach einem Bringer für eine allgemeinverständliche Darstellung an. Wie das im Leben manchmal so ist, bin ich gleich zwei Irrtümern aufgesessen. Zuerst einmal bin ich davon ausgegangen, dass Hermanns neuronale Netze im zentralen Fokus seiner eigenen Forschungsaktivitäten hat, was sich gleich zu Beginn meines Interviews als falsch herausstellte. Noch mehr daneben lag ich allerdings in meiner Einschätzung, hier ein sprödes, schwer vermittelbares Thema auf die eigene Agenda gesetzt zu haben. Das verdanke ich zuerst einmal Holger Hermanns, der übrigens für sein Projekt “Ethics for Nerds – An advanced Course in Computer Science” an der Saar-Uni, dieses Monat übrigens als Hochschulperle des Stifterverbandes ausgezeichnet wurde.

Herrmanns hat seine Prinzipien, insofern ist er wohl das, was man als „typisch deutsch“ bezeichnen würde. Diese Prinzipien artikuliert er, wenn nötig – also beispielsweise im Gespräch mit einer informationstheoretisch nicht auf Augenhöhe stehenden Journalistin – gern auch im harten Holzschnitt. So sagt er beispielsweise: „Für Systeme mit maschinellem Lernen könnte man sehr starke Garantien geben, aber dafür müsste man sie auf ganz neutrale Art angelernt haben – und das ist in der Praxis nie der Fall. Ich würde meine Hand dafür ins Feuer legen, dass Anwendungen mit maschinellem Lernen typischerweise gegen die Annahmen verstoßen, unter denen man Korrektheitsaussagen machen kann.“ Oder auch das: „Mit den Garantien, die man heute für autonomes Fahren geben kann, kann man gern autonome Fahrzeuge bauen, die sollen dann aber bitte nicht fahren, sondern auf der Straße stehen, dann richten sie keinen Schaden an.“ Hermanns treibt die Frage nach dem Warum des von Software produzierten Ergebnisses. Er will darauf klare Antworten und also Systeme entwickeln, die nicht nur ein – selbstverständlich stets! – korrektes Ergebnis produzieren, sondern dank verifizierbarer Methoden der Programmierung immer auch gleich selbst nachvollziehbar erklären können, wie sie es gefunden haben. Hermanns hat also nicht nur seine Prinzipien, ihn treibt auch eine Vision: Er will aus der „Dystopie unkontrollierbarer IT-Landschaften eine Utopie der Verlässlichkeit“ machen. Das ist ein mächtiger Anspruch, der – für jeden ersichtlich – drei Konsequenzen haben muss. Erstens: Kontrollierbare Systeme werden zwangsläufig schlichter sein als die heutigen, nur so kann der Informatiker dem Kontrollverlust faktisch entgegenwirken. Zweitens muss man bei diesem heute noch bodenlosen Thema da anfangen, wo dieser Perspektivenwechsel am einfachsten zu bewerkstelligen ist – und drittens braucht es dafür halt auch Forschungsgelder. Um hiermit anzufangen: Die DFG finanziert dieses auf zwölf Jahre konzipierte, transregionale Sonderforschungsprojekt aus fünfzehn Teilbereichen mit elf Millionen Euro zunächst für vier Jahre. Die örtlichen Informatik-Standorte der Saar-Uni sowie der beiden MPIs für Informatik und für Softwaresysteme sowie die TU in Dresden sind die Projektpartner. Was nun die Frage anbelangt, wie das beste Einstiegsszenario in die Denkwelt der Zukunfts-Informatik zu wählen ist, da hat Hermann eine präzise Vorstellung: Man müsse es da suchen, wo logische Systeme die Fakten schaffen. Also dort gerade nicht, wo in der Informatik inzwischen Statistik das Sagen übernommen hat, beim so öffentlichkeitswirksam verfolgten maschinellen Lernen samt neuronalen Netzen. Bei solcher Programmierung hält Hermanns das tief dringende Ansinnen heute einfach nicht für Erfolg versprechend machbar. Trotzdem sind auch zahlreiche Experten aus der Künstlichen Intelligenz mit an Bord des Forschungsbereiches. Ihre Aufgabe wird es sein, die zuerst bei logischen Systemen entwickelten Erklärungsmethoden dann auch schrittweise in die Welt des maschinellen Lernens einzuführen.

Zwar entstand auch die Künstliche Intelligenz in den fünfziger Jahren ursprünglich auf der Grundlage logischer Systeme, aber mit der Einführung des maschinellen Lernens ist sie von der Statistik okkupiert worden, und auch neuronale Netze sind heute in fester Hand einer nicht gesicherten, weil eben nur statistisch prognostizierbaren Ergebnislage. Nicht mehr Fakten durch logisches Schließen, sondern Wahrscheinlichkeiten mit der Auswertung und Korrelation gewaltiger Datenmengen produzieren die Ergebnisse. Das ist schlicht der Supergau für einen theoretischen Informatiker wie Hermanns, der sich mit der Verifikation von Softwaresystemen befasst – und sich zur Aufgabe gemacht hat, die Frage zu beantworten, wie ein Programm zu gestalten ist, dass tatsächlich „nur das macht, aber auch genau das, was es soll und nicht anderes“!

Wer mehr dazu wissen will, der werfe einen Blick in unser Gespräch, das aus meiner Sicht erstaunlich kurzweilig geworden ist – nicht zuletzt dank meines Gegenübers, der offensichtlich gern hart am Wind segelt!

Susanne Päch

Veröffentlicht von

Ich habe viele Jahre journalistisch im Bereich Wissenschaft und Technologie gearbeitet, später dann mit meiner kleinen Beratungsfirma als Medienexpertin. 2010 erfüllte ich mir meinen großen Traum und gründete den Spartensender HYPERRAUM.TV, für den ich eine medienrechtliche Rundfunklizenz erteilt bekam. Seither mache ich als One-Woman-Show mit meinem „alternativen TV-Sender“ gewollt nicht massentaugliches Fernseh-Programm. Als gelernte Wissenschaftshistorikern habe ich mich gänzlich der Zukunft verschrieben: Denn die Vergangenheit können wir nur erkennen, die Zukunft aber ist für uns gestaltbar. Wir sollten versuchen, nicht blind in sie hinein zu stolpern!

3 Kommentare

  1. Systeme, die erklären können, warum sie etwas machen, sind nicht per se sicherer, als solche, die das nicht können, denn die Erkärung kann 1) falsch sein oder 2) sie kann zwar richtig sein, doch die Software kann trotzdem Fehler enthalten. Das ist genau wie beim Menschen, der ihnen auch erklärt was er macht und warum er es macht, wobei sich dich dann zeigt, dass die Erklärung nicht mit der Praxis übereinstimmt.

    Und jede programmierte Software enthält zuerst einmal Fehler, möglicherweise sogar mehr als Systeme, die nicht programmiert, sondern trainiert wurden. Es gibt zwar schon heute verifizierte und sehr sichere Software. Doch solche Software hat eigene, sehr zeitaufwendige und teure Verifikationsschritte durchlaufen und besteht zudem in der Regel nur aus ein paar tausend Zeilen Programmcode, nicht aber aus Millionen von Zeilen wie viele heutige Softwarepakete. Es ist nun mal so: Fehlerfreiheit erhält man nicht gratis. Das gilt generell und nicht nur für Software.

    Wenn man selbsterkärende Software anstrebt, die zudem fehlerfrei sein soll, dann sollte man versuchen gänzlich auf Programmieren zu verzichten. Statt dessen müsste die Grundsoftware über logische Fähigkeiten verfügrn mit denen sie eine Aufgabe selber lösen und dann auch die Lösung erklären kann. Heutige Logiksysteme sind aber wohl in ihren Fähigkeiten begrenzt. Aber irgendwann wird es möglich sein, dass sich Systeme selbst aufbauen und dies mit grossen Sicherheitsgarantien. Ausgangspunkt könnte eine Softwarespezifikation sein. Das System würde dann ein Programm synthetisieren, welches die Spezifikation erfüllt und zwar so synthetisieren, dass jeder Schritt beweisbar richtig wäre.

  2. Im Artikel Saarländische Spitzenforschung Diese Programme erklären sich selbst liest man ganz am Schluss (Zitat): Und wenn es selbsterklärende Software schon vor zehn Jahren gegeben hätte, wäre höchstwahrscheinlich der Abgasskandal um den Dieselmotor vermieden worden, sagt der Informatiker der Saar-Uni. Der sei ja nur möglich gewesen, weil eine hinterlistig programmierte Motorsteuerung die offiziellen Testprozeduren auf den Prüfständen austricksen konnte. „Eine selbsterklärende Motorsteuerung hätte ihre Tricks nicht verheimlichen können.“
    Doch: Eine selbsterklärende Software kann nur dann ihre Tricks nicht verheimlichen, wenn sie nicht von menschlichen Programmierern geschrieben wurde. Sobald der Mensch Zugang hat (und damit auch der Chef des Menschen, der programmiert), werden alle denkbaren Tricks möglich. Die selbsterklärende Software lügt dann einfach und schafft es damit noch besser etwas zu vertuschen.

    Tatsächlich ist ja ein Einwand gegen selbst erklärende Software gerade die, dass der Anwender zu etwas überredet werden kann, was er gar nicht überschaut. Dies liest sich im scilogs-Beitrag Die Diskussion um Gestaltung des technologischen Fortschritts am Beispiel der Künstlichen Intelligenz – Zu den neusten Vorschlägen der High Level Expertengruppe der EU-Kommission so: Ein Kritikpunkt, den auch Yogeshwar vorbringt, behandelt das von der Expertengruppe geforderte Prinzip der „Erklärbarkeit“ von KI gelieferter Wirkungen. Versteckt sich hinter dieser Erklärbarkeitsforderung, die dadurch erreicht werden soll, dass der Nutzer ein „informiertes Einverständnis“ gibt, vielleicht eine Hintertür für die KI-Entwickler, fundamentale Prinzipien der Menschenwürde auszuhebeln, zum Beispiel indem man dem Nutzer Erklärbarkeit vorspielt, um sein Einverständnis zu erhaschen? Drückt dieser dann die „Okay“-Taste, wäre der KI-Entwickler nicht nur juristisch, sondern auch ethisch aus dem Schneider, schliesslich hat der Nutzer den Erklärungen ja zugestimmt!

  3. Jeder Programmierer weiß das, ein fehlerfreies Programm gibt es nicht. Ich meine jetzt keine Fehler in der Syntax, sondern in der logischen Struktur. In komplexen Prgrammen kann man nicht alle Möglichkeiten durchprüfen. Die Zahl ist viel zu hoch. Und auch das Prüfprogramm kann nur das überprüfen, woran die Systemanalytiker gedacht haben.
    Und dazu kommen noch die Fehler in der Hardware. Die lassen sich auch nicht ausschließen und werden oft nur durch Zufall entdeckt.
    Ich erinnere in diesem Zusammenhang an einen Fehler in einem Mikroprozesor von MS, den man nur durch Zufall bei der Berechnung von Pi gefunden hat. Auf der 15. Nachkommastelle war ein Fehler. Die gesamte Produktion dieses Prozessors musste eingestellt werden.

Schreibe einen Kommentar


E-Mail-Benachrichtigung bei weiteren Kommentaren.
-- Auch möglich: Abo ohne Kommentar. +