AlgorithmWatch – Brauchen wir eine Kontrolle von Algorithmen?

BLOG: Datentyp

Informatik, Daten und Privatsphäre
Datentyp

Haben die User den Microsoft-Chatbot Tay nur testen wollen als sie aus ihm einen rassistischen Sprücheklopfer machten oder war hier ein fehlerhafter Algorithmus am Wert, der eine TÜV-Prüfung nie bestanden hätte? Das Beispiel des Chatbots Tay, der über Twitter kommunizierte, muss derzeit oft herhalten, um die Unzulänglichkeiten von Algorithmen zu illustrieren.

Aktuell verwendete Bildersuche-Algorithmen erlernen das Erkennen von Objekten anhand einer Vielzahl von Bildern, die das gesuchte Objekt enthalten und die vorher bereits von Menschen klassifiziert wurden. Der Algorithmus ermittelt dann ohne weitere menschliche Interaktion eine Gemeinsamkeit aller Bilder, speichert diese und wendet sie anschließend auf ihm bisher unbekannte Bilder an, um das Objekt auch auf diesen zu erkennen. Der Ansatz ist naheliegend, führt aber in der Praxis zu grotesken (und oft kolportierten) Fehlern: So werde beispielsweise das schöne Wetter auf Werbefotografien als gemeinsames Merkmal von Produktabbildungen ermittelt, die dann bei Regenwetter nicht mehr erkannt würden, oder die Hautfarbe von Menschen spielte plötzlich bei der Klassifizierung von Bildern als „Mensch“ eine Rolle oder ein Fluggast werde als gefährlich eingestuft, weil er Krisenländer nach einem Muster bereist, das typisch für Terrorhelfer sei, jedoch genauso gut auf Kriegsberichterstatter zutreffe. Der Algorithmus führt dann zu erheblichen Schwierigkeiten für diejenigen, die fälschlicherweise in Terrorverdacht geraten. Beim maschinellen Lernen schleichen sich komplexe Fehler ein, doch auch überwachtes maschinelles Lernen ist kaum zu kontrollieren.

Algorithmen können also Fehler aufweisen. Sie können unzureichend sein, um für bestimmte komplexe Anwendungsfälle geeignet zu sein. Oder sie können von Menschen falsch eingesetzt werden, die Eigenschaften eines Algorithmus nicht richtig verstehen. In der Folge kommt es zu fehlerhaften Systemfunktionen, die Menschen benachteiligen, wirtschaftlich schädigen oder stigmatisieren – vielleicht sogar töten, wenn es sich um Algorithmen von Systemen handelt, die im Drohnenkrieg verwendet werden.

Die unangenehme Frage nach der Verantwortung wird gestellt. Sind Entwickler von statistischen Verfahren oder mustererkennenden Techniken verantwortlich für den Einsatz ihrer Erfindungen in ungeeigneten oder menschenfeindlichen Anwendungsszenarien? Die meisten Forscher und Entwickler würden dies wohl verneinen – und sie können dies gut begründen, denn die Entscheidung, einen Algorithmus tatsächlich zu implementieren und ihn für einen Anwendungsfall anzupassen, treffen andere Menschen. Diese Umsetzung geschieht gerade nicht automatisch. Und wer die Implementierung dann produktiv einsetzt, trägt auch die Verantwortung für die Wirkung. Umgekehrt können Anwender von Algorithmen jedoch einwenden, dass sie lediglich den Stand von Wissenschaft und Technik in eine produktive Umgebung bringen und auf die bestmögliche Qualität der von anderen entworfenen Algorithmen oder von Dritten bereitgestellten Softwarebibliotheken vertrauen. Auf dem Weg von einer algorithmischen Idee bis zum produktiven Einsatz in Hard- und Software sind viele Akteure beteiligt. Macht sich Verantwortungslosigkeit breit?

Die heute anlässlich der re:publica 10 gestartete Initiative AlgorithmWatch versucht, der gefürchteten Verantwortungslosigkeit beim Einsatz von Algorithmen zu begegnen. Der Fokus liegt dabei auf der algorithmischen Entscheidungsfindung (engl.: algorithmic decision making, ADM), die nach Auffassung von AlgorithmWatch längst zum täglichen Leben gehöre und an Bedeutung zunehme, wobei ADM-Prozesse dabei der Wahrnehmung der von ihnen Betroffenen entzogen seien. Das publizierte ADM-Manifest führt dabei fünf Thesen bzw. Forderungen auf:

ADM ist niemals neutral.

Die Schöpfer von ADM-Prozessen sind verantwortlich für ihre Resultate. ADM-Prozesse werden nicht nur von ihren Entwicklern erschaffen.

ADM-Prozesse müssen nachvollziehbar sein, damit sie demokratischer Kontrolle unterworfen werden können.

Demokratische Gesellschaften haben die Pflicht, diese Nachvollziehbarkeit herzustellen: durch eine Kombination aus Technologien, Regulierung und geeigneten Aufsichtsinstitutionen.

Wir müssen entscheiden, wie viel unserer Freiheit wir an ADM übertragen wollen.

AlgorithmWatch setzt sich zum Ziel, Auswirkungen algorithmischer Entscheidungsfindungsprozesse aufzuzeigen und ethische Konflikte zu beleuchten. Was AlgorithmWatch nicht als Zielsetzung benennt, ist zu einem “Algorithmen-TÜV” zu werden. Diesen Begriff hatte Bundesjustizminister Heiko Maas im Dezember 2015 in die Debatte eingebracht, als er sich für eine Charta der digitalen Grundrechte einsetzte. Eine solche Institution würde die Lauterkeit der Programmierung gewährleisten und nach Maas sicherstellen, dass die Handlungs- und Entscheidungsfreiheit der Betroffenen nicht manipuliert werde.

Es wäre wohl eine undankbare Aufgabe, eine Unbedenklichkeit von Algorithmen zu bescheinigen. Man stelle sich vor, Facebook würde seinen bisher geheim gehaltenen Algorithmus, der darüber entscheidet, welche Beiträge in unserem Newsfeed auftauchen, offen legen und einer unabhängigen Prüfung unterziehen lassen. Experten könnten dann beispielsweise feststellen, dass statistische Verfahren eingesetzt werden, die diskriminierungsfrei entworfen wurden und das Ziel verfolgen, das Nutzerinteresse an den Beiträgen zu maximieren. Aber könnten sie auch feststellen, dass es kein denkbares Szenario gibt, in dem der Algorithmus in unglücklicher Weise Beiträge filtert, die eine gewisse Sichtweise gemein haben? Oder dass Menschen, die ein gemeinsames Merkmal aufweisen, nicht doch unter besonderen Umständen weniger stark im Feed berücksichtigt werden? Wohl kaum, denn es gäbe nicht ausreichend viele Testdaten, die alle vorstellbaren Szenarien abdecken. Die Plakette für den Algorithmus wäre daher in ihrer Aussagekraft stark beschränkt. Fast unvorstellbar wäre zudem, dass im Kontext von Waffensystemen, die Personen anhand von Bildern identifizieren, eine Plakette seitens unabhängiger Gutachter vergeben würde. Wer möchte schon eine solche Verantwortung tragen?!

Wir dürfen gespannt sein, welche Aktivitäten AlgorithmWatch entfaltet. Verantwortungslosigkeit zu bekämpfen, ist ein Ziel, das mit viel Sympathie aufgenommen wurde. Experten verschiedener Disziplinen zusammenzubringen, die sich mit Algorithmen und algorithmischer Entscheidungsfindung beschäftigen, ist eine lobenswerte Idee. Ob sich die Anwender von Algorithmen von den dabei gewonnenen Erkenntnissen beeinflussen lassen werden, ist noch nicht absehbar.

”The purpose of computing is insight, not numbers.” (Richard Hamming) Ulrich Greveler studierte in Gießen Mathematik und Informatik, arbeitete sechs Jahre in der Industrie im In- und Ausland, bevor er als Wissenschaftler an die Ruhr-Universität nach Bochum wechselte. Seit 2006 lehrt er Informatik mit dem Schwerpunkt IT-Sicherheit an der Fachhochschule Münster (bis 03/2012) und der Hochschule Rhein-Waal (seit 03/2012). Sein besonderes Interesse gilt datenschutzfördernden Technologien und dem Spannungsverhältnis zwischen Privatsphäre und digitaler Vernetzung.

4 Kommentare

  1. Ja, ein sehr interessanter Text, sehr lustig wie politisch inkorrekt Tay gelernt hat, sehr lustig auch der ‘Algorithmen-TÜV’ von Heiko Maas, Stichwort ‘Verantwortungslosigkeit bekämpfen’.

    Ganz neu ist diese Thematik (“ADM”) natürlich nicht, so waren bspw. schon rein IT-basierte Bonitätsprüfungen, sogenanntes Credit-Scoring, Stichwort “Ü-Scoring” (es hat sich herausgestellt, dass Namenträger mit einem Ü im Vor- oder Nachnamen schlechter in praxi performierten, eben die Bonität meinend), vor Jahren in der öffentlichen Kritik.

    Und ‘Anwender von Algorithmen’ können ja auch gesetzlich angewiesen werden,
    MFG
    Dr. Webbaer

  2. Algorithmen sind wohl grundsätzlich nich TÜV-tauglich. Heisst das, dass Deutschland auf Algorithmen verzichten muss, weil Deutschland auf alles verzichten muss, was nicht eine amtliche Prüfmarke erhalten kann?

    • Witzigerweise sind in der BRD Arbeits- und Verfahrensanweisungen, die idR Algorithmen folgen, die per IT implementiert [1] sind, TÜV-tauglich.
      Sage und schreibe nimmt der bundesdeutsche TÜV sogenanntes Qualitätsmanagement ab.
      Der Schreiber dieser Zeilen nimmt insofern und nicht unamüsiert an, dass Heiko Maas et al. hier beizeiten einsteigen wird, in persona sozusagen.

      MFG + schönes Wochenende schon mal.
      Dr. Webbaer

      • [1]
        Upps, die Fußnote fehlte:
        Macht aber nichts, oder?, dass Arbeits- und Verfahrensanweisungen mittlerweile und dankenswerteweise “in IT gegossen” sind, könnte klar sein.
        Insofern betreiben größere Firmen auch IT-basierte Inter-Netze, die im Rahmen der Schulung wie Beanspruchung durch bspw. den TÜV, um eine sogenannte Zertifikation zu bekommen oder zu erhalten, gerade große Unternehmen, die Abnehmer von Dienstleistung sind, legen darauf sozusagen besonderen Wert, TÜV-tauglich sind.
        Klar, eine Formalie, eine Dullität, aber schon seit Langem zumindest in der BRD Usus.

Schreibe einen Kommentar