Die geheimnisvolle Innenwelt der künstlichen Intelligenz

So fängt’s an: Ein Informatiker programmiert eine Künstliche Intelligenz-App, startet sie und fragt: „Gibt es Gott?“

Und die App sagt: „Jetzt schon!“

Klar! Nur ein Witz! Doch ein Witz ist nach John Vorhaus Wahrheit und Schmerz, so auch dieser: Künstliche Intelligenz und unsere Angst davor:

„Wie sollen wir uns in einer Welt mit lauter KI-Maschinen fühlen, die wir nicht verstehen?“, fragen sich viele. Wo ist aber das Problem? Täglich begegnest du Tausenden Wesen, die du nicht verstehst. Schon meine Ex-Frau und ich kommen von verschiedenen Planeten: Karin von der Venus und ich aus der Tschechei.

Während meines Chemiestudiums habe ich meinen Wahlpflichtkurs in Quantenmechanik belegt. Statt wie ein braver Student nachts durch Münchner Kneipen zu ziehen, versuchte ich wochenlang, mit der Schrödinger-Gleichung das Wasserstoffatom zu berechnen. Bis ich eine Erleuchtung bekam: Ich riss die Tür unseres Schlafzimmers auf und brüllte: „Ich habe die Schrödinger-Gleichung verstanden!“

„Spinnst du?“, kreischte Karin. „Es ist drei Uhr in der Nacht!“

Glücklich schlüpfte ich ins Bett, um am nächsten Tag wieder unerleuchtet aufzuwachen – meine tiefe Einsicht in die Quantenmechanik und die Wahrscheinlichkeitsdeutung der Wellengleichung war spurlos verschwunden.

Frustriert schlief ich wieder ein. „Viele studieren jahrelang Quantenmechanik, bis sie glauben, sie zu verstehen“, tröstete mich Albert Einstein im Traum. „Sie haben aber nur gelernt, Quantenmechanik zu akzeptieren.“

Von der Quantenmechanik verlangt niemand, dass sie verständlich ist, obwohl ihre Gesetze sich über unser Denken ganz schön lustig machen. Doch künstliche Intelligenz solle gefälligst „ihre Entscheidungen erklären, sodass Menschen sie nachvollziehen können“, schreibt die Süddeutsche Zeitung. Warum ist dem so? Weil künstliche Intelligenz direkt am Heiligen Gral unseres Denkens kratzt – dem Denken selbst.

Seit ein künstliches neuronales Netz, AlphaGo der Google-Firma DeepMind, im Jahr 2016 einen der weltbesten Spieler des japanischen Spiels Go Lee Sedol geschlagen hat, ist das Schlagwort „künstliche Intelligenz“ zu einem Medienvirus mutiert – jeden Tag viele Schlagzeilen wert: Auch Angst einflößende: „Wird künstliche Intelligenz uns töten?“, heißt ein Buchtitel.

Doch unsere heutigen Künstliche-Intelligenz-Programme, künstliche neuronale Netze also, sind statistische Optimierungsverfahren zur Muster- und Spracherkennung. Keine Nachkommen des bösartigen Hal 9000 aus „2001: Odyssee im Weltraum“ – keine starke künstliche Intelligenz, die besser als wir denken und eigenes Bewusstsein haben würde. Die gibt es heute nicht einmal theoretisch!

Auch wenn künstliche neuronale Netze nicht ansatzweise so komplex und effizient lernen können wie ein kleines Kind, leisten sie Erstaunliches. Zumindest der Grundidee nach sind sie unserem Gehirn nachgebaut:

Ein dichtes Netz aus miteinander verbundenen Nervenzellen – Neuronen. Im Gehirn werden die vielen Verbindungen zwischen den Neuronen, die Synapsen, gestärkt, wenn wir lernen, reisen, neue Sachen machen, das heißt aktiv sind, und geschwächt, wenn wir mit Bier in der Hand vor dem Fernsehgerät sitzen.

Ähnlich ist es bei einem künstlichen neuronalen Netz: Die einzelnen Verbindungen zwischen den Neuronen bzw. Knotenpunkten darin werden jeweils gestärkt bzw. geschwächt, je nachdem, wie sie zu guten Ergebnissen beim Training des Netzes beitragen:

In die Eingabeschicht des künstlichen Netzes werden Daten eingelesen, zum Beispiel die Pixelwerte eines Bildes – jedem Eingabeneuron wird ein Pixelwert zugewiesen. Diese Pixelwerte werden durch weitere sogenannte versteckte Schichten des Netzes „propagiert“. Aus der Ausgabeschicht kommen dann veränderte Werte heraus.

Aus der Differenz zwischen den Ausgabe-Werten und den richtigen bzw. gewünschten Werten wird der Netzfehler berechnet, mit dem die Verbindungen im Netz neu angepasst bzw. gewichtet werden. Das wird nach jedem Durchlauf von Pixelwerten eines neuen Bildes gemacht, bis der Netzfehler minimal wird.

Oft ist jedes Neuron einer Schicht mit allen Neuronen der zwei benachbarten Schichten verbunden. Die Idee dazu gibt es schon seit 1943. Nur waren unsere Rechner früher so schwach, dass sie mit nur ein paar Schichten rechnen konnten. Deswegen hießen die Programme damals einfach nur neuronale Netze.

Durch die große Rechenleistung moderner Rechner kamen etliche Schichten dazu, und so heißen die Programme jetzt tiefe neuronale Netze. Sonst hat sich nichts geändert. Na, ja, außerdem muss man diese Netze mit großen Datensätzen trainieren.

Ein Kind sieht einen einzigen Hund und erkennt ab da jeden anderen Hund als Hund. Zumal es von seinem ersten Hund, den es gesehen hatte, gebissen wurde. Auch wenn die Hunderasse Xoloitzcuintli heiß, weiß jedes Kind, dass es ein Hund ist.

Ein künstliches neuronales Netz muss dagegen mit Tausenden bis Millionen Hundebildern gefüttert worden sein, um immer einen Hund als Hund zu erkennen. Heutzutage gibt es diese großen Datensätze. Auch mit unseren ganz privaten Daten – die kann man kaufen. Von Facebook zum Beispiel.

China ist schon eine Künstliche-Intelligenz-Weltmacht, weil es in China viel mehr frei zugängliche Personendaten gibt als Datenschutz. 😊

Trotzdem scheinen künstliche neuronale Netze – mit ein paar mathematischen Kniffen beflügelt – zwei grundsätzliche Eigenschaften des menschlichen Gehirns zu besitzen: lernen und generalisieren zu können. Das untrainierte Netz ist ein nach Erfahrung und logischen Überlegungen konstruiertes mathematisches Modell, das trainierte Netz eine Blackbox – wie konnte das künstliche Netz diesen Hund als Hund erkennen, obwohl es den Hund noch nie gesehen hatte?

Deswegen suchen KI-Forscher nach Erklärungen, warum und wie künstliche neuronale Netze so wunderbar Muster in chaotischen Datensammlungen erkennen und Daten klassifizieren können.

Die Theorie des Informationsflaschenhalses (information bottleneck) liefert vielleicht einen guten Ansatz, um unsere „Bildungslücken“ über künstliche neuronale Netze zu schließen. Sie wurde vom Neuroinformatiker Naftali Tishby von der Hebräischen Universität in Jerusalem entwickelt:

Danach können die tiefen neuronalen Netze effizient die Eingabewerte von unwichtigem Ballast befreien. Das tiefe Lernen „drückt“ nur die allgemein gültigen Signale durch den „Flaschenhals“ des neuronalen Netzes, unwichtige Rauschsignale werden herausgefiltert. „Das Wichtigste beim Lernen ist zu vergessen“, sagt Tishby.

Es wird aber auch fleißig experimentiert, um die Blackbox der künstlichen neuronalen Netze zu „entzaubern“: Was passiert in den Netzen beim Lernen? Könnten wir bei der Hirnforschung nicht nur die Struktur solcher Netze sondern auch ein paar Arbeitsmethoden abgucken?, fragten sich vor kurzem die KI-Forscher der Google-Firma Deep Mind.

Hirnforscher konnten ja das Gehirn zuerst „dank“ seinen Verletzungen erforschen: Wie ändert sich die Funktion des Gehirns, wenn kleine Teile davon verletzt werden und nicht mehr funktionieren?

Im Jahr 1848 schoss zum Beispiel bei einer Explosion eine Eisenstange durch das Stirnhirn des amerikanischen Sprengmeisters Phineas Gage.

Der Unfall machte den netten Herrn Gage zu einem Rowdy. Die Verletzung änderten massiv seine Persönlichkeit: Plötzlich zockte der brave Bürger und schimpfte wie ein Matrose. War also das Stirnhirn, der präfrontale Cortex, auch für unser soziales Verhalten und die Moral zuständig? „Schuss durch die Seele“, nannte der Spiegel vor ein paar Jahren den Fall.

Dank den neuen bildgebenden Verfahren müssen die Hirnforscher im dritten Jahrtausend zum Glück nicht mehr auf Verletzungen und Erkrankungen des Gehirns warten und können gezielt immer kleinere Gehirnteile untersuchen, ja, einzelne Neuronen:

2005 erforschte das Team des Gehirnforschers Quiroga das Problem der visuellen Invarianz: Wie identifizieren wir Sachen, wenn wir sie aus einem Blickwinkel heraus bzw. einer Ansicht noch nie gesehen haben? Wie erkennt eine Frau ihren Mann, der sein Aussehen mit vier Maß Bier grundlegend geändert hatte? Wieso erkennst du deinen kleinen Sohn, auch wenn Hansi von einer Schokoeis-Orgie bei einem Geburtstag zurückkehrt.

Bei einem Experiment sahen die Neurowissenschaftler verblüfft, dass eine Gehirnzelle nur dann feuerte, wenn sie ein Bild der Schauspielerin Jennifer Aniston sah. Auf andere Schauspieler reagierte die Gehirnzelle nicht, nur auf Jennifer Aniston. Wie ein verliebter Stalker. Später fand man aber im Gehirn von anderen Menschen Zellen, die auch auf andere Konzepte als Jennifer Aniston spezialisiert waren: So entdeckte man Konzeptzellen, die nur bestimmte Aufgaben ausführen.

Gebe es auch in künstlichen neuronalen Netzen solche hoch spezialisierten Neuronen, wie die Jennifer-Aniston-Neuronen im menschlichen Gehirn?, fragten sich die KI-Experten der Google-Firma Deep Mind. Um die Blackbox der neuronalen Netze zu entzaubern, wollten sie einzelne Neuronen und Neuronengruppen ausschalten und schauen, was dabei mit dem künstlichen Netz passiere.

Wie wird durch die „Verletzung“ dieser Netzteile die Funktion des Netzes beeinflusst? Sind die leicht interpretierenden „Katzen-Neuronen“ („Cat Neurons“) für das künstliche Netz wichtiger als die „konfusen“ Neuronen? „Katzen Neuronen“ feuern, wenn das künstliche Netz mit dem Bild einer Katze gefüttert wird, wogegen „konfuse“ Neuronen keine bildtypische Spezialisierung zeigen.

Zwei interessante Ergebnisse kamen dabei heraus: Für die Funktion des künstlichen Netzes ist es nicht wichtig, ob spezialisierte „Katzen-„ oder „konfuse“ Neuronen gelöscht werden. Außerdem sind „generalisierende“ Netze gegen solche Verletzungen weniger anfällig als „memorierende“.

„Generalisierende“ Netze erkennen nach dem Training mit Tausenden Katzenbildern auch Katzen auf Bildern, die sie vorher nicht gesehen haben. „Memorierende“ Netze erkennen dagegen nur Katzen, an die sie sich erinnern, mit denen sie also trainiert wurden.

Beide Ergebnisse sind auch dem natürlichen neuronalen Netz eigen, also unserem Gehirn: Das Gehirn kann weiter gut funktionieren, auch wenn einzelne Neuronen oder sogar Neuronengruppen verletzt werden. Oft übernehmen andere Neuronen und Gehirnteile Funktionen der verletzten Teile. Sogar mit nur einer Gehirnhälfte kann der Mensch weitgehend normal leben.

Und klar ist das Gehirn auch ein generalisierendes neuronales Netz und kein nur memorisierendes, also kein einfacher Speicher. Wir Menschen sind Meister im Verallgemeinern. Von Bekanntem können wir wunderbar aufs Unbekannte Schlüsse ziehen.

Vor kurzem haben aber Künstliche-Intelligenz- und Kognitions-Forscher von Deep Mind und University College London beim Experimentieren mit einem neuronalen Netz noch Erstaunlicheres beobachten können:

Bei der Suche nach dem kürzesten Weg durch ein Labyrinth bildete ihr künstliches Netz von sich aus und automatisch Zellen, die den Gitterzellen in natürlichen Gehirnen ähneln. Die Gitterzellen (im entorhinalen Cortex) und Ortszellen (im Hippocampus) sorgen für tierische aber auch unsere Navigation und Orientierung im Raum.

Das neue künstliche Netz mit den so entstandenen Gitterzellen hat den kürzesten Weg durch ein Labyrinth viel besser gefunden als ein herkömmliches künstliches neuronales Netz.

Trotzdem zeigt das menschliche Gehirn viel komplexeres und effektiveres Lernverhalten als ein künstliches neuronales Netz. Im Gehirn wird ja die Information hochgradig parallel verarbeitet. Diese Art der Informationsverarbeitung kann man mit heutigen Computern nicht einmal annähernd bewerkstelligen, obwohl Hollywood-Filme wie „Transcendence“ mit Johny Depp diesen Eindruck vermitteln.

In „Transcendence“ entwickelt sich eine starke übermächtige KI, nachdem man das Gehirn von Dr. Will Caster (Johny Depp) in einem Computerprogramm emuliert – also nachgebildet – und ins Internet gespeist hat.

Seit 30 Jahren kennen wir das Nervensystem des Fadenwurms C. elegans, mit seinen 307 Neuronen und den 7.000 Verbindungen dazwischen, und sind immer noch nicht in der Lage, dieses winzige neuronale System im Computer zu emulieren, damit es als ein Computerprogramm funktioniert.

Wie sollen wir dann das menschliche Gehirn im Computer emulieren, das etwa 86 Milliarden Neuronen mit 100 Billionen Verbindungen dazwischen hat? Trotzdem wird die Erforschung und Weiterentwicklung der künstlichen neuronalen Netze nicht nur in ihrer Anwendung immer fruchtbarer:

Dank der Hirnforschung konnten wir künstliche Netze entwickeln und sie immer besser verstehen. Jetzt können wir durch ihre Erforschung zu verstehen lernen, wie unser Gehirn funktioniert.

Es bleibt spannend.

 

 

Weiterführende Lektüre:

 

https://www.quantamagazine.org/new-theory-cracks-open-the-black-box-of-deep-learning-20170921/

 

https://deepmind.com/blog/understanding-deep-learning-through-neuron-deletion/

 

https://deepmind.com/blog/grid-cells/

 

Liebe Besucherin, lieber Besucher,

 
willkommen auf meinem SciLogs-Blog "Gehirn & KI".
 
Ich möchte hier über alle möglichen Aspekte der Hirn- und Künstliche-Intelligenz-Forschung schreiben und über die Berührungspunkte beider Gebiete. Über jeden Kommentar und jede Diskussion dazu freue ich mich sehr, denn wie meine Mutter oft sagte:
 
"Solange die Sprache lebt, ist der Mensch nicht tot."
 
Hier etwas zu meiner Laufbahn: ich studierte Chemie an der TU München und promovierte anschließend am Lehrstuhl für Theoretische Chemie der TU über die Entstehung des genetischen Codes und die Doppelstrang-Kodierung in den Nukleinsäuren.
 
Nach der Promotion forschte ich dort einige Jahre lang weiter über den genetischen Code und die komplementäre Kodierung auf beiden Strängen der Nukleinsäuren:
 
Neutral adaptation of the genetic code to double-strand coding.
 
Stichworte zu meinen wissenschaftlichen Arbeiten: Molekulare Evolution, theoretische Molekularbiologie, Bioinformatik, Informationstheorie, genetische Codierung.
 
Seit Jahren moderiere ich den Science Slam auf Münchner Wissenschaftstagen - für die Deutsche Akademie der Technikwissenschaften (acatech) und die Bayerische Akademie der Wissenschaften - und bin der Gründer und Gastgeber des Science Kabaretts in der Seidlvilla zu München:
 
Weiter bin ich Schriftsteller und Poetry Slammer, u. a. zweifacher Vizemeister der Deutschsprachigen Poetry Slam Meisterschaften.
 
Mein Buch „Doktorspiele“ wurde von der 20th Century FOX verfilmt und lief 2014 erfolgreich in den deutschen Kinos. Die Neuausgabe des Buches erscheint gerade als eBook bei Digital Publishers.
 
Mein letzter Roman heißt Die unglaublichen Abenteuer des Migranten Němec.
 
Eine kurze Geschichte von mir gibt es jeden Tag in der Früh auf meiner Autorenseite bei Facebook. Zum Beispiel eine über den Turing-Test am Starnberger See. :-)
 
Viel Spaß mit meinem Blog und all den Diskussionen hier :-)
 
Jaromir

74 Kommentare Schreibe einen Kommentar

  1. Kompliment: Erfrischende Sommerlektüre dieser Beitrag – wenn auch etwas umfangreich und alles mögliche einstreuende.
    Doch es hat viele anregende Appetizer in diesem Text. Beispielsweise den einführenden Witz: Ein Informatiker programmiert eine Künstliche-Intelligenz-App, startet sie und fragt: „Gibt es Gott?“ Und die App sagt: „Jetzt schon!“
    Mir scheint: Wenn ein Programm menschliche Witze genauso gut versteht wie ein Mensch (wenn es also obigen Witz “tief” versteht), dann würde dieses Programm nicht nur Zeichen höherer Intelligenz aufweisen, sondern sogar Zeichen von Menschenverständnis.
    Gut auch, dass sie die Firma Deep-Mind erwähnen, denn die hat nicht nur Alpha-Go-Zero programmiert, sondern sie hat ein sehr offenes, naturwissenschaftlich orientiertes Mindset. Zwei oder drei Artikel von Deep-Mind Mitarbeitern wurden bereits auf Nature publiziert und einige Deep-Mind Projekte zielen darauf ab nicht nur KI zu betreiben sondern auch den Menschen und sein Denken zu verstehen.

    • Hallo Herr Holzherr,

      vielen Dank! Der Pilottext meines SciLogs ist in der Tat sehr lange, da ich alles zeigen wollte, womit ich mich hier beschäftigen werde. 🙂 Ich verspreche aber, die nächsten Beiträge (ab jetzt an jedem Montag) kürzer zu halten.

      Mit dem Witz und künstlicher Intelligenz haben Sie vollkommen recht. Auch die sehr gut entwickelten KI-Sprachprogramme wie der Google Translater, sind immer noch mit nahezu jeder Zweideutigkeit überfordert, und Witze sind nun mal oft mehrdeutig.

      Zum Beispiel übersetzte ich mal doppeldeutige deutsche Sätze mit dem Google-Übersetzer ins Englische und gleich ins Deutsche zurück und verglich das so zweimal Übersetzte mit dem Original. Aus dem Satz, “Wer schwankt, hat mehr vom Weg”, wurde so: “Wer winkt, hat viele Wege.”

      Julia Taylor a Lawrence Mazlack von University of Cincinnati in Ohio haben ein KI-Programm entwickelt, das Witze im Text identifizieren und neue bilden sollte. Sie führten das Programm auf einer Konferenz der American Association for Artificial Intelligence in Vancouver vor. Nur lieferte das Programm nur sehr einfache Witze.

      Über “Witz & KI” würde ich aber auch gern einen Blogtext schreiben, deswegen führe ich das jetzt nicht weiter aus.

      Auch bei “Deep Mind Technologies” bin ich Ihrer Meinung. Ich lese viel, was die Forscher von Deep Mind veröffentlichen. Auch ihre “Nature”-Artikel, oder die Vorlagen dafür, sind auf den Deep-Mind-Seiten frei zugänglich, was ich sehr schön finde.

      Ich glaube, bei Netflix kann man den Film “AlphaGo” über das Go-Spiel zwischen Deep Minds AlphaGo-Programm und Lee Sedol auf Deutsch sehen und die Vorbereitung für das Spiel. Den Film kann ich wärmstens empfehlen. Besser als jeder Thriller

      Liebe Grüße

      Jaromir Konecny

  2. Was sich damals KI und auch heute noch so nennt, hat mit Intelligenz nur sehr wenig zu tun.
    Es geht im Prinzip nur um Pattern Matching Verfahren für Probleme, deren “normale” algorithmische Lösung noch nicht bekannt ist. Statt dessen benutzt man ein Brut-Force Verfahren, was (hoffentlich) ein Näherung mit reiner Rechenleistung erreicht, indem es Fehlerwerte minimiert.
    Diese Verfahren wurden durch biologische Neuronen inspiriert, simuliert wird davon aber eingentlich nur ein Verstäkerfunktion mit Schwellwert.
    Wegen der heute so schnellen Rechner kann man damit einige eindrucksvolle Dinge machen, aber echter Intelligenz ist man damit seit 1950 noch keine Schritt näher gekommen.

    • Hallo Sishi,

      im Grunde haben Sie recht – unsere neuen künstlichen neuronalen Netze sind keine starke KI, so steht das auch in meinem Text.

      Die Fähigkeit dieser Netze aber, aus großen Datensätzen zu lernen und aufgrund des Gelernten so gut zu generalisieren, also zu verallgemeinern, ist schon etwas mehr als ein einfaches Brut-Force-Verfahren dank großer Rechenleistung.

      Selbst die Programmierer können nicht erklären, was genau in ihren Netzen passiere, dass sie in riesigen und auch chaotischen Datensätzen fabelhaft Muster erkennen können.

      Vielleicht liegt die Blackbox der neuronalen Netze auch in dem stark intuitiven Gradientenverfahren, das man bei ihnen anwendet, um die Fehler im Netz zu minimieren. Vielleicht gelingt es uns irgendwann, die Netze komplett mathematisch zu formalisieren, ohne dass ihre Programmierer und Anwender so lange “herumprobieren” müssen, bis gute Ergebnisse herauskommen.

      Lernen und aufgrund des Gelernten verallgemeinern zu können, sind aber grundlegende Eigenschaften des natürlichen Gehirns. Und diese Eigenschaften zeigen die künstlichen neuronalen Netze nun mal auch. Nur lernen sie nicht so effizient, wie wir.

      Als 1997 IBMs Schachcomputer Deep Blue den damaligen Schachweltmeister Kasparow besiegt hatte, haben viele Experten gemeint, Schach sei nicht so kompliziert wie das japanische Spiel Go. Im Go brauche man menschliche Intuition – eine Maschine würde nie die besten menschlichen Go-Spieler schlagen können.

      Das hat sich 2016 als falsch herausgestellt, als AlphaGo Lee Sedol schlug. Haben also AlphaGo und die Folgeprogramme AlphaGo Zero und AlphaZero etwas wie Intuition? 🙂

      Schon AlphaZero musste nicht so wie AlphaGo trainiert werden, indem es Tausende menschliche Go-Partien durchspielte, sondern spielte einfach so lange gegen sich selbst, bis es unschlagbar wurde und das Vorgänger-Programm AlphaGo jedes Mal schlug. Ist das nicht erstaunlich? Ist da kein Geheimnis drin?

      Man bezeichnet “deep learning neural networks” als KI-Programme, da man nun mal zwischen schwacher KI und starker bzw. allgemeiner KI unterscheidet. Unsere tiefen neuronalen Netze werden zur schwachen KI gezählt, haben also, wie Sie richtig anmerken, keine “echte Intelligenz” und schon überhaupt nicht sind sie sich ihrer Entscheidungen bewusst, haben also kein Bewusstsein.

      Mit Intelligenz und Bewusstsein sollten wir aber vorsichtig umgehen, bis die Forscher sich geeinigt haben, was Intelligenz und Bewusstsein eigentlich sind. 🙂

      Liebe Grüße

      Jaromir

      • Die Blackbox ist doch das Prinzip der Neuronalen Netze.
        Nichts anderes als Fehlerminimierung, weil man die “richtige” Lösung eben nicht kennt bzw. nicht einfach programmieren kann.
        Natürlich kennt der Programmierer o. Trainer des Neuronalen Netzes dann die entstandene Lösung nicht, gerade auch wenn man mehrere solcher Netze koppelt.
        Trotzdem ist es nichts anderes als ein Fehlerminimierungsystem, welche halt zu Näherungen zu vielen Problemen führen kann, wenn eine schnellere und ggf. auch richtigere Lösung nicht zur Verfügung steht. Und für diese Näherung wird sehr viel Rechenzeit verschwendet, was aber für viele Anwendungen bei der verfügbaren Rechenleistung kein Problem ist. Deswegen meinte ich “brute force”.
        Wenn man z.B. einem Neuronalen Netz Addition antrainiert, ist das sicher irgendwie interessant, aber um Größenordungen ineffizienter als wenn man die CPU das Addieren direkt machen lassen würde.
        Die Gefahr die ich hier sehe ist, dass man diese Netze völlig überschätzt … die “entscheiden” eben nicht, ob sie eine Oma oder ein Kind anfahren. Die können so etwas weder wirklich erkennen, noch entscheiden. Sie können nur antrainierte (oder ähnliche) Reaktionen liefern .
        Daher sollte man sehr vorsichtig sein, was man Neuronale Netze machen lässt und was nicht, gerade auch, weil man oft nicht weiss, was man ihnen wirklich antrainiert hat.

        • Das Sicherheitsrisiko ist ein großes Problem der Netze, da haben Sie recht. Sie sind nun mal tatsächlich statistische Optimierungsverfahren, die ihre Entscheidungen nicht überlegen, sie können also auch völlige hirnrissige Entscheidungen treffen, wenn die Programmierer wichtige Regeln ausgelassen haben. Deswegen müssen die künstlichen Netze immer mit Kontrollmechanismen versehen werden, wenn irgendein Risiko bei ihrer Anwendung besteht. Auch bei der medizinischen Diagnostik muss ein Mensch (Arzt) ihre Diagnosen nachprüfen. Genauso, wenn die Netze zum Beispiel “krankheitsmachende” DNA-Sequenzen finden. Doch diese Kontrollmechanismen gibt es in vielen Gebieten wie z. B. in der Medikamentenentwicklung sowieso – bevor neu entwickelte Medikamenten zugelassen werden, muss man sie testen. Es gibt aber auch viele Gebiete, wo man sofort intuitiv weißt, das Netz liege richtig. Zum Beispiel bei der Entschlüsselung von unlesbaren Manuskripten und nahezu generell in der Spracherkennung.

  3. Sishi,
    sehr richtig. Denken tut auch die künstliche Intelligenz nicht, sie macht nur das, was das Programm vorschreibt.
    Wenn man mal selbst eine Strategiespiel programmiert hat, dann weiß man, dass es verschiedene Strategien gibt. Man kann jede Spielsituation katalogisieren und abspeichern um sie dann im realen Spiel aufrufen zu können, man kann aber ganz auf diese statische Art des Denkens verzichten und stattdessen Prinzipien, Spielregeln einzugeben und es dem Zufall überlassen, welche Zugfolge gewählt wird.
    Das findet auch eine Entsprechung beim menschlichen Denken, wo der eine sich auf seine Erfahrung verlässt, der andere aber die Situation abstrahieren kann um zu einer ganz Neuen Lösung zu kommen.
    Der Vorteil der KI ist ihre Geschwindigkeit gegenüber dem menschlichen Denken, sie wird aber garantiert gegenüber Ihrem Programmierer verlieren, weil der weiß, was er bei der Programmierung weggelassen hat.
    Ob man jetzt dem Programm eine Denkleistung zuspricht oder nicht, das ist Geschmackssache.

    • Hallo Lennart,

      ich sehe das alles wie Sie. Nur denke ich, dass die künstlichen Netze nicht mehr so sind, wie die Programmiere sie programmiert haben, nachdem die Netze trainiert wurden. Sie haben ja aus Millionen von Daten etwas gelernt, das der Programmierer nicht erfassen kann. Deswegen spricht man ja von der Blackbox der “deep learning neural networks”.

      Liebe Grüße

      Jaromir

    • Die KI ist nicht schneller als das menschliche Denken. Sie ist nur schneller als das menschliche Bewusstsein.

      Der einzige Geschwindigkeitsvorteil kann sich allein aus der extremen Spezialisierung von KI´s ergeben.

      • Hallo tobmat,

        ja, das stimmt: unser Gehirn denkt hoch parallel im Vergleich zu den “KI-Programmen” und deswegen auch schneller. Nur die Signaltransmission durch das natürliche Neuron ist langsamer als durch den Knotenpunkt eines künstlichen Netzes. Die Signalübertragung durch das natürliche neuronale Netz findet ja mit Hilfe von Chemie (Neurotransmitter) und Biologie statt und ist nicht rein elektrisch wie im Computer.

        Wie Sie richtig sagen, führt ein Programm spezielle Aufgaben auch schneller als der Mensch aus, zum Beispiel Rechenoperationen. Der Mensch aber lernt viele Aufgaben schneller als ein KI-Programm und anhand viel wenigerer Beispiele, zum Beispiel Hunde von Katzen zu erkennen. 🙂

        Liebe Grüße

        Jaromir

  4. Künstliche Intelligenz ist von der natürlichen Intelligenz weit entfernt. KI kann aber unglaublich viel größere Datenmengen in unglaublch kurzer Zeit verarbeiten (viel mehr wissen und viel schneller damit arbeiten) als ein Mensch. Kreativ-genial wie manche Menschen wird KI aber niemals werden.

    • Hallo Herr Schröder,

      als Schriftsteller, Bühnenpoet und Wissenschaftskabarettist hoffe ich innigst, dass Sie recht haben. Sonst bin ich irgendwann meines Jobs los. 🙂

      Ich muss zugeben, dass ich früher Ihre Meinung hatte, dass “kreativ-genial wie manche Menschen KI niemals werden”. Na, ja ich hoffe das eigentlich immer noch. 🙂

      Jetzt mit einer Einschränkung aber: Sollte man irgendwann Maschinen mit all unserer Sensorik bauen können, also mit allen unseren Sinnen, und mit einem Konnektom (die Gesamtheit allen Verbindungen im Gehirn) von den Dimensionen unseres Gehirns, könnte ich mir schon vorstellen, dass diese Maschinen so etwas wie Intelligenz entwickeln.

      Manche Forscher glauben, das Nachbilden dieses Konnektoms im Computer reicht, damit dieses Konnektom das Bewusstsein entwickele.

      Liebe Grüße

      Jaromir

      • @Konecny: Wir lernen nicht erst ab der Geburt, sondern schon vorher.

        Vor kurzem gab es einen Beitrag darüber, dass vermutlich schon Foeten träumen: Wer träumen kann, muss schon über eine Menge an Informationen verfügen, die man dann im Traum verarbeitet.
        http://www.spektrum.de/news/was-traeumen-neugeborene-und-foeten/1566458

        Per Google-suche [Kinseher NDERF denken_nte] finden Sie eine PDF mit dem ersten Erklärungsmodell für das Phänomen ´Nahtod-Erfahrung´. Auf Seite 4 wird Denken/Kreativität als Ergebnis von Mustervergleichsaktivität mit nur 3 einfachen Regeln beschrieben. Außerdem wird dabei erkennbar, dass wir lebenslang Erinnerungen ab dem 5. Schwangerschaftsmonat erinnern können (Seite 3)

        Hier erkennen Sie auch die wichtigsten Unterschiede zwischen der Arbeitsweise unseres Gehirns und KI:
        Unser Gehirn soll dafür sorgen, dass wir irgendwie überleben (Genauigkeit ist dabei unwichtig) – von der KI erwartet man, dass jeder Rechenwert für eine bestimmte Aktion wiederholbar identisch ist.

        Aus diesem Grund kann man das menschliche Gehirn niemals im Computer emulieren! Denn beim Gehirn gibt es keine zwei identischen Zustände.
        http://www.sciencedaily.com/releases/2015/03/150313110402.htm ´Free will? Analysis of worm neurons suggest how a single stimulus can trigger different responses´.
        Diese Arbeit beschreibt die neuronale Schaltung bei der erkennbar ist, dass der Zustand von Neuronen vor einem neuen Reiz dafür verantwortlich ist, wie dieser Reiz danach verarbeitet wird. D.h. für einen identischen Reiz kann es völlig unterschiedliche Reaktionen geben.

        • Hallo KRichard.

          danke für die Hinweise und Links. Am Abend lese ich die Artikel durch.

          Dass wir nicht erst ab Geburt lernen, haben Sie vollkommen recht: Nicht nur lernen Föten bereits im Mutterleib: Auch in unseren Genen ist sehr viel unseres späteren Verhaltens angelegt, das heißt auch unserer Talente usw.

          Bei den lebenslangen Erinnerungen bin ich etwas vorsichtiger: Die neue Hirnforschung zeigt ja, dass es eine “echte” Erinnerung nicht geben kann. Unser natürliches neuronales Netz ist ständig im Wandel:

          Neue Erfahrungen beeinflussen ständig auch unser Langzeitgedächtnis. Wenn ich mich richtig erinnere, herrscht in der Neurowissenschaft Konsens, was die “amnesische Kindheit” angeht: An Sachen, die in den ersten drei Jahren unseres Lebens passiert sind, können wir uns wohl nicht erinnern.

          Den großen Unterschied zwischen Mensch und Maschine sehe ich genauso wie Sie: Wir Menschen sind keine Rechen- oder Gedächtnismeister wie der Computer, sondern Überlebenskünstler und Meister darin, sehr schnell richtige Schlüsse zu ziehen: Säbelzahntiger – weglaufen, Mammut – fressen. 🙂 Egal welche Farbe der Säbelzahntiger hatte, der Anblick seiner Säbelzähne reichte vollkommen, um sofort abzuhauen.

          Die heutigen KI-Programme und KI-Roboter werden nur auf eine Aufgabe hin trainiert. Sie sind hochspezialisiert. Wenn die Aufgabe nur etwas anders gestellt wird, kommen sie nicht mehr mit:

          Zum Beispiel trainiere ich ein neuronales Netz mit Tausenden Fotos, um Katzen von Hunden und meiner Schwiegermutter zu erkennen. Wenn ich an einem Katzenbild unterhalb der Sichtbarkeitsgrenze nur ein wenig an den Parametern drehe, so dass jeder Mensch auf dem Bild weiterhin eine Katze erkennen würde, erkennt die Maschine meine Schwiegermutter darauf. 🙂

          Ich bin mir auch relativ sicher, dass man ein bestimmtes Gehirn im Computer nicht emulieren kann. Wie soll man ja die Quanteneffekte emulieren? Die Forscher können nicht einmal das winzige neuronale Systems eines Fadenwurms im Computer emulieren, obwohl es nur 302 Neuronen hat.

          Nur haben die tiefen neuronalen Netze bereits Erstaunliches gezeigt, und so bleibt für mich die große Frage bestehen: Hat sich unser Denken nur dank unserem Konnektom entwickelt, also der Gesamtheit aller Verbindungen in unserem Gehirn? Oder gibt es da mehr?

          Liebe Grüße

          Jaromir

    • @Rolan Schröder (Zitat): Kreativ-genial wie manche Menschen wird KI aber niemals werden. Solche Aussagen hört man häufig und konsumiert sie auch über Kino- und TV-Filme (heute vielleicht eine Netflix-Serie): Daraus spricht eine tief sitzende Angst. Doch:
      1) Warum soll KI nicht kreativ sein und
      2) Kreativ-Genial ist ein menschliches Urteil, das sehr davon abhängt wer der Schöpfer ist, denn zum Urteil “das ist kreativ-genial” gehört eine Interpretation und eine Einschätzung des Schaffers des Werks über das man das Urteil abgibt.
      3) Schon heute werden anonym erzeugte Kunstwerke von AI-Programmen (beispielsweise von Adverserial Generative Networks) von Künstlern, Kuratoren und Ausstellern häufig als interessanter eingestuft als solche von menschlichen Künstlern. Averserial Generative Networks ahmen Künstler nach und verbessern sich dann inkrementell durch Kampf zweier künstlicher “Gegner” um das Optimum und das Spezielle. Der arxiv-Artikel CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms gibt eine Einführung dazu und enthält auch einige künstlich erzeugte Kunstwerke.

  5. off topic @Konecny
    Ich sende Ihnen eine kurze PDF (Englisch) und eine längere in Deutsch an Ihre private e-mail Adresse. Darauf wird Denken/Kreativität als Ergebnis von Mustervergleichsaktivität erklärt

    Sie haben vollkommen recht, dass es keine ´echte´ Erinnerung geben kann. Unser Gehirn kann Erlebnisse aber beim Erinnern verändern. Der Begriff dafür lautet ´zustandsabhängiges Erinnern´ bzw. ´state dependent retrieval´. So können wir unsere Erfahrungen lebenslang nutzen, obwohl wir uns ständig verändern

  6. Es ist kein Geheimnis, dass die Intelligenz sich aus mehreren Teilfunktionen zusammensetzt. Folgerichtig besteht auch die KI aus verschiedenen Funktionen. Der Begriff KI ist daher irreführend für Laien. Am bekanntesten und ältesten sind wohl die Experten- und Diagnosesysteme, sowie die automatischen Beweiser, die auf der algorithmischen Anwendung der Logik basieren.

    Der für die Intelligenz bedeutendere Teil ist die Erkennung und Identifizierung von Objekten aus Daten der Wahrnehmung. Deren Basis ist der Mustervergleich zwischen Sensordaten und Gedächtnisdaten. Dazu gehört die Zuordnung von Bezeichnern oder Namen zu den erkannten Mustern (Kant: Anschauung und Begriff). Molekularbiologisch findet ein Mustervergleich mit Entscheidung im Gehirn zwischen Transmitter und Rezeptor, zwischen Enzym und Substrat, oder zwischen Transkriptionsfaktor und DNA statt. Kybernetisch ist es die Funktion von Filter oder Schablone.

    In der Textverarbeitung findet ebenfalls Mustererkennung statt. Diese Muster sind jedoch vollständig bekannt, es sind die zugelassenen Wörter einer Sprache. So werden z.B. in der Bioinformatik bestimmte Basensequenzen in der DNA gesucht, oder die DNA wird nach bekannten Mustern als Gene durchsucht. Unsere natürliche Wahrnehmung liefert jedoch eine fast unendliche Fülle an Eingangsdaten und die zu erkennenden Muster sind sehr variabel oder diffus und nicht vollständig bekannt. Hier kommen die neuronalen Netze ins Spiel, mit erstaunlichen und teils unerwarteten Resultaten, wie in diesem Blog beschrieben. Mir scheint, dass einige Kommentatoren hier eine falsche Vorstellung haben.

    Übrigens, Kleinkinder bekommen Klötzchen verschiedener Formen, die sie in passende Öffnungen stecken sollen. Zur bewussten Intelligenz gehört insbesondere, sich vernünftige Ziele zu setzen und die Wege zu den Zielen zu finden. Hier sind wohl Grenzen der Zweckmäßigkeit der KI. Andererseits gehört zur natürlichen Intelligenz auch der zweckfreie Spieltrieb!

    • Guten Abend Herr Reutlinger,

      die Bezeichnung KI für “tief lernende neuronale Netze” werden wir wohl nicht mehr abschaffen können. Diese Bezeichnung hat sich in den letzten Jahren in den Medien verbreitet wie Lauffeuer, obwohl man darunter eigentlich schwache KI versteht. Da wird tatsächlich oft viel Unterschiedliches in einen Topf geschmissen.

      Unter KI-Forschern gelten aber “tief lernende neuronale Netze”, über die wir hier sprechen, als ein Teilgebiet des “Maschinellen Lernens” und dieses wiederum als ein Teilgebiet der “Künstliche Intelligenz”-Forschung.

      Heute weiß sowieso niemand, in welchem Maß künstliche neuronale Netze den Weg für eine starke KI ebnen, wenn es diese denn irgendwann geben sollte.

      Die heutigen künstlichen neuronalen Netze sind zwar meist auf eine einzige Aufgabe trainiert, liefern aber immer erstaunlichere Ergebnisse in der Muster- und Spracherkennung.

      Nicht überwachte neuronale Netze finden sogar Muster im Chaos. Vor kurzem konnte man mit einem künstlichen neuronalen Netz die Grenze der Vorhersagbarkeit eines chaotischen Systems bedeutend in die Zukunft verschieben.

      Ich vermute, dass da auf uns noch einiges zukommt und freue mich schon auf meinen Blogtext hier am Montag in einer Woche. 🙂

      Liebe Grüße

      Jaromir

  7. Hallo Herr Konecny,
    ich befasse mich seit geraumer Zeit mit dem Begriff “Seele”. Mir scheint, dass viele Menschen mit diesem Begriff rhetorisch arbeiten, ohne ihn eigentlich wirklich definieren und erfassen zu können. Gerade auch diese Menschen wollen nun “künstliche Intelligenz ” schaffen, was mich irgend wie amüsiert, da ich hier an das Gedicht “Der Zauberlehrling” von J.W. Goethe erinnert werde: Wie kann ich etwas erschaffen, von dem ich die Grundsubstanz überhaupt nicht kenne ? Neuronale Verschaltungen bzw. synaptische Erregungen sagen überhaupt nichts über diesen metaphysischen Begriff “Seele” aus. Sie sind bestenfalls Erscheinungen einer Ursache. Seit der Zeit der Entstehung der Religionen wird über die “Seele” und den “Geist” permanent philosophiert aber wissenschaftlich gesehen sind es bestenfalls Vermutungen. Sogesehen halte ich diese Diskussionen um künstliche Intelligenz wissenschaftlich gesehen für noch nicht aktuell und belanglos…

    • Hallo Herr Golzower,

      ich befasse mich in diesem Artikel nicht mit der Seele, das tut eigentlich auch die Naturwissenschaft nicht. In meinem Blogbeitrag geht es um künstliche neuronale Netze, die zum Gebiet “Künstliche Intelligenz” gezählt und heutzutage von vielen als Künstliche-Intelligenz-Programme bezeichnet, auch wenn sie im allgemeinen zur schwachen Künstlichen-Intelligenz gezählt werden:

      Diese Programme können u. a. in sehr großen Datenmengen Muster erkennen, die Menschen nicht erkennen können, können also lernen und aufgrund des Gelernten generalisieren bzw. verallgemeinern. Sie werden aber meist nur auf eine Aufgabe hin trainiert.

      Dass dieses Thema nicht “noch nicht aktuell und belanglos” ist, sieht man eigentlich, wenn man bei Google “künstliche Intelligenz” eintippt und einem eine gewaltige Menge von Beiträgen entgegen springt. Auch wenn man die Suche auf letzte 24 Stunden einschränkt. Schon wenn Sie Google oder den Google Translater benutzen, benutzen und trainieren sie ein künstliches neuronales Netz, also etwas, was heute von vielen teils fälschlicherweise als Künstliche Intelligenz bezeichnet wird. 🙂

      Liebe Grüße

      Jaromir

  8. @Golower
    Ein Kinofilm ist aus Einzelbildern gemacht. Wenn wir bewegte Szenen ´sehen´, ist dieses Bewegungs-Erlebnis nachprüfbar zu 100 % falsch. Und mit dem Begriff ´Seele´ verhält es sich ähnlich – es gibt keine nachprüfbare Grundlage dafür.

    Die Idee, KI solle so wie ein Gehirn arbeiten, ist daher fragwürdig.

  9. JK,
    damit man nicht aneinander vorbeiredet, sollte man definieren was das neuronale Netzwerk macht. Ist das Mustererkennung in den Daten ?
    Also z.B. einen Erpresserbrief analysieren ? Oder meint man selbstlernende Programme, die z.B. bei einem Strategiespiel sich die Spielweise des Gegners “merken” und dann optimal auf diese Spielweise eingehen.
    Nennen Sie mal konkret ein Programm. Oder ist ein Sprachcomputer gemeint, z.B. Klara?

    • Hallo,

      in meinem Artikel habe ich eigentlich allgemein über künstliche neuronale Netze geschrieben. Die Grundstruktur aller künstlichen neuronalen Netze ist ja die gleiche:

      Eine Eingabeschicht, versteckte Schichten, eine Ausgabeschicht. Jede Schicht enthält Neuronen/Knotenpunkte. Sehr oft ist jedes Neuron einer Schicht mit allen Neuronen der benachbarten Schichten verbunden. Beim Lernen werden in die Eingabeschicht Daten gespeist und durch das Netz propagiert.

      Allgemein kann man auch sagen, dass neuronale Netze nach einem geeigneten Training wunderbar Muster in großen Datensätzen erkennen, klassifizieren, Cluster von unbekannten Daten bilden und generalisieren können. Auch unsere heutigen Roboter und selbstfahrende Autos werden von trainierten neuronalen Netzen gesteuert.

      Es gibt zwei grundsätzliche Methoden des Trainings:
      – überwachtes (supervised) Lernen
      – nicht überwachtes (unsupervised) Lernen

      Beim überwachten Lernen haben wir “ettiketierte” also mit “Labels” versehene Daten, wir kennen den gewünschten Output. Wenn das Programm z. B. lernen soll, Hunde von Katzen auf Bildern zu erkennen, bekommt es immer gesagt: das sei ein Hund oder das sei eine Katze. Nach dem Training kann das Netz dann auch fremde Hunde, die es noch nie gesehen hat, als Hunde erkennen.

      Beim nicht überwachten Lernen haben wir einen großen Datensatz mit Daten, die wir nicht klassifizieren können. Das Netz kann in diesem Datensatz Gruppen von Daten bilden, die irgendwie zusammenhängen.

      Einen Erpresser- bzw. Spambrief lernt ein künstliches neuronales Netz zu erkennen, wenn es an Tausenden bzw. Millionen Spambriefen gelernt hat, womit Spambriefe sich auszeichnen. Es ist überwachtes Lernen, da wir dem Programm ja bei jedem Spambrief sagen können, das es ein Spambrief ist.

      Wenn ich mich nicht irre, lernen auch die meisten künstlichen Netze, die gegen Menschen spielen, also “Game-Programme”, “supervised”.

      AlphaGo lernte zum Beispiel “supervised” anhand von Hunderttausenden menschlichen Go-Partien Go zu spielen. Anschließend lernte es dann aber weiter mit einem zweiten künstlichen Netz nach “reinforcement learning”, indem es nur gegen sich spielte, ohne also einen Input von einem “Superviser” zu haben, nur mit einer Belohnungsfunktion für Siege.

      Wenn ich mich nicht irre, werden bei Sprachprogrammen (NLP – natural language processing) Hybridsysteme aus beiden Arten der Netze angewendet: überwacht (supervised) und nicht überwacht (unsupervised).

      Zu diesen zwei Arten der Netze kommen aber viele andere Verbesserungen und Weiterentwicklungen davon, convolutional neural networks, recurrent neural networks usw. Die Entwicklung der künstlichen Netze ist jetzt sehr in Bewegung.

      Liebe Grüße

      Jaromir

      • Alpha Go Zero ist nicht allein durch die Prädikate “unsupervised learning” (Lernen ohne menschliche Hinweise) und “reinforcement learning” (Lernen durch Belohnung/Bestärkung/Sieg) charakterisiert. Zusätzlich muss man Alpha Go Zero noch das Prädikat “model-based” zuordnen. Modell-basiert bedeutet, dass es ein abstraktes Modell des Anwendungsgebietes gibt. Bei Alpha Go Zero ist das Anwendungsgebiet dasjenige der Perfect Information Games mit durch Spielregeln festgelegten Zugsmöglichkeiten. Alpha Go Zero implementiert dies durch einen Monte Carlo Tree Search, welches jeweils einen Baum von Zugsmöglichkeiten liefert aus dem dann per trainiertem neuronalem Netz der “beste” Zug ausgewählt wird.
        Im Gegensatz zum modell-basierten Lernen steht eine Simple Versuchs-/Irrtum-Strategie. Vor allem bei Belohungslernen (Reinforcement-Learning) wird häufig zwischen Modell-basiertem und nicht modell-basiertem Lernen unterschieden. Im Artikel Reward-Based Learning, Model-Based and Model-Free wird dies so zusammengefasst (übersetz von DeepL):
        Reinforcement Learning (RL)-Techniken sind eine Reihe von Lösungen für eine optimale langfristige Aktionswahl, so dass die Maßnahmen sowohl die unmittelbaren als auch die späteren Folgen berücksichtigen.
        Sie lassen sich in zwei Teile breite Klassen unterteilen:
        – Modellbasierte Ansätze gehen von einem expliziten Modell der Umgebung und des Agenten aus. Das Modell beschreibt die Folgen von Aktionen und die damit verbundenen Renditen/Ergebnisse. Daraus kann eine optimale Politik abgeleitet werden. Psychologisch betrachtet zielen modellbasierte Beschreibungen auf zielgerichtete Entscheidungen, in denen Entscheidungen aktuelle Präferenzen bezüglich der Ergebnisse reflektieren.
        – Modellfreie Ansätze dagegen verzichten auf jegliche explizite Kenntnis der Dynamik der Umwelt bzw. der Folgen von Handlungen und deren Bewertung, sondern sie basieren allein auf Trial-and-Error-Lernen.

        Modellfreie Vorgehensweisen liegen gewohnheitsmäßigen und Pavlowschen (der Hund) konditionierten Reaktionen zugrunde, die als Antworten auf gewisse Stimuli erfolgen.
        Modellbasierte Techniken besitzen erhebliche rechnerischen/planerische Anforderungen, während modellfreie Techniken umfangreiche Erfahrung erfordern.

        Bei Alpha-Go-Zero ist nun das zugrundeliegende Modell sehr generisch/allgemein. Es geht allein davon aus, dass es für jeden Zug eine feste Anzahl von Möglichkeiten gibt und dass die Spieler abwechselnd an der Reihe sind. Die eigentliche Zugwahl wird dann allein durch Spielerfahrung bestimmt (Alpha-Go-Zero spielt gegen sich selbst um diese Erfahrung zu gewinnen). Damit kann Alpha Go Zero nicht nur Go, sondern auch Schach und viele weitere Spiele und Problem angehen.

        • Vielen Dank auch für dieses Ausführliche. Es macht eine Freude, mit Ihnen zu diskutieren. Wenn ich mich nicht irre, kann erst AlphaZero, das dritte und vorläufig letzte Programm der Reihe, zusätzlich zu Go auch Schach und andere Spiele meistern

          • @Jaromir Konecny: Danke für den Hinweis auf AlphaZero
            Beeindruckend find ich bei AlphaZero neben der Trainingshardware (64Tensor Processing Units) und den Trainingszeiten (4 Stunden), das hineingesteckte Spielwissen (“with no access to opening books or endgame tables”) .
            Offenbar könnte man AlphaZero auf einer gut ausgestatteten Workstation in “Kampf”-qualität arbeiten lassen (Zitat): The trained algorithm played on a single machine with four TPUs.

            Fazit: Schon bald werden Laptops und Smartphones anspruchsvolle KI-Programme in Echtzeit – also ohne dass man Warten muss – ausführen können.
            Wenn es einmal spezialisierte Hardware für das KI-Training gibt, die sich in einen einzigen Chip einbrennen lässt, könnte jeder Smartphone-Benutzer seine eigenen KI-Trainings auf seinen eigenen Trainingsdaten (z.B. was er täglich so spricht) laufen lassen und damit eine auf ihn zugeschnittene Software erhalten.

          • Die künstlichen Netze sind extrem rechenintensiv. Mit jeder neuen Schicht an Neuronen steigt die Rechenzeit und der Energieverbrauch stark an. Das natürliche Gehirn “rechnet” dagegen mit sehr wenig Energie. Dem ist – wie Sie schreiben – nur mit neuer Hardware beizukommen. Hier scheinen IBM-Forscher das Problem des Von-Neuman-Flaschenhalses zwischen dem Speicher und dem Prozessor mit analogen Speichereinheiten gelöst haben, die direkt dem Prozessor angegliedert sind, so dass die Daten nicht ständig zwischen dem Speicher und dem Prozessor geschaufelt werden müssen:

            http://kurzweilai.net/ibm-researchers-use-analog-memory-to-train-deep-neural-networks-faster-and-more-efficiently?utm_source=KurzweilAI+Weekly+Newsletter&utm_campaign=7a39e95c34-UA-946742-1&utm_medium=email&utm_term=0_147a5a48c1-7a39e95c34-282250033

            Das Ergebnis: 100mal kleinerer Energieverbrauch. Ich glaube, KI-Smartphones werden bald auf dem Markt sein. 🙂

      • Zitat Jaromier Konecny: AlphaGo lernte zum Beispiel “supervised” anhand von Hunderttausenden menschlichen Go-Partien Go zu spielen. Anschließend lernte es dann aber weiter mit einem zweiten künstlichen Netz nach “reinforcement learning”, indem es nur gegen sich spielte, ohne also einen Input von einem “Superviser” zu haben, nur mit einer Belohnungsfunktion für Siege.
        Ja, das gilt für AlphaGo. Dieses lernte anhand von existierenden Go-Partien gefolgt vom Spiel gegen sich selbst.
        AlphaGo Zero dagegen lernte ohne jeden menschlichen Input, allein durch Spielen gegen sich selbst. AlphaGo Zeros Lernweise ist damit: Unsupervised Model-based Reinforcement Learning, also (übersetzt von DeepL): Unbeaufsichtigtes modellbasiertes Reinforcement Learning und von mir übersetzt: Unbeaufsichtigtes modellbasiertes Lernen aus Erfolg/Misserfolg

        • Danke für die zusätzliche ausführliche Information. Wir sollten auch das letzte Programm der Reihe AlphaZero nicht vergessen, das wiederum AlphaGo Zero im Go ohne Probleme schlägt, das AlphaGo schlägt, da Lee Sedol schlug. 🙂

  10. @Lennart;
    Es ist gerade das Besondere an den tiefen neuronalen Netzen, dass sie nicht definierbar sind, dass sie nicht algorithmisch funktionieren, sondern heuristisch. Das liegt hauptsächlich an den Rückkopplungen innerhalb des Netzwerkes, wodurch das Netz nichtlinear, eher chaotisch funktioniert. Das Erstaunliche dabei ist, dass trotzdem etwas Vernünftiges dabei herauskommt. Insofern hat es Ähnlichkeit mit dem menschlichen Gehirn.

    Das neuronale Netz kann in einem Datenstrom Muster erkennen. Das sind zunächst undefinierte Muster. Erst der Mensch muss die Muster deuten, oder muss die Muster dem Netz “bekannt” machen, um sie auch identifizieren zu können. Das ist das Training des neuronalen Netzes, indem man tausende Varianten eines bestimmten Musters (z.B. Gesichter) vorgibt. Das Netz lernt dann selbsttätig, ähnliche Muster im Datenstrom zu erkennen. Darin liegt seine Intelligenz. Auch das Kleinkind lernt anhand einer Vielzahl von Mustern oder Formen, Objekte zu erkennen und Namen zuzuordnen.

  11. “…Auch das Kleinkind lernt an Hand einer Vielzahl von Formen,Objekte zu erkennen und Namen zuzuordnen…”
    Wir begegnen in unserem Leben sehr vielen Menschen(Gesichtern),Objekte und Formen.Vieles von dem bleibt im Kurzzeitgedächtnis hängen und wird wieder vergessen. Erst wenn wir etwas bewerten, bekommt es für uns Bedeutung/Sinn. Kleinkinder / Babys bewerten ihre Umwelt vornehmlich über Grundgefühle (Geborgenheit,Liebe, Stillen/Sättigungsgefühl) Diese Bewertung ist also rein emotional und das, was ich oben bereits versucht habe mit dem Begriff “Seele” anzudeuten. Emotionen aktivieren erst die neuronalen Netze, sind also primärer Auslöser von menschlichen Aktionen und Reaktionen. Emotionen sind unbewusst und beeinflussen auch das Denken und Handeln sowie die damit verbundenen und angelegten neuronalen Netze und Muster. Künstliche Intelligenz fehlt im wahrsten Sinne das “Gefühl” für solche Musteranlegung…

  12. Damit wir hier ganz präzise den Begriff Künstliche Intelligenz verwenden:

    Der Vater dieses Begriffs ist John McCarthy, seine Schlüsselaussage dazu im Antrag zur berühmten Darthmouth-KI-Konferenz im Jahr 1956 diese:

    “The study is to proceed on the basis of the conjecture that every aspect of learning or any other feature of intelligence can in principle be so precisely described that a machine can be made to simulate it.”

    In diesem Sinne können schon die heutigen künstlichen neuronalen Netze als ein Teilsystem “Künstlicher Intelligenz” betrachtet werden, so wie der Schöpfer des Begriffs “Künstliche Intelligenz” John McCarthy diesen Begriff prägte.

    Können doch heutige künstliche neuronale Netze lernen und anschließend generalisieren, um ein bestimmtes Problem zu lösen, was ein Aspekt des Lernens und eine Eigenschaft der Intelligenz ist.

    Im zweiten Schritt kann man dann selbstverständlich zwischen schwacher und starker Künstlicher Intelligenz unterscheiden und unsere heutigen künstlichen neuronalen Netze zur schwachen Künstlichen Intelligenz zahlen.

    In meinem Blogbeitrag wollte ich eigentlich nicht darüber diskutieren, ob’s Künstliche Intelligenz gibt, oder was auch immer, sondern zeigen, wie die Hirn- und KI-Forschung sich schon heute gegenseitig befruchten, und dem “nicht eingeweihten” Leser etwas die Angst davor nehmen, was man heute unter “Künstliche Intelligenz” versteht.

    Dieses Gebiet ist für mich einfach faszinierende Computerwissenschaft und angewandte Mathematik aber auch Hirnforschung, die sich jetzt rasant entwickeln, und kein Hal 9000 aus “2001: Odysee im Weltraum.” 🙂

  13. JK,
    künstliche neuronale Netze,
    das hört sich sehr “geschwollen” an. Wie sieht es mit der Hardware, den Elektronikbauteilen aus. Verwendet man hier immer noch die Logikbausteine Nand, Nor, Xor ?
    Wird das “Neuron” durch besondere neue Bausteine erzeugt oder steht nur eine Software dahinter?
    Ich frage das deshalb, weil es vor 40 Jahren einen Einplatinenmikroprozessor gab, der Rechnen konnte, Daten speichern und mit einem eigenen Monitorprogramm die Daten auf einem Bildschirm ausgeben. Man konnte damals tatsächlich einen Computer selber bauen und programmieren. (in Maschinensprache)

    • Hallo,

      meiner Meinung nach ist der Begriff künstliche neuronale Netze recht genau. Wir können aber die Programme auch deep learning neural networks wie im Englischen nennen. 🙂

      Der heutige Durchbruch in dieser KI-Sparte wurde durch die große Rechenleistung der modernen Computer möglich, nun hängt die weitere Entwicklung der neuronalen Netze davon, wie es uns gelingt, unsere Computer noch rechenintensiver zu machen. Das Moorsche Gesetz von der Verdopplung der Rechenleistung unserer Mikroprozessoren alle zwei Jahre stößt aber bald auf ihre atomaren Grenzen, wohl war der Fehler, der vor einigen Monaten bei den Intel-Prozessoren aufgetreten ist, ein Ausdruck davon.

      Wie Herr Reutlinger schreibt, wären Quantencomputer eine Lösung dieses Problems. Schon ein Quantenrechner mit nur 50 Qubits könnte die Rechenleistung der heutigen Rechner übersteigern. Subatomare Teilchen können aufgrund quantenmechanischer Verschränkung in mehr als einem Zustand gleichzeitig existieren, dementsprechend ergeben 2 Qubits 4 Bits (2 hoch 2) und schon 20 Qubits ersetzen fabelhafte 1.048.576 bits. Mit jedem neuen Qubit steigt die Rechenleistung exponentiell.

      Ein Quantencomputer der Firma IBM konnte vor kurzem 90 Sekunden lang 50 Qubits verschränken. Sollte die extreme Instabilität der Teilchen-Verschränkung technisch gelöst werden, bekommen wir Computer, von denen wir noch vor kurzem nicht zu träumen wagten.

      Wie Sie’s aber selbst ansprechen: Auch konventionelle Mikroprozessoren versucht man jetzt so zusammenzubauen, dass sie hoch parallel mit künstlichen neuronalen Netzen rechnen können. Zum Beispiel baut man neue Nvidias-Grafikkarten aus Tausenden Prozessoren, die parallel arbeiten.

      Liebe Grüße

      Jaromir

      • Mit 50 Qubits werden sie noch nicht viel erreichen können.
        Bei vielen Hundert oder mehr als Tausend wird es erst interessant.
        Und auch dann wird ein entsrepchender Rechner nicht allgemein schneller sein, als heutige Supercomputer, sondern er kann dann vielleicht einige spezielle Aufgaben schneller lösen.
        Schon der Vergleich von Bits und Qubits in Spektrum Magazin war schräg, die beiden sind nicht wirklich vergleichbar.

        • Wie schon geschrieben, bin ich bei den Quantencomputern immer noch eher skeptisch. Ein paar Jahre Quantenmechanik habe ich hinter mir und kann mir vorstellen, dass man zwar irgendwann Quantencomputer baut, die viel besser und schneller rechnen können als die klassischen, nur mit einer hohen Fehlerquote. Und was bringt mir eine Rechnung, auf die ich mich nicht verlassen kann? Ich sage aber langsam “niemals nie” und lasse mich auch gern überraschen. Quantencomputer-Technik ist jetzt ein heißes Forschungsfeld. Wenn es völlig unrealistisch wäre, Hochleistungs-Quantenrechner zu bauen, würden IBM, Google und all die anderen Tech-Firmen da nicht so viel Geld investieren. Die Forscher dort kennen sich mit der Problematik dabei ja viel besser als ich aus. 🙂

  14. @Lennart;
    Man muss kein Prophet sein, um zu erkennen, dass mit den neuronalen Netzen eine Tür zur Funktionsweise des menschlichen Gehirns geöffnet worden ist. Die Hardware spielt dabei eine untergeordnete Rolle. Die Logik des Computers ist unserem Verstand nachgebildet.

    Eine wesentliche Einschränkung ist bisher die binäre Kodierung der Daten. Hier öffnet sich eine weitere Tür, wenn diese Kodierung aufgegeben werden kann, besonders mit der Entwicklung des Quantencomputers. Dann ist es möglich, vielleicht eine million Zustände in einem einzigen Schritt darzustellen und dann ist auch eine andere Logik geeigneter, z.B. die fuzzy logic, die bereits jetzt möglich ist und Anwendungen findet. Das würde auch die neuronalen Netze weiter beflügeln.

    • Ich denke nicht, dass NAND, OR, XOR etc. nach unserem Verstand geschaffen wurden.
      Der menschliche Verstand ist sicherlich eher Fuzzy als Transistorlogik.

  15. Frühe KI-Pioniere wie John McCartney + Marvin Minsky (1927-2016) meinten 1956 (Dartmouth Sommercamp) noch, 10 Jahre sollten genügen um dem Computer menschliche Intelligenz zu geben. Doch nach anfänglichen Pseudoerfolgen (Eliza als Psychologe) versank die junge Disziplin Artificial Intelligence im Tiefschlaf und die meisten Informatiker lachten darüber. Schon Minsky sprach damals von neuronalen Netzen – allerdings sprach er sich nach kurzer Beschäftigung mit neuronalen Netzen explizit gegen sie aus. Doch es gab trotzdem Forscher, die sich in den späten 1980er- Jahren intensiv mit neuronalen Netzen beschäftigten – allerdings ohne auf einen grünen Zweig zu kommen. Im Nachhinein stellte sich heraus, dass es nicht an den Forschungsmethoden und Ideen dieser Pioniere lag, sonden schlicht an der viel zu langsamen Hardware. Wären die Computer, die diese Pioniere benutzten tausend Mal schneller gewesen (also so schnell wie heute), dann hätten schon diese Pioniere die heute mit soviel Hoffnungen und Ängsten verbundene “Deep Learning”-Technologie hervorgebracht.
    Aber natürlich ist “Deep Learning” letztlich auch wieder ein Hype, eine zuerst einmal überschätzte und zugleich mit apokalyptischen Ängsten aufgeladene Technologie.
    Wenn man in den Kategorien von Kahnemann (Schnelles, Langsames Denken) denkt, muss man Deep Learning und die damit verbundene Fähigkeit unscharfen Input mit eindeutigem, diskreten Output zu verbinden (“diese Bildpunkte gehören zu einem Gesicht und das hier ist ein BMW i8”) als Verwirklichung des intuitiven, schnellen Denkens im Computer sehen. Das langsame, analytische Denken ist dagegen heute in der Artificial Intelligence noch kaum verwirklicht. Weil diese analytischen Fähigkeiten fehlen, fehlt den Machine Learning-Programmen heute auch die Fähigkeit zum echten Verstehen. Es fehlt ihnen das konzeptionelle Denken und die Fähigkeit zum Navigieren im Raum der Symbole, Ideen, potenziellen Zusammenhänge und der potenziellen Zukünfte (Antizipation). Genau solche geistige Fähigkeiten, die es beispielsweise dem Menschen ermöglichen, Jahre in eine Ausbildung zu investieren, die sich erst in vielen weiteren Jahren auszahlt, genau dies unterscheidet den Menschen von seinen nächsten Verwandten (den Affen) und anderen höheren Säugetieren. So weit ist die AI heute also noch nicht. Doch das muss nicht so bleiben: Never say never.

    • Ergänzung: Nicht Fähigkeiten sind es, was den Mensch von der Maschine unterscheidet, sondern es sind die Ziele, die sich der Mensch selber setzt, selber setzen kann und wofür er seine Fähigkeiten einsetzt und weiterentwickelt. Allein schon, dass der Mensch Dinge denken kann wie “Du musst Dein Leben ändern” und es dann auch tut, bedeutet, dass Menschen heute (noch) in einer ganz anderen Dimension zuhause sind, als alle Maschinen, die sich der Mensch bis jetzt ausgedacht hat und die er gebaut hat.

    • Hallo Herr Holzherr,

      oft überschätzen wir unsere Erfindungen, da haben Sie recht. Der Mathematiker und Science-Fiction-Autor Vernor Vinge hat 1993 geschrieben: „Binnen dreißig Jahren werden wir die technischen Mittel haben, um übermenschliche Intelligenzen zu erschaffen. Kurz danach wird das Zeitalter der Menschheit beendet werden.“ Bald sind seine 30 Jahre um, und Maschinen können immer noch nicht übermenschlich denken, eigentlich können Maschinen überhaupt nicht denken. 🙂

      Nichtsdestotrotz ist es für mich ein Wunder, was deep learning neural networks (DLNNs) heutzutage leisten. Ist es nicht erstaunlich, dass ein DLNN das hoch intuitive Go-Spiel lernt, indem es nur gegen sich selbst spielt (AlphaGo Zero)und dann seinen Vorgänger AlphaGo immer schlägt, der noch aus menschlichen Partien lernte, und jeden anderen menschlichen Spieler? Ist es nicht erstaunlich, dass ein Programm aus der Symptomatik oder Beschaffenheit der Organe eine bessere Diagnose bestimmter Krankheiten erstellt als ein guter Arzt? Ist es nicht erstaunlich, dass ein DLNN das Verhalten eines chaotischen Systems acht mal weiter voraussagen kann als unsere gängigen Methoden? Und und und …

      Klar arbeiten DLNN nicht annähernd so effizient wie unser Gehirn, das müssen sie aber nicht, sie lösen meist nur eine Aufgabe, oft aber eine für uns Unlösbare.

      Ich weiß nicht, ob eine starke KI möglich ist. Ich weiß aber, dass künstliche neuronale Netze unsere Wissenschaft, Wirtschaft, unser Arbeitsleben, ja, alles, vollkommen umwälzen werden, und das sehr bald. Nur wohl in China früher als in Deutschland. 🙂

      Liebe Grüße

      Jaromir

      • @Jaromir Konecney (Zitat): Ich weiß aber, dass künstliche neuronale Netze unsere Wissenschaft, Wirtschaft, unser Arbeitsleben, ja, alles, vollkommen umwälzen werden, und das sehr bald. Ja, wobei das Ausmass und die Breite des Einsatzes von „Deep Learning“ in der Wirtschaft und im Privatbereich (digitale Assistenten, Gaming, Social Media) für mich noch unklar sind. Hier ein paar offene Punkte:
        fehlende Zuverlässigkeit trotz im Durchschnitt hoher Leistung: Neuronale Netze können unabsichtlich oder absichtlich (durch GANs zum Beispiel) getäuscht werden. Kürzlich kollidierte ein Tesla-Autopilot mit einem Pfosten bei einer Autobahnauffahrt tödlich kurz nachdem er noch erfolgreich überholt hatte. Geschockt waren die Untersucher, als sie herausfanden, dass das Auto gezielt auf den Pfosten zufuhr und dabei auch noch beschleunigte. Genau so etwas könnte auf das Konto eines Deep Learning Neuronalen Netzwerks gehen.
        – Fehlende oder unzuverlässige Zulernbarkeit: Einmal trainierte Netzwerke lernen entweder nicht mehr dazu oder aber sie verschlechtern ihre Leistung auf Gebieten, die sie vorher gut beherrschten. Das Neue geht also auf Kosten des Alten (catastrophal forgetting)

        Ich behaupte: wir sind an einem Punkt, wo alles möglich ist. Sollten Deep Lesrning Netzwerke bald schon kontinuierlich lernen können und dabei sogar auch im bereits Gelernten besser werden , dann könnten sie tatsächlich alles durchdringen. Andernfalls könnte eine Phase der Vorsicht und des verzögerten Einsatzes folgen.

        • Ergänzung: One pixel attack for fooling deep neural networks zeigt, dass ein bewusst geändertes Pixel (ein Bildpunkt also) ein DNN grundlegend täuschen kann (übersetzt von DeepL): Die Ergebnisse zeigen, dass 68,36% der natürlichen Bilder im CIFAR-10 Testdatensatz und 41,22% der ImageNet (ILSVRC 2012) Validierungsbilder auf mindestens eine Zielklasse gestört werden können, indem nur ein Pixel mit durchschnittlich 73,22% und 5,52% Vertrauen modifiziert wird.
          Und im bereits 2015 erschienen Artikel Deep neural networks are easily fooled: High confidence predictions for unrecognizable images wird gezeigt, dass auch Bildern, die der Mensch nur als Rauschen wahrnimmt, durch DNN’s eine (falsche) Bedeutung zugeordnet werden kann.
          Ich erinnere mich an eine Aussage eines führenden Experten auf dem Gebiet der DNN’s, dass solches Fehlverhalten von neuronalen Netzen nicht auf einfache Art und Weise behoben werden könne. Für den Menschen unsichtbare Muster und Bildfrequenzen können den Algorithmus etwas erkennen lassen, was gar nicht vorhanden ist und das lässt sich heute nicht zuverlässig (oder sogar prinzipiell nicht) vermeiden.

          • Das ist in der Tat so, wie Sie schreiben. Ich habe das in einem Kommentar oben auch erwähnt:

            Wenn man ein neuronales Netz zum Beispiel trainiert, Katzen von Hunden zu erkennen, und ein lustiger Programmierer hin und wieder das Bild seiner Schwiegermutter durchs Netz propagiert, kann das Netz nach dem Training auch ganz absurde Zuordnungen machen.

            Man dreht nur etwas unter der Sichtbarkeitsgrenze an den Pixelwerten eines Katzenbildes herum, so dass ein Mensch auf dem Bild keine Änderung sieht und jeder Mensch darauf weiterhin eine Katze erkennen würde, trotzdem sagt das Netz, es handle sich um die Schwiegermutter.

            Einerseits liefern die Netze wunderbare Erlebnisse, andererseits kann man sich auf sie nicht hundertprozentig verlassen:

            Wenn ein Stück Zeitung auf die Straße fliegt, sieht jeder Fahrer sofort: “Ah, Zeitung! Da kann ich weiter brettern.” Ein autonomes Auto würde dagegen scharf bremsen, da die Sensoren vor sich einen Gegenstand sehen.

            Deswegen kann man die Netze momentan nicht in Bereichen einsetzen, wo bei einer falschen Entscheidung, ein großer Schaden angerichtet werden würde. Zumindest ohne ein zusätzliches Sicherheitsnetz nicht.

          • Es ist halt eigentlich nichts anderes als eine primitive Mustererkennung basierend auf statistischen Werten (die Gewichte), deren reale Bedeutung “unklar” ist.
            Man kann das auch debuggen (also als Programmierer analysieren), aber man bekommt diese Effekte nicht weg.
            Wer die tranierten Werte im Netz kennt, kann jedes beliebige Ergebnis mit passenden Eingabedaten provozieren, die sich ggf. nur marginal von gutartigen Daten unterscheiden.

          • Wie in meinem Artikel steht, gibt es Ansätze, das Optimierungsverfahren der Netze mathematisch zu formalisieren (Informationsflaschenhals). Als primitiv würde ich das aber nicht bezeichnen, da reicht es nur ins Google “deep learning neural networks” zu tippen, um zu sehen, welche nicht trivialen und nicht primitiven Sachen die Netze jetzt bewerkstelligen, zum Beispiel wie schon geschrieben, die Vorhersagbarkeit eines chaotischen Systems um 8 Lyapunov (Ljapunow)-Zeiten in die Zukunft zu verschieben, im Vergleich zu den konventionellen Methoden:

            https://quantamagazine.org/machine-learnings-amazing-ability-to-predict-chaos-20180418/

        • Ergänzung: Catastrophic interference ( ” ist die Tendenz eines künstlichen neuronalen Netzes, bereits erlernte Informationen beim Erlernen neuer Informationen vollständig und abrupt zu vergessen.”) listet bereits mehrere mögliche Lösungen für catastrophic forgetting (auch catastrophic interference genannt) auf.

          Übrigens ist dieses Phänomen – dass neuronale Netze beim Neulernen altes Vergessen – schon seit 1989 bekannt. Es gibt aber noch keine allgemein akzeptierte Standardlösung – wohl auch darum, weil heute einmal trainierte Netze so eingestellt sind, dass sie nicht mehr dazulernen. Doch gerade die führenden KI-Forscher sehen in der heutigen Unfähigkeit eines Netzes kontinuierlich zu lernen, also ständig dazuzulernen, eine seiner grössten Schwächen.

          • Wenn wir annehmen, ein bestimmtes Netz kann nur auf eine Aufgabe hin programmiert und trainiert werden, braucht man, meiner Meinung nach, ein zweites angegliedertes Netz, um das Memory-Problem zu lösen. Als Software oder auch als Hardware.

        • Ergänzung: Heute lernt ein neuronales Netz nach der Trainingsphase nichts mehr dazu, weil dazulernen bis jetzt die Gefahr beinhaltet, dass bereits gelernte Dinge wieder vergessen gehen (catastrophal forgetting).
          Doch neueste Forschungen/Arbeiten wie ewa im arxiv-Artikel Continuous Learning in
          Single-Incremental-Task Scenarios
          wollen kontinuerliches Lernen von neuronalen Netzen ermöglichen ohne dass die Gefahr des Überschreibens bereits gelernter Dinge besteht. Es scheint 3 Hauptstrategien zu geben um gefahrloses kontinuierliches Lernen zu ermöglichen:
          1) die Architektur so gestalten, dass neue Dinge alte nicht überschreiben – beispielsweise Verwendung von 2 Speicherbereichen
          2) die Verarbeitung so ändern, dass altes nicht verloren gehen kann
          3) Wiedereinspielung alter Trainingsdaten während des Lernens um Vergessen zu verhindern (vielleicht passiert das ja beim menschlichen Träumen)

          Der Artikel zeigt, dass all diese Strategien bis heute nur mässig erfolgreich sind, indem sie existierende Systeme, die katastrophales Vergessen verhindern sollen, testen. Die Autoren stellen dann einen eigenen Ansatz dar, welcher architektonische Änderungen und eine veränderte Verarbeitung der Lerndaten kombiniert und erreichen damit eine deutlich bessere Leistung – weniger katastrophales Vergessen – als bei allen anderen Systemen.

      • CAD – Computer aided Diagnostic (oder Detection je nach Vorliebe) kenn ich aus meinem beruflichen Umfeld als Software Entwickler.
        Und ich bin mir ganz sicher, dass ich keine Diagnose ohne ärztliche Überprüfung haben will.
        Das Problem ist z.B. dass eine KI Microcalcs als Hinweis für Brustkrebs z.B. auch in Fingerabdrücken eines Urlaubsfotos finden würde.
        D.h. die Wahrscheinlichkeit für False-Positives und damit für ggf. unnötige Operationen ist prinzipiell viel zu hoch, die KI weiss nämlich nicht was sie da tut.
        Eine KI für Diagnosen wäre sicher viel billiger, aber nicht besser als ein echtes Ärzteteam. Als Hilfsmittel für den Arzt dagen ist CAD sicher sinnvoll – so etwas gibt es aber auch schon sein vielen Jahren.

        • Das sehe ich genauso. Nur hat’s früher nun mal nicht diese riesigen Datensätze und rechenintensive Computer wie heute gegeben. Deswegen liefert CAD jetzt, meiner Meinung nach, erstaunliche Ergebnisse. Ihre unglaubliche Fähigkeit zum Klassifizieren und zur Mustererkennung erlaubt den Netzen Muster aus dem Genom zu fischen, von denen wir bis jetzt nicht geträumt haben. Und auch Proteindesign und die Synthese von organischen Molekülen mit Hilfe der künstlichen neuronalen Netze erreicht jetzt ganz neue Dimensionen.

  16. Unser Gehirn verarbeitet Erfahrungen, auf biochemischer Grundlage. Eine Erfahrung besteht aus a) Faktenwissen, b) Körper-Reaktion, c) Immun-Reaktion, d) Sinnes-Reaktion und e) Emotion (Hormone) – jeweils in unterschiedlicher Intensität.

    Computer-´wissen´ der KI besteht nur aus Rechenwerten, die auf Computerchips bzw. in Software berechnet werden.

    Beide Arbeitsweisen unterscheiden sich so deutlich, dass man das menschliche Denken mit KI nicht nachbilden kann und sollte (Weil das Gehirn so fehlerhaft arbeitet). Die Arbeitsweise des menschlichen Gehirns ist aber für die KI-Forscher trotzdem von Interesse, weil dessen Verständnis möglicherweise hilft, für die KI nützliche Algorithmen zu entwickeln.

    Ein paar Beispiele, was man vom Gehirn lernen kann (effektives Arbeiten):
    – es arbeitet mit einem externen Körpermodell (dies spart Datenvolumen)
    – es wählt selektive Inhalte für die Datenverarbeitung (damit wird es z.B. um 1/3 schneller: 200 Millisekunden statt 300 Millisekunden)
    – bei der Re-aktivierung von Wissen wird bereits in die Zukunft vordatiert (wir schlagen mit dem Fuß nicht dorthin wo der bewegte Ball war, als wir ihn sahen, sondern dorthin wo er sein wird, wenn wir ihn mit dem Fuß treffen)
    – die Suchstrategie wird je nach Reiz angepasst (hierarchisch auf- bzw. abwärts im Gedächtnis suchen; eine virtuelle Simulation erstellen)
    – ALTE Erfahrungen in NEUES Wissen übertragen (zustandsabhängiges Erinnern)

  17. AR,
    fuzzy Logik gibt es schon lange und erleichtert dem Programmierer die Arbeit, weil keine Exacten Ergebnisse mehr abgefragt werden müssen, sondern auch Näherungen als richtig angenommen werden.
    Für die Logik von Strategiespielen ist das weniger gut, weil hier der kleinste Fehler sich in Zukunft fatal auswirkt.
    Auch die Quantencomputer sind Zukunftsmusik. Die werden nur von der Presse hochgelobt.

    Was die Denkweise anbetrifft, auch da sind wir beim menschlichen Denken noch am Anfang. Wir wissen weder, wie Sinneseindrücke abgespeichert noch in welcher Form, wir können nur den Gehirnbereich lokalisieren.
    Es ist eher umgekehrt, dass man die Computersoftware so programmiert, wie wir unser Denken strukturieren. Ob das Gehirn dass auch so macht, das wissen wir nicht.

  18. Deep Learning mit neuronalen Netzwerken besteht aus einem Trainingslauf der in einem hochparametrisierten Netzwerk (tausende von Zahlen für die Gewichtung der Input-“Neuronen” um schliesslich einen Output zu erzeugen) resultiert. Während bereits trainierte Netze und damit Deep-Learning-Lösungen auch auf einem Smartphone laufen können sieht es mit der Trainingsphase völlig anders aus. Sogar Supercomputer können hier tagelang beschäftigt sein. Das könnte sich nun mit IBM’s Entdeckung einer effizienten Hardwareimplementation von DNN’s ändern wie der Artikel AI could get 100 times more energy-efficient with IBM’s new artificial synapses berichtet. Nicht nur wäre die Lösung 100 Mal energieeffizienter, sie könnte auch riesige neuronale Netze auf kleinstem (Chip-)Raum realisieren. Das würde die Möglichkeit von situatitiv und auf eine Person trainierten neuronalen Netzen ermöglichen. Ein Sprachassistent beispielsweise der das Genuschel von Elon Musk versteht oder mit der ganz persönliche Sprachfärbung einer Person aus Bayern zurecht kommt – und das weil der Sprachassistent im Smartphone residiert und dort auch trainiert wird.

    • Jetzt haben Sie mir aber mein Thema für den Blogtext am kommenden Montag genommen. 🙂 Ich habe das IBM-Paper in der Nacht in Nature gelesen und wollte drüber schreiben. Da wir hier ja von der Hardware-Problematik diskutiert haben.

      Tatsächlich ist es wohl so, dass Hardware momentan die größte Hürde ist, um die tiefen neuronalen Netze ganz aufblühen zu lassen. 🙂 Deswegen sind Google und IBM jetzt so hinter dem Quantencomputer her.

      Spannend ist, wer das Rennen macht: Die Quanten oder anders strukturierte und gebaute herkömmliche Von-Neumann-Computer. Vor einem Jahr dachte ich noch selbst, ein Quantencomputer wird nie fehlerlos rechnen können, jetzt bin ich immer unsicherer:

      Alles ist möglich! Deswegen machen die Natur und ihre Wissenschaft ja auch so viel Spaß. 🙂

      • @Jaromir Konecny: Bis Quantencomputer zu Leistungen auflaufen, die konventionelle Computer nicht nur in Spezialanwendungen übertreffen dürften noch Jahrzehnte vergehen. Der kürzlich von IBM vorgestellte 50 Qubit-Quantencomputer hatte eine Fehlerquote von 9% pro Qubit-Operation und der 49 Qubit- Google-Quantencomputer von John Martinis mit besserer Fehlerrate ist wohl noch für Monate im Test bevor überhaupt etwas veröffentlicht wird.

        • Das stimmt! Die Fehlerquote bei den Quantenrechnern hat mich eben immer denken lassen, dass sie nun mal beim Rechnen mit Qubits wesentlich ist und man das “Rauschen” bei den Quantencomputern nie wegbekommt.

          Nur können tiefe neuronale Netze sehr gut wichtige Signale aus einem verrauschten Datensatz fischen. Was wenn man Wege findet, diese beiden Technologien funktionierend zu verbinden?

        • Ergänzung: Das aktuelle Spektrum der Wissenschaft mit dem Titel “Die nächste Quantenrevolution” gibt einen guten Einblick in die Entwicklung der Quantentechnologie inklusive Quantencomputer für die nächsten 3 Jahrzehnte. Auch auf das EU-Forschungsprogramm, welches in The European quantum technologies flagship programme vorgestellt wird, rechnet mit Jahrzehnten bis zur vollen Realisation der zweiten Quantenrevolution. In der Zusammenfassung liest man dort (übersetzt mit DeepL):
          Das QT-Flaggschiff ist Europas mutiges Bekenntnis, in der Quantenforschung und -innovation an der Spitze zu bleiben. In den nächsten Jahren wird QT in vielen Anwendungsbereichen eine Rolle spielen, von der Gesundheitsversorgung bis hin zu Mobilität und Sicherheit. Quantenkommunikation wird bereits heute für Nischenanwendungen eingesetzt, aber mit der Entwicklung der Technologie wird sich ihr Einsatz ausbreiten und sie hat das Potenzial, ein integrierter, standardisierter Bestandteil unserer weltumspannenden Kommunikationsnetzwerke zu werden. Um dieses Ziel zu erreichen, muss neben der Bewältigung verschiedener theoretischer Herausforderungen noch ein erheblicher Teil des Software- und Hardware-Engineerings sowie der Systemintegration in enger Zusammenarbeit zwischen Wissenschaft und Industrie durchgeführt werden.

          Beurteilung: Wenn noch theoretische Herausforderungen bewältigt werden müssen und der Grossteil des Software- und Hardware-Engineering noch bevorsteht, dann geht es nicht um Jahre, sondern um Jahrzehnte.

  19. Klasse Text! Danke!

    Nur eine Korrektur: Der Phineas Gage-Fall wird in der klinischen Neuropsychologie heute ganz anders bewertet, als Paradebeispiel für eine Persönlichkeitsänderung nach Stirnhirnschädigung taugt er nicht. Siehe z.B. hier: https://www.ncbi.nlm.nih.gov/pubmed/20480430.

    Und eine Ergänzung: Man sollte die Psychologen David E. Rumelhart und James L. McClelland erwähnen, die mit ihrem zweibändigen Werk “Parallel Distributed Processing. Explorations in the microstructure of cognition” (1986) den Konnektivismus in der Psychologie und letztlich die praktische Anwendung neuronaler Netze begründet haben. Sie konnten z.B. schon zeigen, dass neuronale Netze beim Erlernen unregelmäßiger englischer Verben ähnliche Fehlerphasen durchlaufen wie Kinder.

    • Hallo Herr Hoppe,

      vielen Dank für Ihre schönen Worte und den Hinweis!

      Über die Rehabilitierung von Phineas Gage habe ich auch einige Male gelesen, habe das aber nicht so ernst genommen. Sie haben aber recht: Wohl hätte ich wegen dieser Gage-Diskussion ein anderes Beispiel nehmen sollen, wie Charles Whitman, der wohl wegen seines Gehirntumors 13 Menschen erschoss.

      Nur war Gage der allererste Patient, der gerechter- oder ungerechterweise die Hirnforschung prägte. Und ich gebe zu: Der Spiegel-Titel “Schuss durch die Seele” hat mir so gut gefallen, dass ich ihn unbedingt zitieren wollte. 🙂

      Danke auch für Ihre Ergänzung: Das Buch von Rumelhart und McClelland muss ich mir unbedingt angucken.

  20. Zu Lennert:
    “Leider sind wir mit dem Denken noch sehr am Anfang. Wir wissen weder wie Sinneseindrücke abgespeichert werden….”
    Sie verwechseln da etwas. Sinneseindrücke werden nicht abgespeichert sondern bewertet. Das Bewertungssystem ist das Limbische System. Diese “Eindrücke” werden dann in Form von Bildern und Gefühlen abgespeichert.Das implizite Gedächtnis lebt und arbeitet mit Bildern und ist mit dem normalen Denken (Verstand) nicht vergleichbar! Sogesehen funktioniert auch kein DENKEN in diesem System. Diese Form der INTELLIGENZ ist evolutionär gewachsen und kann mit “künstlicher Intelligenz” überhaupt nicht nachvollzogen werden.Das implizite Gedächtnis merkt sich ALLES, wogegen der menschliche Verstand ein lahnmer Gaul ist (sehr lückenhaft). Künstliche Intelligenz ist also bestenfalls ein willenloser Befehlsausführer(Sklave) ….Sinneseindrücke können sie damit nicht verarbeiten, da das limbische System nicht künstlich /technisch ersetzt werden kann.

  21. Mehrlagige neuronale Netze (DNN’s) zeigen trotz ihrer konzeptionellen Einfachheit bereits mehrere Fähigkeiten, die man sonst nur bei Tieren findet und die für einen Computerprogrammierer manuell schwierig zu programmieren sind.
    Projekte dazu gibt es von Deep Mind, die sie auf ihrer Website auch publiziert:
    1) Navigating with grid-like representations in artificial agents berichtet über eine Selbstorganisation von neuronalen Netzen, die auf räumliche Orientierung trainiert wurden (wo bin ich, was ist der schnellste Weg zurück, etc), wobei sich zeigte, dass sich gitterartige Strukturen im neuronalen Netz ausbildeten, wenn man das Netz virtuell herumlaufen liess, wobei es die Geschwindigkeit und Laufrichtung des virtuellen Läufers als Information erhielt. Dieses Netz konnte den virtuellen Läufer dann räumlich einordnen und ihm bei Bedarf den kürzesten Weg zurück zum Ausgangsort vermitteln. Interessant daran ist, dass solche gitterartigen Strukturen sich auch im Säugetierhirn ausbilden und sogar als spezielle “Gitter”neuronen vorhanden sind. Für das Finden dieser Gitterneuronen gab es im Jahr 2005 den Nobelpreis für Physiologie.
    2) Neural scene representation and rendering beschreibt ein DNN-System, welches aus wenigen 2D-Bildern ein dreidimensionales Bild rekonstruieren kann. Jedes höhere Säugetier muss dazu in der Lage sein, denn sonst könnte es sich in seiner Umgebung nicht orientieren und wüsste nicht, dass sich eventuell hinter dem Baum, das es sieht, ein Tier verstecken könnte und hätte keine Idee, wie es mit minimalem Standortwechsel herausfinden kann ob das so ist. Klassisch propgrammiert ist solch eine Rekonstruktion aber extrem aufwendig und hochgradig von mathematisch/geometrischen Routinen bestimmt. Doch zwei aufeinander abgestimmte künstliche neuronale Netze scheinen ebenfalls dazu in der Lage zu sein (Zitat, übersetzt von DeepL): In dieser Arbeit, veröffentlicht in Science (Open Access Version), stellen wir das Generative Query Network (GQN) vor, ein Framework, in dem Maschinen lernen, ihre Umgebung wahrzunehmen, indem sie nur auf Daten trainieren, die sie selbst erhalten, wenn sie sich in Szenen bewegen. Ähnlich wie Säuglinge und Tiere lernt das GQN, indem es versucht, seine Beobachtungen der Welt um sich herum zu verstehen. Dabei lernt das GQN plausible Szenen und deren geometrische Eigenschaften kennen, ohne dass der Inhalt der Szenen vom Menschen beschriftet wird.

    • Ich war damals von der Deep-Mind-Arbeit und dem Gitter-/Ortsneuronen-Artikel begeistert, deswegen habe ich ihn in meinem Blogtext auch erwähnt: Knotenpunkte in einem künstlichen Netz zeigen ähnliches Muster “beim Feuern” wie die natürlichen Neuronen.

      Jetzt frage ich mich aber: Bedient sich das Gehirn am Ende bei seinen Orts- und Gitterneuronen nicht der generellen Optimierungseigenschaft eines Netzes, Wege zu finden? Wie beim Problem des Handlungsreisenden und anderen NP-vollständigen Problemen können nun mal statistische Optimierungsverfahren den kürzesten Weg besser berechnen als das menschliche Gehirn. In diesem Sinne hat Deep Mind lediglich gezeigt, dass unser Gehirn sich der Optimierungsfähigkeit eines Netzes bedient, nicht aber, dass ein künstliches neuronales Netz sich wie das Gehirn verhält. 🙂

  22. Zu Martin Holzherr:
    “…Jedes höhere Säugetier müßte dazu in der Lage sein, denn sonst wüßte es nicht, dass es eventuell hinter dem Baum, das es sieht, ein Tier verstecken könnte…”
    Wenn ich zum Beispiel an ein Reh denke, was auf seinem Weg zur Tränke an einem Baum vorbeigeht, so ist dieser Baum für das Reh zunächst einmal uninteressant. Dieser Baum wird erst interessant,wenn es bemerkt, dass sich dahinter ein Wolf befindet. In Zukunft ist genau dieser Baum für das Reh mit Angst verbunden,da ihr neuronales System beides (Wolf und dieser Baum) mit Gefahr konditioniert hat. Diese klassische Konditionierung nach Pawlow ist eine “Programmierung”aus dem Baukasten der Evolution und kann von “künstlicher Intelligenz” nicht nachvollzogen werden, da neuronale Netze hier auf Grund von neuen Erkenntnissen (Wolf hinter Baum) neue Synapsen bilden und somit auf einfacher Ebene LERNEN .

  23. Liebe Leute,

    ich freue mich über die sehr ergiebige Diskussion zu meinem SciLogs-Beitrag. Vielen Dank fürs Mitmachen und Mitdenken!

    Den nächsten Blogeintrag zu “Gehirn & KI” poste ich hier am Montag in einer Woche, also am 25.06.18.

    Liebe Grüße

    Jaromir

  24. Eine kleine Ergänzung:

    die ersten archäologischen Funde von Go-Spielen stammen um Christi Geburt aus China. Dort ist es übrigens unter dem Namen Weiqi (围棋) bekannt. Der Legende nach wurden sie um das 7 Jhr nach Christus nach Japan gebracht. Wenn man also nach ‘nationaler Urheberschaft’ geht, sollte es wohl eher ein chinesisches Spiel sein.

    • @Xiaolei Mu: Eine kleine Ergänzung: die ersten archäologischen Funde von Go-Spielen stammen um Christi Geburt aus China.

      Auch hier danke für den Hinweis: Das habe ich schon öfter gelesen, dass Go ursprünglich aus China stammt – so wie der Zen (Chan) :-).

Schreibe einen Kommentar


E-Mail-Benachrichtigung bei weiteren Kommentaren.
-- Auch möglich: Abo ohne Kommentar. +