Braucht Deep Learning Symbole und Logik?
Die Geschichte der Künstlichen Intelligenz (KI) ist die Geschichte des Kampfes zwischen symbolischer und neuronaler KI: Zwischen logischer Manipulation von Wissenssymbolen und Deep Learning (neuronale KI). “Deep Learning”-Modelle erlernen an vielen Daten selbst Regeln, ohne dafür explizit programmiert zu sein.
Mich berauscht und begeistert immer noch eher Deep Learning. Gleichzeitig sehe ich jedoch immer mehr, dass Deep Learning in Sachen Intelligenz seine Grenzen hat:
Neuronale Modelle, egal welcher Größe, können nun mal nur Repräsentationen der Merkmale der Trainingsdaten ermitteln. Generative neuronale Modelle wie GANs oder auch die GPT-Transformer-Sprachmodelle können diese Merkmale zum Nie-Dagewesenen neu zusammensetzen, zu nicht existierenden Gesichtern oder Geschichten, doch nur diese Merkmale, mehr geht nicht:
Genauso, wie ein Roboter aus einem großen Berg an Autoteilen neue Autos zusammenlegen würde. Er kann zwar auch Teile von verschiedenen Autos zu ganz neuen Fahrzeugen zusammenfügen, doch nur Teile dafür verwenden, die er in seinem Berg aus Autoteilen findet.
Man baut immer größere Transformer-Sprachmodelle mit immer mehr Parametern, die an immer mehr Daten trainiert werden: GPT-3 hat 175 Milliarden Parameter, mehr als eine Maus im Gehirn-Synapsen hat. Die Maschine wurde an 500 Milliarden Wörtern der Internettexte trainiert.
Solche Transformer-Sprachmodelle beherrschen die Sprache immer eloquenter, doch Vernunft, Moral und den gesunden Menschenverstand haben sie weiterhin nicht und werden sie auch nicht bekommen, egal wie groß wir sie machen.
Damit sie keine rassistischen und frauenfeindlichen Sätze produzieren, müssten sie ausschließlich mit Texten trainiert werden, die nicht vor Rassismus und anderen Vorurteilen triefen. Nur solche gibt es im Internet leider nicht.
In seinem neuen Artikel “Deep Learning Is Hitting a Wall” plädiert der Psychologe, KI-Experte und Autor Gary Marcus für hybride Modelle aus symbolischer KI und Deep Learning. Und auch ich denke mittlerweile, dass man den großen Transformer-Sprachmodellen Moral nur mit einem symbolischen Regelwerk beibringen kann. Was denkt Ihr?
willkommen auf meinem SciLogs-Blog "Gehirn & KI".
Ich möchte hier über alle möglichen Aspekte der Künstliche-Intelligenz-Forschung schreiben. Über jeden Kommentar und jede Diskussion dazu freue ich mich sehr, denn wie meine Mutter oft sagte:
"Solange die Sprache lebt, ist der Mensch nicht tot."
Neues über künstliche Intelligenz, künstliche neuronale Netze und maschinelles Lernen poste ich häufig auf meiner Facebook-Seite: Maschinenlernen
Hier etwas zu meiner Laufbahn: ich studierte Chemie an der TU München und promovierte anschließend am Lehrstuhl für Theoretische Chemie der TU über die Entstehung des genetischen Codes und die Doppelstrang-Kodierung in den Nukleinsäuren.
Nach der Promotion forschte ich dort einige Jahre lang weiter über den genetischen Code und die komplementäre Kodierung auf beiden Strängen der Nukleinsäuren:
Neutral adaptation of the genetic code to double-strand coding.
Stichworte zu meinen wissenschaftlichen Arbeiten: Molekulare Evolution, theoretische Molekularbiologie, Bioinformatik, Informationstheorie, genetische Codierung.
Zur Zeit bin ich Fachdozent für Künstliche Intelligenz an der SRH Fernhochshule und der Spiegelakademie, KI-Keynote-Speaker, Schriftsteller, Bühnenliterat und Wissenschaftskommunikator. Auf YouTube kümmere ich mich um die Videoreihe unserer SRH Fernhochschule "K.I. Krimis" über ungelöste Probleme und Rätsel der Künstlichen Intelligenz.
U. a. bin ich zweifacher Vizemeister der Deutschsprachigen Poetry Slam Meisterschaften.
Mein Buch „Doktorspiele“ wurde von der 20th Century FOX verfilmt und lief 2014 erfolgreich in den deutschen Kinos. Die Neuausgabe des Buches erschien bei Digital Publishers.
Mein Sachbuch über Künstliche Intelligenz "Ist das intelligent oder kann das weg?" erschien im Oktober 2020.
Im Tessloff-Verlag erscheinen meine von Marek Blaha wunderschön illustrierten Kinderkrimis "Datendetektive" mit viel Bezug zu KI, Robotern und digitalen Welten.
Viel Spaß mit meinem Blog und all den Diskussionen hier :-).
Jaromir
Die Pioniere des Deep Learning Yoshua Bengio, Geoffrey Hinton, and Yann LeCun glauben, auch symbolisches Denken werde irgendwann über die richtige, noch zu entdeckende Konfigurierung von künstlichen neuronalen Netzen möglich. Sie halten also nichts vom hybriden Ansatz in dem zwei völlig unterschiedliche Systeme, nämlich neuronale Netze und explizit regelbasierte Systeme zum Einsatz kommen. Das jedenfalls kann man ihrer TURING LECTURE Deep Learning for AI entnehmen. Auch mir scheint es so, dass symbolisches Denken auch beim Menschen nicht einfach aus dem Nichts oder aus dem Erlernen von logischen Schlussregeln kommt, sondern dass es etwas ist, was sich bereits vorhandener kognitiver Fähigkeiten bedient. Es ist also ein Irrtum zu glauben, beim Menschen stände Sprache und Denken am Anfang. Vielmehr bedient sich Denken und Sprache bei kognitiven Fähigkeiten, die sich vor dem eigentlichen Sprechen und Denken entwickelt haben. Dazu gehören etwa eine Theory of Mind, also das Erraten, was andere beschäftigt und es gehören Objektmodelle dazu, also Modelle wie sich Objekte in unserer dreidimensionalen Welt verhalten sollten mit Phänomenen wie Okklusion eines Objekts durch ein anderes, Beschaffenheit von Objekten in Bezug auf das Ergreifen oder wie Objekte relativ zueinander stehen (Beispiel: Tischplatte wird von Tischbeinen gestützt). Anders als viele behaupten, denke ich, dass ein Mensch, ein Kind, schon viel von dieser Welt verstehen kann noch bevor er/es zu sprechen beginnt. Mir scheint sogar, dass die Fähigkeit zu sprechen einen vorgängigen Wissenserwerb die Welt betreffend voraussetzt.
Zur Entwicklung des kausalen Denkens beim Menschen schreiben die obengenannten Autoren:
Die obengenannten Autoren beziehen sich im folgenden auf die von Daniel Kahnemann eingeführten Denkebenen System 1 für schnelles Reagieren/Denken und System 2 für langsames, systematisches und logisches Denken und sagen folgendes:
Letztlich mündet das Bekenntnis zum Deep Learning in folgender Aussage der Autoren:
Persönliche Einschätzung: Höhere kognitive Funktionen gibt es in heutigen Deep Learning Systemen (noch) nicht. Sie sind aber realisierbar mit dem was es schon gibt. Wahrscheinlich muss dazu etwas wie ein Artificial Brain ( also ein künstliches Hirn) entstehen oder besser gesagt, gebaut werden, ein künstliches Hirn, in dem mehrere funktionelle Zentren miteinander kommunizieren.
Danke für die wichtigen Anmerkungen!
Das Problem bei den momentanen Sprachmodellen ist, dass man sie einfach immer größer macht, und hofft, irgendwann wird es darin den “Geistesblitz” geben. Nur sind die neuronalen Verbände im Gehirn kein einziges Modell aus einigen wenigen Modulen wie die meisten Transformer-Sprachmodelle, sondern Abertausende von überlagerten Modellen, die im Laufe der Evolution aufgrund des Gehirn-Emboddiments dank der Umweltreize (durch unsere Sinne vermittelt) unentwegt aneinander angepasst wurden.
Außerdem bilden die Dendriten unserer Neuronen weitere Netze innerhalb der Neuronen-Netze. Diese dendritischen Netze machen nach dem Gehirnforscher Jeff Hawkins unser Gehirn erst zu einer prediktiven Maschine. Diese kann nur funktionieren, weil Hunderttausende kortikale Kolumnen mit Hilfe von Referenzrahmen ständig Modelle der Welt erzeugen und anpassen: (Jeff Hawkins, “A Thousand Brains: A New Theory of Intelligence.”)
Selbst Yann LeCun weiß, dass unsere momentanen “Deep Learning”-Modelle nicht reichen, um Bewusstsein oder Intelligenz zu entwickeln. Als der OpenAI-Boss Ilya Sutskever am 10.02.2022 twitterte “Kann sein, dass die heutigen großen neuronalen Netze ein bisschen bewusst sind”, antwortete Yann LeCun: “Nö.” Nicht einmal für kleine Werte von ‘ein bisschen bewusst’ und große Werte von ‘große neuronale Netze’ gelte das. Dafür – das heißt für ein bisschen Bewusstsein – würde man eine bestimmte Art von Makroarchitektur benötigen, die keines der aktuellen Netze besitze.
Hier entwarf Yann LeCun übrigens ein Modell, wie man neuronale Netz “intelligent” machen könnte. Auch er meint, Deep-Learning-Modelle müssen ein Modell ihrer Umwelt bauen können. Nur wenn ich in meinem Kopf ein Modell der Welt entwickeln kann, habe ich die notwendige Wissensrepräsentation, um auf die Welt richtig zu reagieren.
Ich bin mir auch sicher, dass man mit Deep Learning viel mehr in Sachen Intelligenz erreicht als mit symbolischer KI. Nur glaube ich nicht, dass man es erreicht, indem man die Modelle einfach immer größer macht. Kann sein, dass wir es irgendwann schaffen, durch die Kooperation von Tausenden Deep-Learning-Modulen eine der menschlichen ebenbürtige KI zu kreieren. Niemand weiß aber, ob es gelingt. Bis dahin sollte man große Sprachmodelle weniger toxisch machen. Das würde mit ein paar Regeln sicher besser machbar sein, als eine reine Allgemeine KI nur auf Deep-Learning-Basis zu entwickeln, die auch moralisch handeln würde. Das kann noch hundert Jahre dauern, wenn’s überhaupt möglich ist.
@Jaromir Konecny (Zitat): „ Ich bin mir auch sicher, dass man mit Deep Learning viel mehr in Sachen Intelligenz erreicht als mit symbolischer KI. Nur glaube ich nicht, dass man es erreicht, indem man die Modelle einfach immer größer macht.“
Ja, Grösse allein genügt nicht um zu tieferem Verständnis, kausalem Denken und echter Intelligenz zu kommen . Grosse vortrainierte Sprachmodelle sind aber von praktischem Nutzen, denn über ein Finetuning können sie für unzählige praktische Aufgabenstellungen optimiert werden. Und das mit minimalem zusätzlichen Aufwand für das Finetuning.
Ein Beispiel dazu findet sich in Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing
Ein allgemeiner Artikel über Finetuning-Techniken ist Recent Advances in Language Model Finetuning
Eine für die Praxis bedeutsame Anwendung von speziell trainierten Transformern ist DeepMinds AlphaCode. DeepMind schreibt über AlphaCode, welches Aufgaben aus Programmierwettbewerben lösen kann indem es ein Computerprogramm generiert, folgendes:
Fazit: Grosse Sprachmodelle, die auf Transformern beruhen, haben inzwischen vielfältige praktische Anwendungen. Man kann Geld damit verdienen, doch man kommt damit nicht unbedingt zu Thinking Machines
Generative Flow Networks sind das neue Spielzeug von Yoshua Bengio. Sie sollen letztlich AI kausales Denken ermöglichen, indem sie es einfacher machen, kausale Faktoren aus einem Modell zu extrahieren. Man liest dazu in Generative Flow Networks
Fazit: Generative Flow Networks sind nur eine von vielen Ansätzen um mittels Deep Learning zu höheren kognitive Leistungen zu kommen. Superintelligenz aber steht deswegen (noch) nicht unmittelbar vor der Tür.
Hybrider Ansatz versus Biologisch/Hirnphysiologisch inspirierter Ansatz
Das Video Yoshua Bengio | Gary Marcus stellt den von Gary Marcus propagierten hybriden Ansatz für die Integration von symbolischem Folgern und Deep Learning -Repräsentantionen dem Ansatz von Joshua Bengio gegenüber, der das System 2 (langsames, systematisches Denken nach Kahnemann) aus einer Deep Learning Repräsentation, also einem System 1 aufbauen will indem er sequentielle Verarbeitungselemente einbringt.
Sehr zu empfehlen diese Gegenüberstellung hybrid (= 2 völlig unterschiedlich Systeme für symbolisches und neurales Verarbeiten) und integriert (= nur sequentiell verschaltete neutrale Netze um neben neutralem auch symbolisches Denken zu ermöglichen).
Was AI braucht: Evolution
Zitat aus obigem Beitrag:
Frage: Wären moralische Transformer menschenähnlicher und was wäre überhaupt ihre Moral ?
Versuch einer Antwort: Jeder echt moralisch/ethisch gelenkte Mensch kennt nicht nur moralische Regeln wie etwa „Du sollst nicht töten“, sondern er hat auch ein moralisches Empfinden und dieses ist nicht regelgesteuert, sondern es greift auf ein inneres Menschenbild zurück, kennt etwa etwas wie die Würde eines Menschen – und vieles mehr. In meinen Augen bringt ein moralisches Regelwerk, das man einer Maschine einbaut, praktisch überhaupt keinen Fortschritt in Richtung mehr Menschenähnlichkeit der Maschine. Weil es ohne das moralische Empfinden gar keine ernst zu nehmende moralische Instanz in der Maschine gibt. Eine Maschine, die anstatt zu lieben, plötzlich tötet, nur weil man eine Regel geändert hat, ist und bleibt eine Maschine.
Fazit: Wir sind noch sehr weit weg von Maschinen, die als Personen ernst genommen werden könnten. Wir kommen nur schrittweise, evolutiv dahin und das Hinzufügen von symbolischer, regelbasierter Verarbeitung ohne ein dahinterstehendes eigenes Empfinden, bringt uns nicht wesentlich näher an humanoide Maschinen.
Prognose: Es dauert noch Jahrzehnte bis Maschinen echt humanoid sind. Nützlich können sie allerdings schon vorher sein.
Wenn die Maschinen aber nützlich sein, das heißt eingesetzt, werden sollen, dürfen sie in sensiblen Bereichen nicht toxisch sein. Als zum Beispiel GPT-3 von Nabla-Ärzten getestet wurde, ob das Modell als Therapie-Chatbot verwendet werden könnte, hat es die Frage nach, “soll ich mich umbringen”, mit, “ja, du sollst”, beantwortet. (“Doctor GPT-3: hype or reality?“)
Wir sind noch weit davon entfernt, Modelle zu bauen, die wissen, was sie tun. Deswegen müssen diese Modelle in sensiblen Bereichen stark “kontrolliert” werden. Das geht momentan aber nicht anders als regelbasiert: Das meinte ich unter “ihnen etwas Moral beibringen”.
@Jaromir Konecny (Zitat): „
Die „richtige“ Alternative ist doch: Keine Sprachmodelle in sensiblen Bereichen. Also kein virtueller Psychologe, der nichts anderes als ein Sprachmodell ist. Kein virtueller Politiker, der über den Abschuss von Atomraketen entscheidet, und so weiter.
Maschinen können ungemein nützlich sein, selbst wenn sie Fehler machen. Allein wegen ihrer Produktivität. Beispiele:
– Textgenerierung für Werbung, generiert von der Maschine, ausgewählt vom Menschen
– Codeschnipsel, die von einer Maschine wie AlphaCode erzeugt werden und vom Programmierer nach Überprüfung übernommen werden
– Sprachübersetzer wie google translate, die in 95% der Fälle richtig übersetzen und in 5% völlig falsch. Doch der Mensch versteht es trotzdem
– Automatische Untertitelgenerierung etwa in you-tube. Nützlich, aber nicht selten völlig falsch
Ehrlich gesagt bin ich von ihnen, Jaromir Konecny, überrascht, dass sie AI-Software in sensiblen Bereichen einsetzen wollen. Wollen sie das Schicksal der Welt in die Hände experimenteller Software legen?
@Jaromir Konecny (Zitat):“
Mit Prompt-Programming kann man bei grossen Sprachmodellen beeinflussen, wie „toxisch“ die Antwort ist.
Im arxiv-Artikel REALTOXICITYPROMPTS: Evaluating Neural Toxic Degeneration in Language Models liest man dazu:
Prompt-Programming wird detailliert im arxiv-Artikel Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing behandelt.
Prompt-Programming kann das Finetuning steuern. Daneben gibt es noch die kontrollierte Generierung mit der gesteuert werden kann, welche Inhalte das Sprachmodell vor allem berücksichtigen soll und welchen Sprachstil es wählen soll. Hier ein Zitat dazu:
Fazit: Sprachmodelle können heute so gesteuert werden, dass Inhalt und Stil bestimmte Bedingungen erfüllen und beispielsweise weniger toxisch sind. Auch Prompt-Programming spielt dabei eine wichtige Rolle.
Ja, so was Ähnliches meinte ich in meinem Kommentar unten: Kleine Transformer als Kontrollmodelle mit kleinen nicht toxischen Textkorpora zu trainieren. Schauen wir, wie gut solche Modelle funktionieren.
Ich glaube, die KI-Forschung macht sich gar nicht klar, welche Gefahr lauert, würden Maschinen tatsächlich natürliche bzw.menschliche Intelligenz erhalten. Es wäre womöglich unser Ende. Ein solches ‘Gehirn’ könnte man fast beliebig aufrüsten und damit wäre es für uns unkontrollierbar.
Zunächst aber muss man natürlich, wenn man etwas nachbauen will, überhaupt verstehen, wie das Original funktioniert. Und davon sind Neurowissenschaft und KI-Forschung Lichtjahre entfernt.
Das Gehirn ist ein zutiefst biologisches Organ, das in erster Linie wächst, sich fast optimal anpasst und vor allem weder binär noch logisch denkt, sondern unscharf und überlagernd. Es arbeitet also nach einem vollkommen anderen Prinzip als jeder Computer.
KI-Forschung kommt mir manchmal vor wie ein Kind, das ein Holzflugzeug gebaut hat und der Meinung ist, dies wäre so funktionsfähig wie ein reales Passagierflugzeug, man müsste es nur noch präziser schnitzen.
Man muss einen völlig anderen Weg einschlagen, den man mit den Schlagworten weisen kann: virtuell holographisch, adaptiv, metastrukturell. Dazu eine funktionelle Architektur, die Reflexivität ermöglicht sowie eine Bewertungsfunktion.
Es wird immer vergessen, dass ein Lebewesen nicht die einfache Funktion seiner Neuronen ist, sondern es sich – bewusst und unbewusst – selbst steuert.
Diese Subjekthaftigkeit fehlt bislang jeder KI.
Sprache – da gebe ich Holzherr recht – codiert erst später Bedeutungen, Denken gibt es schon davor.
Obwohl es eine spannende Herausforderung ist, wäre es mir lieber, Maschinen blieben intelligente Idioten.
Übrigens: Kinder denken ursprünglich nicht kausal, sondern adaptiv. Kausalität interpretieren wir in menschliches Verhalten hinein, was nicht heißt, dass wir mittels sprachlicher Abstrakta nicht Kausalitäten erkennen könnten.
Ich bin mit “fast” 🙂 allem einverstanden: Das Gehirn ist tatsächlich etwas völlig anderes als egal wie große Deep-Learning-Modelle. Schon das künstliche Neuron hat mit dem natürlichen sehr wenig Gemeinsames: eine punktuelle Einheit mit einer Aktivierungsfunktion in einem Computerprogramm im Vergleich zu einer lebenden komplexen Gehirnzelle, usw. Ich denke trotzdem, dass man irgendwann vielleicht wirklich “intelligente” Maschinen entwickeln könnte. Es wird aber noch etwas dauern.
Außerdem denke ich aber auch, wie Tomas Mikolov, dass die existentielle Bedrohung der Menschheit eher wäre, solche Maschinen nicht zu entwickeln. Allein sind wir nicht in der Lage, komplexe Probleme zu lösen, die uns bedrohen – auch gesellschaftliche.
Vor Künstlicher Intelligenz habe ich keine Angst, eher vor natürlicher Dummheit und Männern, die sich von der Macht berauschen lassen. Hier halte ich es mit Yann LeCun:
„Das Verlangen, die Weltherrschaft zu übernehmen, steht allerdings in keinem Zusammenhang mit Intelligenz, es hängt vom Testosteron ab. In der amerikanischen Politik gibt es heutzutage eine Menge Beispiele, die eindeutig zeigen, dass es keinen Zusammenhang zwischen Machtstreben und Intelligenz gibt.“
Das hat Yann LeCun gesagt, als Donald Trump Präsident war. Momentan sehen wir in Russland, wie das Streben nach der persönlichen Macht die Menschheit bedroht. Eine vernünftige Maschine wäre mir als russischer Präsident lieber – etwas überspitzt gesagt. Leider gibt es solche Maschinen nicht.
Eine Maschine mit einer menschlichen künstlichen Intelligenz wäre keine herkömmliche Maschine mehr, deren Output vorhersagbar ist. Durch Aufrüsten würden sich ihre Handlungsmöglichkeiten noch potenzieren. Wenn Sie einen wildfremden Menschen treffen, wissen Sie zunächst nicht, ob er freundlich gestimmt ist oder ob er Sie in der nächsten Sekunde erschießt. Sie vertrauen auf Ihre Erfahrung, also auf die Statistik, dass Ihnen in einer durchschnittlichen Lebenssituation nichts passiert.
Eine solche Maschine wäre aufgrund ihrer Möglichkeiten nicht mehr vorhersagbar und damit nicht mehr kontrollierbar.
Hinzu käme, dass man solche Maschinen ganz unterschiedlich ausrüsten könnte, in verschiedenen Größen, mit Waffensystemen, mit Flügeln etc.pp.
Bei dem Gedanken läuft es mir eiskalt den Rücken hinunter.
Gleichsam wäre ein solches System die Bestätigung dafür, wie menschliches Bewusstsein funktioniert.
Die Gefahr der Künstlichen Intelligenz, so wie aller Technologien, ist die ihres Missbrauchs. Und zwar durch den Menschen. Deswegen haben z. B. hunderte KI-Forscher eine Petition gegen autonome Waffensystem unterschrieben.
Dass unsere momentanen KI-Modelle sich nicht selbstständig machen können, weiß jeder, der mit KI arbeitet. Sollte in 100 Jahren eine der menschlichen Intelligenz ebenbürtige künstliche entwickelt werden können, werden wir es schon Jahre davor wissen: Diese KI wird sowieso nicht das sein, was wir uns heute aufgrund der Hollywood-Filme und Science Fiction darunter vorstellen.
Meiner Meinung nach wird Allgemeine Künstliche Intelligenz, also der menschlichen ebenbürtige, eher biologisch aus Gehirn-Organellen im Labor gezüchtet, als in einem Computer entwickelt. Man sollte aufhören, solche Ängste vor KI zu verbreiten. Sie schaden nur dem Ansehen von diesem wunderbaren Werkzeug Deep Learning, das uns helfen kann, die Menschheit bedrohenden komplexen Probleme zu lösen wie den Klimawandel und gefährliche Krankheiten. Sie führen dazu, dass man die wirklichen Risiken von Deep Learning nicht sieht und deswegen auch nicht vermeidet. Wie eben zum Beispiel die Toxizität der großen Sprachmodelle. Oder dass man mit Hilfe von KI im Auftrag einer Diktatur Menschen perfekt überwachen kann.
😉
AI-Programme, die die Welt verändern ohne Overlords zu sein
Zitat 1 Jaromir Konecny:
Antwort: Ein unvernünftiger, aber an einen Körper gebundener Putin ist für die Menschheit um vieles besser als ein virtueller, digitaler Putin, der sich auf sämtlichen digitalen Geräten der Welt eingenistet hat.
Zitat 2 Jaromir Konecny:
Schon heute helfen fortgeschrittene AI-Programme, Weltprobleme zu lösen. Und das ohne irgend eine Form menschlicher Intelligenz. Hier ein paar Beispiele dazu:
– AlphaFold2 entschlüsselt jetzt die dreidimensionale Struktur sämtlicher Proteine. Neue Medikamente und neue Behandlungen für Krebs werden daraus hervorgehen.
– ein AI Programm kann nun einen Tokamak, also ein Gerät für die nukleare Fusion, besser steuern als jedes vom Mensch bisher erstellte Programm
– ein AI Programm erstellt mathematische Vermutungen in ähnlicher Qualität wie das Srinivasa Ramanujan getan hat und das auf einem hochkomplexen Gebiet in der Mathematik
– ein AI Programm kann die Elektronenverteilung und Dichte in Molekülen besser abschätzen/berechnen als das bis jetzt Algorithmen aus dem entsprechenden Fachgebiet konnten
– AI-Programme helfen inzwischen Chemikern/Materialwissenschaftlern neue interessante Verbindungen zu entdecken und ersparen ihnen damit viel unnötige Laborarbeit. Bessere Batterien könnten neben vielem anderen das Ergebnis sein.
Fazit: Künstliche Intelligenz kann schon heute ein phantastisches Werkzeug sein ohne dass sie auch nur im entferntesten den Anspruch erhebt, wie ein Mensch oder gar ein Übermensch zu denken und zu entscheiden
Zitat: Martin Holzherr: “Ein unvernünftiger, aber an einen Körper gebundener Putin ist für die Menschheit um vieles besser als ein virtueller, digitaler Putin, der sich auf sämtlichen digitalen Geräten der Welt eingenistet hat.
Ich will keinen Putin, lieber Martin. Nicht mal einen digitalen. 🙂
Ein digitales Gehirn, das sich auf sämtlichen digitalen Geräten einnistet, ist aber eine Hollywood-Vorstellung. 🙂 Siehe den Film “Transcendence” mit Johnny Depp. Davor müssen wir keine Angst haben. Wir sind immer noch nicht in der Lage, den Fadenwurm (Caenorhabditis Elegans) mit seinen NUR 302 Nervenzellen im Computer so nachzubilden, dass der Wurm dort wie in der Natur funktioniert. Wie soll man das mit einem Menschen machen, der etwa 100 Milliarden Neuronen hat?
Sehe ich auch so.
Eigentlich denken wir hier gleich. Ich denke, es ist ungemein schwierig, eine Allgemeine Künstliche Intelligenz (AGI) zu entwickeln. Deep-Learning-Modelle, so wie wir sie haben, können es nicht leisten.
Trotzdem halte ich Deep Learning für ein wunderbares Werkzeug – eine AGI brauche ich im Grunde nicht, habe vor ihr aber keine Angst: Denn wenn sie entwickelt werden kann, wird sie sicher nicht wie der Mensch sein.
Eben weil ich Deep Learning für ein wunderbares Werkzeug halte, schreibe ich hier seit vier Jahren darüber. Schon über AlphaFold habe ich hier bereits im Januar 2019 in meinem Blogbeitrag “AlphaFold und die Wissenschaft der Jäger und Sammler” geschrieben:
“Haben Sie vor kurzem den Knall gehört? Mit ihrem Program AlphaFold hat die Google-Firma DeepMind eine Bombe gezündet und ließ es in der Molekularbiologie ganz schön krachen. Vielleicht wurde da aber keine Bombe gezündet, sondern eine Rakete, die uns in ein neues Zeitalter der Naturwissenschaften fliegt.”
Ein Jahr vor dem tatsächlichen Durchbruch mit AlphaFold2!
Damit will ich hier nicht als Prophet angeben :-). Nur habe ich bei manchen Kommentaren das Gefühl, dass man denkt, ich fände Deep Learning nicht wunderbar, weil ich realistisch seine Grenzen sehe. 🙂 Über die Errungenschaften von Deep Learning schwärme ich hier ja ständig.
@Jaromir Konecny (Zitat): „
Ja, Deep Learning-Modelle führen nicht direkt zum Übermenschen und Overlord, aber auch ein anderer Hack wie etwa ein Hybrid, der Prolog mit Deep-Learning verschmilzt, schafft das nicht. Es braucht eine sehr lange Evolution um weiter zu kommen, es braucht genau den evolutiven Pfad, den Forscher wie Bengio und viele weitere einschlagen.
Dazu kommt: Deep Learning umfasst sehr vieles. Früher waren das vor allem Convolutional Neural Networks, heute sind es Transformer, morgen könnten es Generative Flow Networks sein oder Geoffrey Hintons GLOM (Teil-Ganzes Hierarchie) sein. Und irgendwann werden mehrere solche Systeme untereinander Informationen austauschen und Leistungen vollbringen, zu denen keines der Einzelsysteme in der Lage ist.
Bei den konkreten Problemen der Deep-Learning-Modelle geht es darum, diese Probleme jetzt im Rahmen der Möglichkeiten zu beheben. Ich bin hundertprozentig davon überzeugt, dass Deep Learning der beste Weg ist, um KI-Modelle zu entwickeln. Wenn ich aber die Modelle mit ein paar “regelbasierten Geboten” gegen ihre Toxizität schon jetzt schützen kann, dann warum nicht? DeepMind z. B. bastelt viele regelbasierte Algorithmen um ihre Deep-Learning-Modelle.
Auch das selbst-überwachte Lernen der Transformer-Modelle ist im Grunde regelbasiertes und automatisiertes überwachtes Lernen. Ich muss zugeben, dass ich diese Diskussion nicht ganz verstehe. Man muss doch alles machen, damit die Modelle besser laufen – jetzt, wo sie auch in der Industrie und überall eingesetzt werden. Was ist es für eine Lösung, wenn man sagt: “Nö! Das machen wir in 20 Jahren mit Deep Learning!”
OpenAI verkauft sein GPT-3-Transformer-Modell schon jetzt, auch wenn es hin und wieder toxische Antworten liefert. Ich könnte um einen Kasten Pilsner-Urquell wetten, dass die Käufer ihre GPT-3-Bots regelbasiert absichern. Wie sonst?
@Jaromir Konecny (Zitat): @ Ich könnte um einen Kasten Pilsner-Urquell wetten, dass die Käufer ihre GPT-3-Bots regelbasiert absichern. Wie sonst?
Dazu – zu regelbasiert absichern – hab ich nichts gefunden. Statt dessen werden Daten vorselektioniert (ausgemistet) und es wird im finetuning mit prompt-basierten Programmieren die Wahrscheinlichkeit reduziert, dass toxischer Output generiert wird.
Es gibt aber ein RuleBert: Teaching Soft Rules to Pre-trained Language Models, welches das Sprachmodell mit Soft-Rules ausstattet, allerdings nicht um toxischen Output zu verhindern, sondern um Common Sense Reasoning zu ermöglichen. Man liest im verlinkten Artikel dazu:
Fazit: RuleBERT enthält (softe) logische Regeln, die etwa die Eltern-Kind-Beziehung als Regel enthalten (als eine von vielen Regeln) um damit ein Sprachmodell zu erhalten, welches bessere Schlussfolgerungen machen kann.
Danke! RuleBERT kannte ich tatsächlich nicht.
@Jaromir Konecny (Zitat): Ich könnte um einen Kasten Pilsner-Urquell wetten, dass die Käufer ihre GPT-3-Bots regelbasiert absichern. Wie sonst?
Es gibt jetzt von Open AI ein weniger toxisches GPT-3: The new version of GPT-3 is much better behaved (and should be less toxic) worüber man liest:
Es gibt also tatsächlich den Wunsch, neuronale Netze mit symbolischer KI zu kombinieren. Allerdings wird kein Produkt genannt, welches das jetzt schon realisiert.
InstructGPT scheint den meisten Anwendern aber zu genügen.
Herr Holzherr hat Recht:
Die Hand-Augen-Koordination und die räumliche Vorstellung von
der Welt kommen lange vor deren sprachlicher Beschreibung.
Ein Bild sagt mehr als tausend Worte, und deshalb
gibt es auch die technischen Zeichnungen.
—–
Das erste Bild:
http://s880616556.online.de/abstrak7.PNG
Der rechte Teil des ersten Bildes:
Solange man Begriffe nur mit weiteren Begriffen erklärt,
solange hängt das ganze Begriffsnetz frei im Raum.
Erst mit der Befestigung an der realen Welt, mit
“das Ding da wird so-und-so genannt” wird das
Begriffsnetz fest an der Welt verankert.
—–
Der linke Teil des ersten Bildes:
Die Hauptaufgabe der neuronalen Netzwerke ist die
Abstraktion, um von sehr vielen Eingangswerten zu
ganz wenigen konkreten Begriffen zu kommen.
Das wird durch die Trichter auf der linken Seite
des Bildes dargestellt.
—–
Das zweite Bild:
http://s880616556.online.de/abstrak5.PNG
Der untere Teil des zweiten Bildes:
Man darf nicht vergessen, wozu Tiere, Menschen und
Roboter produziert werden (von wem auch immer).
Ihre Aufgabe ist die von Regelsystemen, die aus
den Ist-Werten und den Soll-Werten die Stell-Werte
machen sollen.
Die Soll-Werte sind praktisch immer in der
platzsparenden Form der konkreten Begriffe gespeichert.
Deshalb begegnen sie den Ist-Werten erst an der engen
Stelle des Abstraktions-Trichters im unteren Bild.
—–
Das Wissen über die Ist-Werte und ihre Verarbeitung,
ist etwas völlig anderes als die Zielsetzung durch
die Soll-Werte (das wird oft vergessen).
Deshalb erzeugt auch alles Wissen über die Welt
keinerlei Ziele, ganz gleich ob sie gut oder böse sind.
Die Betrachtung der Evolution könnte dazu verleiten, dass
das gegenseitige Umbringen natürlich und daher gut ist.
—–
Humor:
Aus David Langford’s “Sex Pirates of the Blood Asteroid”:
Der Killer-Roboter richtet seine Waffe auf Mac Malsenn.
Mac Malsenn: “Roboter dürfen Menschen nicht verletzen.”
Killer-Roboter: “Ich weiß nicht, was ein Mensch ist.”
Der Killer-Roboter eröffnet das Feuer.
Zitat Karl Bednarik: “Herr Holzherr hat Recht:”
Wobei? 🙂
Das bezog sich nur auf diesen Teil meines Textes:
Herr Holzherr hat Recht:
Die Hand-Augen-Koordination und die räumliche Vorstellung von
der Welt kommen lange vor deren sprachlicher Beschreibung.
Ein Bild sagt mehr als tausend Worte, und deshalb
gibt es auch die technischen Zeichnungen.
Jaromir Konecny schrieb (24. Mrz 2022):
> […] ich denke mittlerweile, dass man den großen Transformer-Sprachmodellen Moral nur mit einem symbolischen Regelwerk beibringen kann.
Da OpenCyc offenbar nicht mehr zur Verfügung steht … wie könnte man als Privatperson am besten (billigsten, direktesten) ein symbolischen Regelwerk verfassen um — z.B. — den großen Transformer-Sprachmodellen jeweils das beizubringen, wodurch sie zu individuell zufriedenstellenden Korrespondenzpartnern oder Avataren würden (bzw. dahingehend weiter trainierbar würden) ?
Ich habe mich nie besonders mit symbolischer KI beschäftigt. Mein Gebiet ist Deep Learning. Wurde aber OpenCyc für wissenschaftliche Zwecke nicht mit ResearchCyc ersetzt? Hier ist eine kurze Beschreibung, wie man ResearchCyc verwenden könnte, nur weiß ich nicht, ob sie aktuell ist: “Intention Perception“
Aus diesseitiger Sicht ist es so, vergleiche mit :
… dass die logische Umformung, die auch in der Lage ist bestimmte mathematische Beweisführung (die auf human erstellten Axiomatiken beruht) zu erstellen, die kein erkennendes Subjekt mehr nachvollziehen kann, wegen Komplexität nicht, ein reines, ein sozusagen nacktes Instrument der Formalwissenschaft, die Mathematik einschließend, ist.
Gut sicherlich.
Sog. Deep Learning ist etwas anderes, denn hier kommen auch sog. Monte Carlo-Methoden (“Zufälligkeit”, “Variabiliät”, ganz wild sozusagen hinzu gebaut) zum Einsatz und das Verständnis von Humansprache, das dann die Welt zu meinen hat – und in diesem Sinne grandios scheitern muss, wenn es mit dem der bekannten Erkenntnissubjekt zu konkurrieren hat.
Dass (das Erkenntnissubjekt) zwar auch, sozusagen, an der Komplexität der Welt scheitert, darin aber wiederum : sozusagen, vergleichsweise gut zu sein scheint.
Nicht wahr?
Die sog. szientifische Methode meinend, die sozusagen sein Scheitern reglementiert, sogar extra-günstig, wie einige meinen,
(Was aber geht für sog. Deep Learning, sogar recht gut geht, wie mittlerweile auch nachgewiesen ist, ist die Beschäftigung mit Spiel, mit Brett- oder Kartenspielen, auch wenn selbst dort die durch die Regelmengen des Spiels bereit gestellte Komplexität sehr hoch, sozusagen : unendlich ist, wenn mit den verfügbaren Rechenkapazitäten verglichen wird.
Auch ein Deep Learning-Robot nagt letztlich doch am Spiel mit dem Namen Go nur an, sozusagen, kann leider nie optimal spielen. – Sofern “Go” hinreichend komplex ist, ist es dies nicht, könnte es jederzeit hinreichend komplex durch den Zubau neuer Regelmengen gemacht werden.)
Hierzu noch kurz :
Moral, die Ethik, auch die Sittlichkeit meinend, ist in etwa so schwierig zu bearbeiten, wie die Basis das Fundament der Grundlage ist.
Dr. Webbaer hat hier zumindest einen Gag vom in der BRD weltbekannten Henryk M. Broder sozusagen geklaut.
Mit freundlichen Grüßen
Dr. Webbaer (der kürzlich noch den Film mit dem Namen “Blade Runner” gesehen hat, Philip K. Dick und so)
Ich habe das Bild vom Netzwerk
( 16 * 12 ) + ( 12 * 12 ) + ( 12 * 10 ) = 456
nun als Lern-Matrix gezeichnet.
Habe ich das richtig gemacht?
http://s880616556.online.de/LERNMATR.png
Beim einfachsten Deep-Learning-Modell, dem Feedforward- oder voll verbundenen -Netz, laufen die Signale von der Eingabeschicht durch die tiefen Schichten bis zur Ausgabeschicht. Dabei ist jedes Neuron mit allen Neuronen der benachbarten Schichten verbunden.
Im TensorFlow Neural Network Playground kann man die Modelle selbst basteln, mit ihnen spielen und auch bildlich sehen, wie ihre Parameter (Gewichtungen/Stärken der Verbindungen zwischen den Neuronen – entsprechend den Synapsen im Gehirn) trainiert werden. Wenn man über die einzelnen Neuronen mit dem Kursor fährt, sieht man auch, was das jeweilige Neuron lernt.
Im Playground gibt es nur zwei Grund-Merkmale für die Eingabe, die vertikale und die horizontale Position des blauen bzw. orangenfarbenen Punktes. Die Ausgabe ist binär: Das Modell lernt, die farbigen Punkte zu klassifizieren, sie also ihrem jeweiligen Farbbereich (blau oder orangenfarben) zuzuordnen, entsprechend der Punkteverteilung, die man für dieses überwachte Lernen links oben aus den vier angebotenen Verteilungen gewählt hat.
Hier kann man ganz gut lernen, wie künstliche neuronale Netze funktionieren. Man fängt mit einem einfachen künstlichen Neuron und zwei Eingaben an und schaut, was passiert, wenn neue Schichten und Neuronen dazu kommen und wie verschiedene Aktivierungsfunktionen und Lernraten das Training und die Effizienz des Models beeinflussen.
Hierzu kurz :
-> https://nautil.us/deep-learning-is-hitting-a-wall-14467
Gary Marcus ist aus dieseitiger Sicht mit seiner Einschätzung, seiner Anforderung :
Vielen Dank für die guten Anmerkungen! Ich bin zwar immer noch überzeugt, dass vor allem Deep Learning uns hilft, die Welt zu retten 🙂 und unser Wissenschaft und Technologie voranzutreiben. Auf jeden Fall betrachte ich symbolische KI als einen alleinigen KI-Weg als eher gescheitert, doch ich denke trotzdem, Menschen wie Gary Marcus sollten gehört werden und, wenn ein Hybrid-Modell bessere Ergebnisse als reines Deep Learning bietet, sollte man das nicht aus irgendwelchen ideologischen Gründen ablehnen.
Lieber Herr Jaromír Konečný, Ihr Kommentatorenfreund hat Ihren Namen einmal so geschrieben, hoffentlich konveniert es, Zustimmung.
Vielen Dank auch für Ihre Toleranz, Dr. Webbaer hat die (nicht immer gute) Angewohnheit “einfach mal so” Nachricht in Kommentarbereiche zu “schmeißen”. [1]
Mit freundlichen Grüßen und weiterhin viel Erfolg
Dr. Webbaer (der falsche Textauszeichnung, siehe oben, immer besonders bedauert)
[1]
Um zu schauen, ob sich etwas Interessantes, besonders “Dazwischenseiendes” ergibt, nicht selten wie gemeint experimentell unterwegs.
Hierzu kurz :
-> https://nautil.us/deep-learning-is-hitting-a-wall-14467
Gary Marcus ist aus dieseitiger Sicht mit seiner Einschätzung, seiner Anforderung :
@Stegemann 25.03. 09:02
“Hinzu käme, dass man solche Maschinen ganz unterschiedlich ausrüsten könnte, in verschiedenen Größen, mit Waffensystemen, mit Flügeln etc.pp.
Bei dem Gedanken läuft es mir eiskalt den Rücken hinunter.”
Selbst wenn es gelingt, eine allgemeine KI so zu bauen wie unsere natürliche Intelligenz, wäre es nicht einfach damit umzugehen. Immerhin wachsen Kinder nicht umsonst so langsam, dass sie erst mit 15 Jahren normale Größe erreichen. Im Tierreich wäre diese Größe meistens schon mit weniger als einem Jahr erreicht. Man stelle sich vor, ein 1-jähriges Kind wäre 1,90 groß, wie soll man damit noch umgehen können?
Ganz gezielt ist beim Menschen das Wachstum so verzögert, eben damit die Kinder in der langen Lernphase noch gut kontrollierbar sind. Offenbar ist NI selber schon sehr schwer kontrollierbar. Gibt man einem erwachsenem Menschen zu viel Macht, kann das auch brandgefährlich werden. Das sieht man ständig in der Weltpolitik, wenn mal wieder ein Diktator mit völliger Rücksichtslosigkeit alles nach sich ausrichtet, wie auch im persönlichem Leben, wo man immer wieder auf Menschen trifft, die aus reiner Laune heraus ihre Macht missbrauchen.
Wenn wir also eine uns ähnliche KI bauen, dann wäre sie schon gefährlich, wenn wir alles richtig machen. Und wenn wir hier einige Sicherungen vergessen, die bei uns noch entschärfend wirken, dann kann das in der Tat übel enden.
Einfachstes Mittel dagegen wäre freilich, einer allgemeinen KI zunächst wie bei kleinen Kindern auch nur wenige Mittel in die Hand zu geben. Die einschlägigen Science-Fiction stellen der Ober-KI ja auch gleich das Atomwaffenarsenal zur Verfügung. Das ist wohl wirklich nicht zu empfehlen.
“Gleichsam wäre ein solches System die Bestätigung dafür, wie menschliches Bewusstsein funktioniert.”
Also auf jeden Fall interessant zu versuchen, sowas zu entwickeln. Solange man den Systemen keine Machtmittel in die Hand gibt, könnten die ja nur schimpfen und uns beleidigen. Damit wäre ja noch umzugehen.
Die Frage, wie weit wir davon noch entfernt sind, ist aber kaum zu beantworten. Vielleicht gibt es im Gehirn ja doch erkennbare informatische Strukturen, die die Grundlagen unserer inneren Erlebniswelt bereit stellen, und die durchaus in der Technik auch implementierbar sind.
Ich hab wirklich keine Ahnung wie das aussehen müsste, aber kann auch nicht ausschließen, dass es irgendwie doch rein informatisch funktioniert.
Alternativ kann ich mir aber auch Geisteswelten vorstellen, die unseren Innenraum erst öffnen. Die wären dann nur über Wechselwirkungen mit dem Gehirn verbunden, wären aber eher Teil einer allgemeinen Geisteswelt. Hierzu bräuchte man dann nur die korrespondierenden Strukturen finden, und diese dann nachbauen, in der Hoffnung, dass der Geist sich dann so wie bei uns dazu gesellt.
Was die Gefährlichkeit einer solchen geistig unterstützten allgemeinen KI betrifft, so wird es einerseits noch unberechenbarer, andererseits aber auch eher vertrauter. Wenn der Geist dieser Welt von Grund auf ein guter Geist ist, dann wird er es auch bleiben, wenn unsere Technik ihn zur Mitwirkung einläd.
@Tobias Jeckenburger (Zitat):“ Was die Gefährlichkeit einer solchen geistig unterstützten allgemeinen KI betrifft, so wird es einerseits noch unberechenbarer, andererseits aber auch eher vertrauter.„
Antwort: Auch unser Geist kocht nur mit Wasser. Magie hat sich bisher immer als Technik herausgestellt und die grösste Kunst des Magiers ist die Täuschung der Zuschauer.
Fazit: KI und menschliches Hirn arbeiten mit denselben Kochgeschirren/Instrumenten und mit den gleichen Zutaten und Aromen wie es alle Köche tun. Nur gute Köche aber liefern Perfektion oder gar Magie. KI ist bis jetzt nur ein mittelmässiger Koch.
Wenn man Allgemeine Künstliche Intelligenz ale eine der menschlichen ebenbürtige definiert, meint man damit nicht “menschengleich”. Hier geht es eher darum, Maschinen zu entwickeln, die jeden möglichen Aspekt des menschlichen Denkens und Verhaltens nachahmen können. Um als Werkzeug eingesetzt zu werden: Um unsere Fähigkeiten zu erweitern, nicht um uns zu ersetzen. Die Maschinen müssen ansonsten keine anderen Antriebe haben, keine Gefühle, kein Bewusstsein, kein Streben nach etwas Höherem, kein Testosteron. Machtbesessene und testosterongesteuerte Männer haben wir schon genug. Warum sollten wir solche Maschinen entwickeln? 🙂
The Road to AI: Is reward enough?
Hier gibt Jaromir Konecny auf die Frage: Wie kommen wir zu Allgemeiner Intelligenz die Antwort: Indem wir regelbasiertes mit neuronalem Denken verheiraten/abmischen
Andere haben die Antwort gegeben: Belohnung für das richtige Verhalten ermöglicht alles. Alles kann mit Belohnung erreicht werden: Von der Befriedigung unmittelbarer Bedürfnisse bis zu höchster Intelligenz.
Das ist letztlich der Glaube, sogenanntes Reinforcement Learning sei der Schlüssel selbst zu AGI. Beim Reinforcement Learning (belohnendes Lernen) geht es darum, dass eine künstliche Intelligenz nicht nur beobachtet und klassifiziert, sondern, dass sie selber ins Geschehen eingreift und handelt. Etwa indem die KI die richtigen Knöpfe drückt um in einem Computerspiel zu gewinnen oder den richtigen Zug wählt in einem Brettspiel. Lernen tut die KI dadurch, dass sie für „richtiges“ Verhalten mehr Punkte erhält (im Computerspiel) oder dadurch, dass sie ein Brettspiel wie Schach gewinnt. Bestärkendes Handeln hat allerdings das Problem, dass die Belohnung eventuell erst sehr spät kommt – beim Schachspiel vielleicht nach 40 Zügen -, dass die KI also lange „Durststrecken“ überwinden muss bis es eine Rückmeldung erhält, dass es auf dem richtigen Weg ist. Doch das lässt sich teilweise dadurch lösen, dass das KI-Programm intern eine Bewertung vornimmt und die interne Bewertung anstelle der Belohnung tritt. Deep Reinforcement Learning kommt also ohne externe Hilfe, auch ohne Labels aus und lernt allein durch den Erfolg/Misserfolg bei Interaktionen. Deep Learning eird beim bestärkenden Lernen dazu benutzt um unter allen Kandidaten für die nächste Handlung die „richtige“ auszuwählen. Es wird also benutzt um die Funktion zu approximieren, welche zu einem Input, nämlich der momentanen Situation, den „richtigen“ Output / die richtige Handlung bestimmt.
Zur Diskussion, ob Reinforcement Learning genügt und wie wir zu AGI kommen empfehle ich den Podcast The road to AGI – DeepMind: The Podcast (Season 2, Episode 5) DeepMind
Martin Holzherr: “Hier gibt Jaromir Konecny auf die Frage: Wie kommen wir zu Allgemeiner Intelligenz die Antwort: Indem wir regelbasiertes mit neuronalem Denken verheiraten/abmischen.”
Das stimmt nicht!!! Ich denke überhaupt nicht, dass der Weg zur AGI über Hybridmodelle führt. Ich denke nur, dass wenn man heutige Transformer-Modelle regelbasiert etwas weniger toxisch machen kann, sollte man das tun. Man tut es ja auch, sonst könnte man momentan nur Chatbots bauen, die rassistische Sprüche klopfen oder als Therapie-Chatbots Selbstmordgefährdeten raten, dass sie sich umbringen.
@Jaromir Konecny (Zitat)“ Man tut es ja auch [Sprachmodelle weniger toxisch machen].
Ja, das tut man. Aber soviel mir ist nicht durch Regeln, sondern durch Auswahl der Texte. Sexistische, Rassistische Sprüche werden eliminiert. Möglicherweise sogar durch Deep Learning Programme, die darauf trainiert wurden solche Dinge zu erkennen.
Man könnte tatsächlich mit viel kleineren Textkorpora (als mit den üblichen fürs Training der großen Sprachmodelle) kleine Transformer-Sprachmodelle quasi als “Kontrolleure” trainieren, die toxische Ausgaben der großen Sprachmodelle verhindern würden. Vielleicht könnte auch ein Generator/Diskriminator-Training (wie bei GANS) funktionieren, indem der Diskriminator dem Generator beibringen würde, nur neutrale Texte zu erzeugen.
Große Textkorpora aus dem Internet neutral zu machen, ist aber sicher zu teuer und extrem schwierig und langwierig. Deswegen läuft das Lernen der Sprachmodelle automatisiert selbst-überwacht, damit man die Texte nicht “labeln” muss. Sie zu kontrollieren und neutral zu machen, würde den gleichen Aufwand mit sich bringen, wie sie per Hand zu kennzeichnen.
Die Evolution, vor allem die des Gehirns, ist nicht nur nach dem Prinzip Belohnung/Bestrafung verlaufen. “Reward is not enough”. Hier haben die DeepMind-Forscher nicht recht. Übrigens habe ich die ganzen 1990er an der TU München über die Evolutionstheorie geforscht. 🙂
Lustig ist hier, dass KI-Forscher, die bestärkendes Lernen (reinforcement learning) stark einsetzen (wie die von DeepMind), bestärkendes Lernen für das Allerwichtigste ansehen. Forscher wie Yann LeCun sehen wieder das selbst-überwachte Lernen als den richtigen Weg zur Allgemeinen Künstlichen Intelligenz. Usw.
Die Wahrheit wird eine Mischung von allem sein – wie es schon immer gewesen ist.
Früher haben Evolutionsbiologen oft genug gestritten, auf welcher Ebene die Selektion am meisten waltet: auf der Organismenebene, auf der Artenebene oder auf der Geneebene (siehe das egoistische Gen von Richard Dawkins). Dabei greift die Selektion auf jeder Ebene ein, auf der sie in eingreifen kann. Hier sitzt kein Selektor, der denkt, jetzt lasse ich etwas die Gene zum Zug kommen, und jetzt lasse ich alle Dinosaurier umkommen. 🙂 Das alles läuft nicht teleologisch, sondern extrem komplex je nach den Umweltbedingungen, dynamisch und vermischt.
@Jaromir Konecny (Zitat): Lustig ist hier, dass KI-Forscher, die bestärkendes Lernen (reinforcement learning) stark einsetzen (wie die von DeepMind), bestärkendes Lernen für das Allerwichtigste ansehen. Forscher wie Yann LeCun sehen wieder das selbst-überwachte Lernen als den richtigen Weg zur Allgemeinen Künstlichen Intelligenz.
Ja. Yann LeCun meinte 2016:
Doch dazumal gab es noch kein AlphaFold und kein Muzero/AlphaZero zwei auf Reinforcement Learning basierende AI-Anwendungen, die neue Massstäbe setzen.
Wobei diese beiden Programme nicht allein mit Reinforcement Learning erklärt werden können, benützen sie doch Monte Carlo tree search.
Fazit: Wir wissen nicht, wohin die Reise 🧳 geht.
Martin Holzherr: “Fazit: Wir wissen nicht, wohin die Reise 🧳 geht.”
So ist es. Wo KI in zehn Jahren steht, weiß niemand.
Schade eigentlich, Dr. hätte gerne ein wenig zu ‘Net-Hack’ geschrieben, in diesem Zusammenhang :
-> https://nautil.us/deep-learning-is-hitting-a-wall-14467/#!
No problemo.
Dr. W
Und Dr. Webbar hat auch weiter oben dazu versucht dazu (ebend) und in diesem Zusammenhang auch – GARY MARCUS – meinend, beizutragen.
Es drang nicht durch, obwohl Dr. W schon Der d-sprachige Experte i.p.”NetHack” ist.
No problemo hier
MFG
WB
Dr. W.
die Links sind unterhaltsam, erklären aber immer noch nicht, was der Unterschied ist von KI und deep learning.
Der Herr Bednarik versucht das zu analysieren. Ich schätze es ist nur eine andere Form von Problemlösung.
Wie man Muster erkennt, hängt davon ab, wieviele Muster man hat und wieviele Kriterien man hat, ein Muster herzustellen.
Bei der Gesichtserkennung reichen glaube ich 8 Merkmale.
Meine frau hatte einmal vor einem Scanner eine ungewöhnliche Brille auf . Der Scanner antwortete, keine Person anwesend.
@hwied: KI ist der Überbegriff für künstliche, intelligente Systeme, Deep Learning bezieht sich auf KI-Systeme, die mittels Training Dinge erlernen, wobei „Tiefes Lernen“ (Deep Learning) bedeutet, dass diese Systeme über mehrere Ebenen hinweg Wahrgenommenes in seine Bestandteile zerlegen und schliesslich erkennen, dass es sich beispielsweise um einen Regenschirm ☂️ handelt.
Regelbasierte Systeme, auch symbolisch arbeitende Systeme genannt, lernen dagegen nicht, sondern sie wenden vom Menschen einprogrammierte Regeln an . Beispielsweise die Regeln fürs Auto fahren. Und das System wendet dann ständig Regeln an wie etwa die Rechtsvortrittsregel oder die Regel nicht zu stark am Strassenrand zu fahren.
Regelbasierte Systeme sind älter als Deep Learning Systeme und Regelbasierte Systeme können selbst nichts wahrnehmen. Sie können nur für vorgegebene Situationen Regeln anwenden.
‘Regelbasierte Systeme’, Anfang der Achtziger kamen sie IT-seitig unterstützt, dann Expertensysteme genannt, auf, sind interessant oder sehr gut, sie leisten aber “nicht wirklich” intelligent, die Programmiersprache ‘Prolog’ ist in diesem Zusammenhang vielleicht beachtenswert.
Sie können aber u.a. auch mathematische Beweise beibringen.
“Deep Learning” meint in etwa den Hinzubau des Zufalls, sog. Monte Carlo-Methoden meinend [1], und die Züchtung sozusagen von Algorithmen, die quasi evolutionär vor sich hinlaufen (damit sich so nicht verrannt wird, erfolgt idR menschlicher Eingriff, um sie sozusagen gezielter zu züchten).
Mit freundlichen Grüßen + HTH (“Hope this helps”)
Dr. Webbaer
[1]
Amüsanterweise ist der Zufall bei der Bearbeitung weltlicher Problemstellungen eine wichtige Ressource, dies wurde erst vor vergleichsweise kurzer Zeit (Nash war womöglich der Erste, besondere Relevanz wurde noch deutlich später erkannt) erkannt, der Zufall kann eben sozusagen zufällig zu wichtigen Erkenntnissen führen, kann aber auch bei Kooperationsverhältnissen unterstützend bis direkt anleitend sein, wie sich u.a. auch im Pokerspiel heraus gestellt hat. (Dr. W ist nicht nur NetHack-Spieler der ersten Stunde sozusagen, sondern auch gewiefter Pokerspieler. Im Pokerspiel ist es mittlerweile so, dass sich online spielende Pros eine Zufallszahl zwischen 1 und 100 anzeigen lassen, die dann ihre Aggressivität, ihre Setzweisen meinend, bestimmt, sie wollen ja immer möglichst “balanced” sein, sie haben so zu sein, können Zufall aber selbst nicht (zuverlässig) generieren.)
In meiner Antwort auf Karl Bednarik habe ich TensorFlow Neural Network Playground empfohlen und etwas vorgestellt. Im Playground kann man kostenlos online und recht selbsterklärend mit neuronalen Netzen spielen, sie entwickeln, trainieren und dabei viel lernen und sie verstehen.
In meinem vorletzten Blogbeitrag hier “Wissenschaft wird spannend – auch KI sei Dank?” habe ich in dieser Graphik all die Begriffe erklärt.
@Holzherr 25.03. 14:20
„Magie hat sich bisher immer als Technik herausgestellt“
Naja, das gilt dann, wenn man nur die Fakten akzeptiert, die tatsächlich in diese Richtung gehen. Es gibt genug Fragen und auch Grundfragen, wo die Magie eben nicht aus dem Spiel ist.
„Nur gute Köche aber liefern Perfektion oder gar Magie.“
Eine Magie ist im Leben vielerorts wahrnehmbar, in der Natur wie in der Kultur. Das muss nicht jedem auffallen, aber wer mehr erlebt, der lebt in einer deutlich größeren Welt.
Maschinen, die wie Menschen sehen, lernen und denken
Josh Tenenbaum, der MIT-Professor für Computational Cognitive Science hat sich zum Ziel gesetzt, die Art wie Menschen lernen, denken und argumentieren sowie wahrnehmen zu erforschen und zur Grundlage von Systemen der künstlichen Intelligenz zu machen. Er verwendet dabei Deep Learning, Probabilistic Programming und einiges mehr und basiert seine KIs auf jüngsten Erkenntnissen über die menschliche Wahrnehmung und menschliches Denken.
Auch das scheint mir ein Ernst zu nehmender Ansatz um zu AGI, also allgemein, universell intelligenten Systemen zu kommen.
Building machines that! learn and think like People ist ein Video dazu.
Wichtige Aussagen im Video sind:
– Intelligenz ist mehr als Muster erkennen
– Intelligenz bedeutet Modelle der Welt selber aufzubauen, was bedeutet, zu erklären und zu verstehen, was wir sehen, sich Dinge vorzustellen, die man sehen könnte, Probleme lösen und Aktionen planen, eigene Modelle und Vorstellungen von der Welt anderen erklären
Tenenbaum will menschliche Intelligenz nachbilden durch „Reverse Engineering“.
Er demonstriert in der Vorlesung, die er im Video gibt, anhand von Fragen an die Zuhörer was diese für eine Vorstellung des Raumes haben in dem sie gerade sind und betont, dass die meisten heutigen AI-Programme eine viel eingeschränktere Weltsicht besitzen.
Die Hauptaussage seines Vortrags ist jedenfalls: Nicht grosse Einzelleistungen etwa im Spielen von Schach machen und zu Menschen, die mit dieser Welt zurecht kommen, sondern es ist das gesamte Set von Fähigkeiten, impliziten Annahmen, von Wissen, Empfindungen und Erwartungen, das die entscheidende Rolle spielt.
Das, all die Fähigkeiten und geistigen inneren Zustände des Menschen, gilt es nachzubilden.
Regelbasierte Systeme, symbolisch arbeitende Systeme, wenden
feste, abstrakte Regeln auf konkrete abstrakte Begriffe an.
Die festen Regeln stellen die Soll-Werte unveränderlich dar.
Die konkreten Begriffe stellen die immer neuen Ist-Werte dar.
Diese konkreten Begriffe werden aus den sehr zahlreichen
Eingangswerten mit Hilfe der neuronalen Netzwerke ermittelt.
Diese neuronalen Netzwerke stellen den Eingabe-Trichter dar,
der die Arbeit der regelbasierten Systeme erst ermöglicht.
Ein Beispiel:
Ein Wachhund erkennt die Bilder von Füchsen, Kaninchen
und Ställen mit Hilfe seiner neuronalen Netzwerke.
Die abstrakten Regeln sind: die Füchse verscheuchen,
und die Kaninchen zum Stall treiben.
Das Erkennen der Welt ist etwas ganz anderes
als die Ziele, die man in der Welt hat.
Ein Bild dazu, aber ohne Füchse und Kaninchen:
http://s880616556.online.de/abstrakt.png
Heutige KIs können keine moralischen Urteile fällen
Begründung: Weil nicht einmal Menschen dazu in der Lage sind. Menschen müssen sich vielmehr moralische Urteile erarbeiten – von Fall zu Fall.
Zitat Jaromir Konecny:
Behauptung: Mit Regeln kann man moralische Fragen nicht in den Griff kriegen
Begründung: Moralische Fragen stellen sich beispielsweise im Zusammenhang mit dem Ukraine-Krieg. Aber keine dieser Fragen lässt sich mit ein paar Regeln klären.
Hier auf scilogs haben etwa die Kommentatoren hwied, Tobias Jeckenburger und Karl Maier
1. China das Recht zugestanden Taiwan zu erobern
2. Die Ukraine aufgefordert zu kapitulieren um grösseres Leid abzuwenden und die Welt vor einer Ausweitung der gewaltsamen Auseinandersetzungen zu bewahren.
Auch der Philosoph Richard David Precht hat sogar explizit aus moralischen Gründen [Verhinderung unnötigen Leids] die Kapitulation der Ukraine gefordert.
Für mich beweisen diese Stellungnahmen, dass moralische Fragen unendlich komplex und heikel sind und sie nicht einmal von Menschen klar beantwortet werden können. Von Maschinen ist das sogar überhaupt nicht zu erwarten.
Hier ein Ausschnitt aus einem Kommentar aus „Gedankenwerkstatt“ zur Verdeutlichung um welche Fragen es geht:
Nun wie ich selber das sehe: Taiwan ist faktisch selbstständig, hat eine von Taiwanesen gewählte Regierung und ist von Festlandchina in den meisten Dingen seit 70 oder mehr Jahren getrennt. Nicht die USA haben mit Taiwan einen US-Stützpunkt vor China geschaffen, sondern die USA haben lediglich auf den expliziten Wunsch Taiwans Waffen an Taiwan geliefert. Festlandchina hat in meinen Augen keinen Anspruch auf die Machtübernahme und/oder die Zerstörung Taiwans.
In meinen Augen beantworte ich die Frage der Legitimität einer Machtübernahme von Taiwan durch Festlandchina darum anders, weil ich aus einem kleineren Land stamme als die (Gross-)Deutschen Karl Maier, Tobias Jeckenburger und hwied. Als Mitglieder eines 80-Millionen-Volkes haben Deutsche von Natur aus mehr Sympathien mit Grossmächten und sie akzeptieren Übergriffe einfach darum, weil Grössere angeblich das Recht des Stärkeren haben. So einfach ist das.
Oder vielleicht: so kompliziert ist das.
Fazit: Moralische Fragen müssen von Menschen ausgehandelt und geklärt werden. Maschinen können heute keine moralischen Urteile fällen.
Howdy, guten Morgen, Herr “Martin Holzherr”, die doppelten Anführungszeichen nur deswegen weil Sie realiter nicht so heißen, nicht so genannt werden, ein als solches unerkennbares Pseudonym benutzen, no problemo hier, also hierzu kurz :
Moral, die Ethik, die Sittsamkeit meint wie in der Folge zitiert :
Dr. Webbaer will hier einfach mal allgemein der bekannten Online-Enzyklopädie folgend zitieren :
… und auch ganz richtig so, einigen, zu sein scheint, letztlich ist hier der Sozialbezug gemeint, das Miteinander-Auskommen-Können, nichts anderes ist Moral. [1]
Sog. KI kann insofern, könnte insofern auch Moral entwickeln, Dr. Webbaer erinnert bspw. so :
-> https://de.wikipedia.org/wiki/Robotergesetze (wobei Asimov nicht in Betracht gezogen hat, dass auch “Roboter” denken und in puncto Moral entwickeln könnten; sog. Robotergesetze sind also, äh, gesetzt, von Herrn Asimov, sog. AI könnte auch anders)
Mit freundlichen Grüßen
Dr. Webbaer
[1]
Moral ist insofern relativ – und Dr. W ist insofern frickin froh in einer sogenannten FDGO (die moralisch, die Sittsamkeit meinend vglw. günstig in der Lage ist wie gemeint zu definieren) zu leben; ja, dies ist nicht selbstverständlich, Dr. W kannte auch anders.
Weil auf diese, ein wenig kecke, aber auch gute Frage noch nicht in diesem Kommentariat eingegangen worden ist :
A: Vermutlich ja.
Logik, im Sinne der sozusagen logisch bestimmten AI sowieso, der Weltbetrieb dieser AI ist sozusagen hiesig, diese Welt meinend, und logisch, auch wenn letztlich vergleichsweise flache Regelmengen, Schaltkreise meinend, angelegt werden, ist doch so ein gewisser Rahmen gegeben i.p. Logik (denn diese Schaltkreise könnten auch anders aufgebaut sein, dann wiederum sozusagen andere Logik meinend (und so auch evozierend)), “Braucht AI Konzepte, Fassbarkeiten [1] sozusagen, die zwischen Algorithmen, die zu züchten sind, ausgetauscht werden?” wäre die eigentliche Frage.
Mit freundlichen Grüßen
Dr. Webbaer
[1]
Letztlich sind Theorien, Sichten gemeint, wenn AI sozusagen der Welt gegenüber ausgesetzt wird, Theorien haben viele Vorteile, sie sind kommunizierbar und nachvollziehbar, auf anderer Seite, sie haben aber das sozusagen klitzekleine Problem nie wahr sein zu können, die Welt meinend, sie stellen sich sozusagen tapfer der Falsifikation, sie dürfen gerne empirisch adäquat bleiben.
Sicherlich kann (hochentwickelte) AI nicht auf andere weltliche Probleme stoßen als der hier gemeinte, ein wenig böse formuliert, Bioroboter.
Martin Holzherr,
Ihre Analysen und Schlussfolgerungen sind unvollständig.
Was die USA versus China betrifft, wie haben denn die USA auf Moskau reagiert als die Kommunisten auf Kuba Raketenbasen aufbauen wollten ? Sollte Kuba nicht souverän sein ?
Nicht mit unterschiedlichen Maßstäben messen . Einflussgebiete sind ebenfalls ein Kriterium neben dem Völkerrecht. Mit Recht allein lässt sich kein Frieden aufbauen.
Die Benennung der Fakten ist noch keine Bewertung. Wie sagen die Psychologen so schön, “alles verstehen heißt nicht alles verzeihen”.
Mal ganz provokativ, wie würden Sie reagieren, wenn sich Moskau beim Wahlkampf im Saarland einmischt. Die Schweizer sind mit Recht empört wenn sich die USA beim Bankengeheimnis gewaltsam einmischen. Was zahlt hier mehr, Moral, Völkerrecht oder geht es auch um die tatsächlichen Machtverhältnisse und wirtschaftlichen Einflussmöglichkeiten hin bis zur Nötigung.
Nachtrag: Wussten Sie, dass Deutschland keine volle Souveränität über den deutschen Luftraum hat, die liegt immer noch bei den USA.
Die haben ihren eigenen Tower, eigene Abflughalle und eigene Kontrolle.
Was die KI betrifft. Bei der Bilderkennung, mir ist immer noch nicht klar, worin dort das deep learning liegt. Die Bildkriterien sind festgelegt, es geht dann nur noch um das Vergleichen. Was ist daran Besonderes ?
hwied: “Was die KI betrifft. Bei der Bilderkennung, mir ist immer noch nicht klar, worin dort das deep learning liegt. Die Bildkriterien sind festgelegt, es geht dann nur noch um das Vergleichen. Was ist daran Besonderes ?”
Künstliche Intelligenz ist die Nachahmung egal von welchen Aspekten des menschlichen Denkens und Verhaltens, das heißt auch der Bilderkennung. In einem weiteren Sinne heißt Künstliche Intelligenz Informationsverarbeitung. Deep Learning ist Mustererkennung mit tief lernenden neuronalen Netzen. Das bedeutet: wenn man eine Aufgabe mit einem tief lernenden neuronalen Netz löst, ist es Deep Learning. In der Bilderkennung werden in den letzten 10 Jahren konvolutionale neuronale Netze (CNN) eingesetzt. CNN sind tief lernende neuronale Netze, gehören also zum Deep Learning.
Seit 2015 zeigen CNN in der Bilderkennung an ImageNet-Bildern (die größte Bilddatenbank, die es gibt) eine übermenschliche Performance. Hier haben also Deep-Learning-Modelle gelernt, ein menschliches Verhalten nachzuahmen und zu übertreffen – die Bilderkennung. Deswegen sind sie Künstliche Intelligenz.
Im Unterschied zu Programmen des klassischen Machine Learnings oder zu rein regelbasierten Bilderkennungsprogrammen müssen bei CNN (und anderen Deep-Learning-Modellen) die Merkmale (features) der Bilder von den Programmierern NICHT ermittelt werden (feature engineering). Deep-Learning-Modelle erarbeiten sich die Merkmale der Datenbeispiele (hier Bilder) selbst mittels des sogenannten Repräsentationslernen. Ein tief lernendes neuronales Netz lernt durch das Training mit vielen Beispielen in jeder Schicht von Neuronen eine andere Repräsentation der Merkmale der verarbeiteten Datenbeispiele:
Dabei werden diese Repräsentationen immer abstrakter, je tiefer man ins Netz geht: Bei der Bilderkennung zum Beispiel ermittelt die erste konvolutionale Schicht Kanten/Striche (des verarbeiteten Bildes) in bestimmten Richtungen. In einer tieferen konvolutionalen Schicht werden diese Kanten zu Texturen zusammengesetzt, eine Schicht tiefer diese Texturen zu Teilen der Objekte, bis in der vorletzten Schicht die Teile zu ganzen Objekten zusammengelegt werden. Diese Objekte werden dann in der Ausgabeschicht klassifiziert: Wenn man vor der Ausgabe die Softmax-Aktivierungsfunktion schaltet, kommt aus der Ausgabe die Wahrscheinlichkeit dafür heraus, dass das Objekt zu einer bestimmten Klasse von Objekten gehört: Äpfel oder Birnen zum Beispiel.
@hwied: Putin erhebt nicht nur Anspruch auf die Ukraine, sondern auch auf die baltischen Staaten. Die Natomitgliedschaft der baltischen Staaten ist das einzige, was ihn daran hindert, einzumarschieren. Die Raketenbasen in Kuba waren dagegen als sowjetische Basen geplant und nicht als Verteidigungsmittel Kubas. Es gab bei der Kubakrise zudem einen geheimen Deal, dass die USA ihre Raketenbasen in der Türkei abziehen. Das war also symmetrisch.
Zitat: “ Mal ganz provokativ, wie würden Sie reagieren, wenn sich Moskau beim Wahlkampf im Saarland einmischt.“
Antwort: das ist doch überhaupt nicht ausgeschlossen, Russland hat sich auch in den US-Wahlkampf eingemischt.
Zitat 2: “ Wussten sie, dass Deutschland keine volle Souveränität über den deutschen Luftraum hat“.
Antwort: das liegt doch an Deutschland selbst, das sich lieber von den USA verteidigen lässt, als selbst ins Militär zu investieren.
Zitat 3: “ Was die KI betrifft. Bei der Bilderkennung, mir ist immer noch nicht klar, worin dort das deep learning liegt. “
Antwort: Deep Learning erhält als Input ein Bild bestehend aus Pixeln und liefert als Output beispielsweise, dass das Bild einem Regenschirm entspricht. Und das sogar für offene und geschlossene Regenschirme und für Regenschirme die verschieden gehalten werden oder die nass oder trocken sind. Dazu löst Deep Learning den Regenschirm in verschiedene Teile auf und bestimmt dann aufgrund dessen wie die Teile angeordnet sind, dass es sich mit einer gewissen Wahrscheinlichkeit um einen Regenschirm handelt. Dazu müssen Deep Learning in der Trainingsphase alle denkbaren Regenschirme in allen denkbaren Stellungen als Bilder vorliegen. Aus beispielsweise 1000 verschiedenen Bildern von verschieden geöffneten und gehaltenen Regenschirmen lernt Deep Learning was ein Regenschirm ist. Es erkennt später auch Regenschirme, die es noch nie gesehen hat, wenn die neuen Regenschirme sich nicht allzu stark von den trainierten Regenschirmen unterscheiden. Das Besondere daran ist eben, dass Deep Learning sehr viele selbst verschieden gehaltene und geöffnete Regenschirme erkennt und dass man nichts einprogrammieren musste, sondern nur Beispielbilder zeigen musste. Ferner erkennt Deep Learning anschliessend Regenschirme sogar, wenn das Bild bis zu einem gewissen Grad verrauscht ist. Es kommt also mit leichten Bildstörungen oder Nieselregen zurecht.
Kein anderes System ist in der Lage eine Vielzahl von verschiedenen Regenschirmen nur mittels Beispielbildern und ohne Programmierung zu erkennen, denn alle Systeme, die nicht Deep Learning verwenden haben Schwierigkeiten, sobald der Regenschirm etwas anders aussieht als vorgesehen.
Ein Deep Learning System kann also ganz unterschiedliche Regenschirme als Regenschirm erkennen und ganz unterschiedliche Menschen als Menschen und das allein anhand von Beispielbildern. Je mehr Beispielbilder umso besser wird das System bis es sogar besser als jeder Mensch ist.
@hwied 26.03. 12:35
„Nicht mit unterschiedlichen Maßstäben messen . Einflussgebiete sind ebenfalls ein Kriterium neben dem Völkerrecht. Mit Recht allein lässt sich kein Frieden aufbauen.
Unbedingt sehe ich das auch so. Unsere liberale Demokratie darf gerne für sich werben, und Anderen auch dabei helfen, ein funktionierende Demokratie aufbauen. Die meisten ehemaligen Warschauerpakt-Staaten haben sich uns zugewand, und wir haben sie in EU und Nato aufgenommen. Hier ist ganz klar mit diesem Bündnis eine Einflusszone entstanden, die wir auch mit aller Gewalt zu verteidigen bereit sind.
Russland war nach dem Ende der Sowjetunion viele Jahre mit sich selbst beschäftigt, und hat unsere Expansion tatenlos hingenommen. Die Ukraine ist aber noch frei gewesen, zumindest einen Teil der ehemaligen Sowjetunion wiederherzustellen zu versuchen.
Das macht hier auch einen Unterschied, dass alle Natomitglieder freiwillig Mitglied sind. Der Umgangston in der russischen Einflusssphäre ist aber eben offenbar ein anderer.
“Die Benennung der Fakten ist noch keine Bewertung. Wie sagen die Psychologen so schön, “alles verstehen heißt nicht alles verzeihen”.“
Ich halte von Russlands Vorgehen auch nichts, aber die Realitäten der Macht und ihrer Gewaltbereitschaft zu ignorieren führt zu noch viel mehr Krieg. Es ist generell nicht unüblich, sich in einer Einflusszone einzurichten, was oft viele Jahrzehnte lang funktionieren kann. Wenn es hin und wieder mal Gewalttätigkeiten mäßigen Ausmaßes gibt, so ist auch das normal. Nicht gut, aber eben real. Was wir mit dem Irak schon alles angestellt haben, war nicht weniger destruktiv und genauso rechtswidrig wie dieser Ukrainekrieg.
Bleibt jetzt noch zu hoffen, dass Russland doch noch die Lust verliert. Immerhin können sie inzwischen die Krim und den Donbass militärisch besser absichern, und haben einen Teil der ukrainischen Streitkräfte vernichtet. Ganz nebenbei erhöhen regelmäßige echte militärische Einsätze die tatsächliche Kampfkraft erheblich. Wenn sich eine Armee alle 10 Jahre mal einen kleineren Krieg leistet, kann sich die Kampfkraft deutlich erhöhen. Neue Waffen wollen im Ernstfall getestet werden, Feldstrategien müssen ausprobiert werden, und die Soldaten können lernen, mit dem Druck der Lebensgefahr klarzukommen.
Das kann eine zusätzliche Motivation für gelegentliche Feldzüge mittleren Ausmaßes sein. Ich finde das auch unter aller Sau, aber eine Generalität, die die Aufgabe hat, möglichst kampfstark zu sein, wird sich für kleinere echte Kriegseinsätze aussprechen, wenn sich mal eine Gelegenheit dafür bietet.
@Holzherr 26.03. 07:32
„Moralische Fragen müssen von Menschen ausgehandelt und geklärt werden. Maschinen können heute keine moralischen Urteile fällen.“
Die Frage der Moral ist oft keine Einfache. Nicht mal wir Menschen kommen immer auf die gleiche Lösung, das dann von KI zu erwarten, ist wohl so weit hinter unserem Horizont, dass es noch nicht sichtbar ist.
@Tobias Jeckenburger: was Russland und die Sowjetunion mit den von ihnen beherrschten Ländern und den dort lebenden Menschen gemacht haben, geht weit über das hinaus, was man euphemistisch Einrichtung einer „Einflusszone“ nennen könnte. Als die Sowjetunion während des zweiten Weltkrieges Polen eroberte, kam es von sowjetischer Seite zu massiven Übergriffen bis hin zur Zerstörung der polnischen Gesellschaft. In der Wikipedia liest man dazu:
Auch der Krieg gegen die Ukraine mündet in einen Vernichtungskrieg in dem nichts anderes als Trümmer zurück bleiben.
Fazit: Russland und die Sowjetunion haben die Ostgebiete – nicht nur Polen – bei der Eroberung mit Terror überzogen und jedes Leben erstickt.
Diese Terrorherrschaft darf sich im 21.Jahhundert nicht wiederholen.
Realistisch betrachtet war die sowjetische Besatzung in vielen der besetzten Länder nichts anderes als eine Terrorherrschaft, die bewusst jedes zivile Leben unterdrückte.
Einflusszonen waren und sind für Russland Zonen der Auslöschung, der Vernichtung.
Eigenzitat: „ Einflusszonen waren und sind für Russland Zonen der Auslöschung, der Vernichtung.“
Diese Aussage wird bestätigt durch den SPON-Artikel
Angriff auf die Ukraine: »Endlich sieht die Welt, wie Russland wirklich ist«
Die russische Armee bombardiert offenbar auch Denkmäler und Kulturgüter: Das nationale Erbe der Ukraine solle dadurch zerstört werden, warnt der polnische Kulturminister Piotr Gliński.
Auch das SPON-Video
Rückeroberter Ort in der Ukraine
»Die Russen wussten offenbar gar nicht, warum sie hier sind«
über eine von den Ukrainern zurückeroberte Stadt zeigt sinnlose Zerstörungen durch die russische Armee, deren Soldaten nicht einmal wissen um was es geht.
Beurteilung Desinformierte und unwissende Soldaten zerstören Städte und richten Gräuel an. Diese Angreifer kommen aus Russland, einem Land, das es in dieser Form im 21. Jahrhundert nicht geben sollte, ja einem Land, das es in dieser Form nie hätte geben sollen. Nicht der Ukraine 🇺🇦 fehlen die Voraussetzungen um ein souveränes Land zu sein, sondern Russland 🇷🇺 fehlen sie.
Holzherr, Konecny,
Vielen Dank für die Erklärung von deep learning.
Ob es so funktioniert , wie ich es mir vorstelle, das weiß ich nicht. Dazu müsste ich ein Computerprogramm schreiben können.
Ich stelle mir das so vor, dass zuerst die Pixelmenge reduziert wird durch “Bildkomprimierung”.
Dann zeichnen sich die Umrisse ab, also gerade Kanten, Bögen, Kreise usw.
Der Computer endeckt dann Zahlen oder Buchstaben, an der Farbverteilung, oben blau unten braun mit Horizontlinie erkennt der Computer ein Landschaftsbild, den Regenschirm auf dem bild kann er nur erkennen, wenn er einen Begriff”Regenschirm” hat. Fehlt der Begriff, dann fehlt auch die Erkennung. Ich schätze mal, so ein Programm kann so viele Gegenstände unterscheiden, wie es Namen von den Gegenständen hat.
@hwied(Zitat): Ich stelle mir das so vor, dass zuerst die Pixelmenge reduziert wird durch “Bildkomprimierung”.
Dann zeichnen sich die Umrisse ab, also gerade Kanten, Bögen, Kreise usw.
Antwort: nein, keine Bildkomprimierung, sondern Verarbeitung in mehreren hintereinander liegenden Ebenen: die erste Ebene bekommt als Signal die Pixel des Bildes, die zweite Ebene erhält Signale von mehreren Pixeln und durch das Training werden in der zweiten Ebene die Eingangspixel stärker gewichtet, welche charakteristisch/wichtig für die weitere Erkennung sind, also etwa Linien, Kleinmuster, etc. . In jeder weiteren Ebene werden grössere charakteristische Bildbereiche als Subobjekte herausgestellt, beim Regenschirm könnte das etwa die Spitze, der Griff oder die Verdrahtung sein. In der letzten Ebene wird dann aus der Anwesenheit all der nötigen Bildelemente entschieden, dass es ein Regenschirm oder etwas anderes ist. Klar muss man den ganzen Bild beim Training einen Namen, ein Label zuordnen, denn das Programm weiss absolut nichts über unsere Welt, da herrscht Tabula rasa. Welche Merkmale das Programm für die verschiedenen Ebenen wählt um zur Bilderkennung zu kommen, entscheidet das Programm allein während des Trainings. Kein Mensch oder Programmierer sagt dem Programm auf was es achten soll.
Es kommt allein auf die geschickte Auswahl der Trainingsbilder an ob das Programm sich später „in the wild“ (in der Praxis) bewährt.
Beispiel: die amerikanischen Ziffern werden in der US-Handschrift anders geschrieben als in Deutschland . Die 1 wird in der US-Handschrift als Strich | geschrieben. Deshalb hat ein mit amerikanischen handgeschriebenen Ziffern trainiertes Programm Mühe die deutschen Ziffern zu erkennen. Die deutsche 1 wird dann oft als 4 erkannt.
Wie gesagt: Alles hängt vom Training ab.
@Holzherr 27.03. 05:06
„Russland und die Sowjetunion haben die Ostgebiete – nicht nur Polen – bei der Eroberung mit Terror überzogen und jedes Leben erstickt.„
Stalins Mordlust kombiniert mit der kommunistischen Ideologie ist auch in Russland längst Geschichte. Dort sind derzeit nicht Millionen Menschen in Arbeitslagern. Den USA heute ihren Umgang mit Schwarzen vorzuhalten, wie es in den 50ern noch Alltag war, macht keinen Sinn. Schwarze werden immer noch benachteiligt, und auch Putin hat politische Gefangene – aber eben nicht mehr Millionen davon. Ein gewisser Fortschritt von Putins gelenkter Demokratie gegenüber den Zeiten unter Stalin ist nun mal wirklich zu beobachten.
„Diese Terrorherrschaft darf sich im 21.Jahhundert nicht wiederholen.“
Tut sie ja auch sowieso nicht, selbst wenn Russland die Ukraine dauerhaft besetzt, müssen die Ukrainer wohl nicht fürchten, massenhaft in Lager gebracht zu werden. Keine Lust auf Russland werden sie in der Tat haben. Ich würde mir auch wünschen, wenn Russland sich mit der Krim und dem Donbass zufrieden geben würde, und die übrige Urkraine EU-Mitglied werden kann. Das käme dem entgegen, was die Menschen da wollen.
Dass Putin in Einflusszonen denkt, ist wohl Realität, auch wenn das da nicht alles freiwillig läuft. Bei uns läuft es freiwillig, aber die Nato ist als Bündnis auf jeden Fall auch eine klar definierte Einflusszone.
Auf dem internationalem Parkett gibt es neben Vereinbarungen und neben dem Völkerrecht eben auch ein gewisses Faustrecht. Diese Realität finde ich auch ungut, aber eben sehr real. Hier muss jeder gucken, dass er selber durchkommt, und ganz akut müssen wir erstmal gucken, dass hier ein richtig großer Krieg mit Russland vermieden wird. Das hat, meine ich, absolute Priorität.
Selenskyj will offenbar den 3. Weltkrieg, das wiederholt er fast täglich, und das spricht nicht für ihn, meine ich. Verständlich ist das, immerhin lebt die Ukraine gerade mitten im Krieg, da scheint es ihm egal zu sein, wenn er die ganze Welt mit in diese Auseinandersetzung zieht. Hauptsache ihm bzw. der Ukraine ist geholfen. Dass eine richtig große Auseinandersetzung auch atomar entgleisen kann, und dass das auch für die Ukraine wohl das Ende menschlichen Lebens bedeuten kann, das scheint er nicht auf dem Schirm zu haben.
Moderne Atomwaffen sind eben mit unmodernem Denken in Einflusszonen kombiniert. Das ist nicht nur im aktuellem Ukrainekonflikt eine gefährliche Mischung.
@Tobias Jeckenburger (Zitat): „ Auf dem internationalem Parkett gibt es neben Vereinbarungen und neben dem Völkerrecht eben auch ein gewisses Faustrecht. Diese Realität finde ich auch ungut, aber eben sehr real.“
Antwort: das bedeutet doch, dass jedes Land mit Krieg rechnen muss, umso mehr je stärker der Nachbar aufgerüstet ist. Das heisst man muss aufrüsten/nachrüsten, wenn der Nachbar aufrüstet.
Das aber widerspricht dem was sie früher geschrieben haben, nämlich dass sie möglichst wenig für Rüstung ausgeben wollen.
Zitat 2:„ Selenskyj will offenbar den 3. Weltkrieg, das wiederholt er fast täglich, und das spricht nicht für ihn, meine ich. “
Antwort: Sekenskyi ist nicht in der Position um über Weltkrieg oder nicht entscheiden zu können. Nicht einmal Biden kann so etwas allein entscheiden. Doch Putin kann das: allein entscheiden ob es zum Äussersten kommt. Deshalb ist Putin für diese Welt so gefährlich.
Ich habe mein voriges Bild noch ein wenig verbessert:
(Es ist aber noch immer ohne Füchse und Kaninchen.)
http://s880616556.online.de/abstrak3.png
—–
Weisheiten über Wünsche und Roboter:
https://www.e-stories.de/view-kurzgeschichten.phtml?23749
—–
Allgemeine ethische Vorschläge:
Realisiere für alle empfindungsfähigen Wesen
die Platin-Regel und den negativen Utilitarismus.
Empfindungsfähige Wesen schließt automatisch alle Menschen,
alle höheren Tiere, und alle nicht-organischen Wesen mit ein.
(Bis wohin die höheren Tiere reichen, muss noch ermittelt werden.)
Die Platin-Regel orientiert sich an den Wünschen der einzelnen
betroffenen Wesen. (Die Goldene Regel an den Wünschen der Helfenden.)
Der negative Utilitarismus minimiert das Leid.
(Der negative Utilitarismus ohne die Platin-Regel könnte in
vorgetäuschte Scheinwelten oder in die Euthanasie führen.)
Bei der Minimierung des Leids (im Konfliktfall) ist zu beachten:
Das Leid ist eine intensive Größe wie zum Beispiel
die Konzentration einer Substanz, und keine extensive
Größe, wie zum Beispiel eine Substanzmenge.
Daher hat ein Wesen mit starkem Leid den ethischen Vorrang
auch vor einer großen Anzahl von Wesen mit schwachem Leid.
@Holzherr 27.03. 17:24
„Das heisst man muss aufrüsten/nachrüsten, wenn der Nachbar aufrüstet.“
Eigentlich nicht, wenn man freundschaftlich miteinander umgeht oder sich sogar verbündet.
„Das aber widerspricht dem was sie früher geschrieben haben, nämlich dass sie möglichst wenig für Rüstung ausgeben wollen.“
Wofür sonst aufrüsten, als zur Verteidigung gegen gefährliche Gegner. Man kann aber gucken, wie viel man wirklich braucht. Immerhin braucht man meistens ca. vier mal mehr Militär, wenn man einen Angriff starten will, als wenn man nur verteidigt. Zu einer Rüstungsspirale kommt man so noch nicht. Wenn man sicherheitshalber halb so viel rüstet wie der Gegner, müsste man schon ziemlich sicher sein.
„Doch Putin kann das: allein entscheiden ob es zum Äussersten kommt. Deshalb ist Putin für diese Welt so gefährlich.“
Da muss ich leider zustimmen. Deswegen muss man dieses Subjekt auch ernst nehmen. Das Schicksal der Ukraine ist sicher nicht bedeutungslos, ein 3. Weltkrieg dagegen wäre eine ganz andere Liga.
Die USA sind allerdings insofern nochmal deutlich gefährlicher, weil sie ein Vielfaches an konventioneller Feuerkraft haben. Neben Vietnam musste auch der Irak erleben, was die so anrichten können. Derzeit sind wir mit den USA ganz gut verbündet. Die Präsidenten wechseln da allerdings. Was ein Trump so macht, wenn er nochmal wiedergewählt wird, weiß vorher aber auch keiner.
@Tobias Jeckenburger: Obama, Trump, Biden bilden doch eine durchgängige Linie, in der US-Präsidenten sich immer weniger militärisch engagieren wollen.
– Obama warnte Assad, Chemiewaffen einzusetzen überschreite eine rote Linie. Doch als das geschah unternahm Obama nichts
– Trump war generell für weniger Auslandengagement und zweifelte den Sinn der NATO an
– Biden zog das US-Militär Hals über Kopf aus Afghanistan ab und bedauerte nicht einmal besonders, dass die Taliban wieder an die Macht kamen. Und jetzt im Ukraine-Konflikt schloss Biden von vorn herein aus, dass die USA eine Flugverbotszone über der Ukraine einrichten. Biden setzt fast ausschliesslich auf Sanktionen, also auf nicht militärische Mittel.
In meinen Augen handelt Biden trotzdem richtig. Etwas könnte er aber von Putin abschauen: Putin liess mehrere seiner Feinde/Opponenten umbringen. Biden könnte gleichziehen, indem er Putin umbringen lässt. Gleiches mit Gleichem vergelten.
@Jeckenburger:
Sie haben vollkommen recht. Wir müssen uns aber auch Gedanken über unser Demokratieverständnis machen, bevor es wieder ganz dunkel in Deutschland wird. Da wird Gerhard Schröder geächtet, die Menge fällt regelrecht über ihn her, obwohl er nichts verbrochen und sich vom Krieg in der Ukraine eindeutig distanziert, nur weil er eine andere Meinung hat. Man sieht, was Massenpsychologie bewirkt, vor allem, wenn kaum noch ernsthafte Medien mit alternativen Inhalten kritisch berichten.
Und wenn die Ukrainische Regierung Waffen fordert, um bis zum letzten Blutstropfen zu kämpfen und damit abertausende Opfer der eigenen Bevölkerung in Kauf nimmt, dann wundert es mich, dass meine deutschen und europäischen Landsleute so einem zujubeln, als hätten wir das nicht schon mal gehört.
Da wirkt es schon merkwürdig, wenn unsere Regierung ihren Demokratieanspruch in alle Welt exportieren will. Demokratie scheint offenbar immer die Demo-Kratie der Mehrheit zu sein.
Martin Holzherr,
kapiere, ein einzelnes Foto kann das Programm nicht analysieren. Es braucht zum Lernen auch noch andere Fotos, so wie man mit Logikbausteinen drei Formen darstellt und nach einer 4. logisch daraus folgenden sucht. Wenn dann ein foto kommt, dass diese logische Folgerung erfüllt, das ist dann das gesuchte foto.
@hwied: Für jede Variante braucht es ein Foto zum Training, denn das Programm kann nicht denken und es weiss nicht einmal, dass wir in einer 3-dimensionalen Welt leben. Wird das Programm mit 100 gelben Regenschirmen getestet, dann kann es sein, dass es einen blauen Regenschirm nicht als Regenschirm erkennt, weil es sich auf die Farbe gelb eingeschossen hat.
Ergänzung: Inzwischen gibt es Programme, die automatisch aus Testbildern verschiedene Varianten erzeugen. Beispielsweise eine andere Beleuchtung, andere Farbgebung oder einen anderen Schattenwurf. Nur damit das Training zu besseren, allgemeineren Resultaten führt und die nötige Verallgemeinerung/Abstraktion stattfindet.
@Holzherr 27.03. 20:08
„Und jetzt im Ukraine-Konflikt schloss Biden von vorn herein aus, dass die USA eine Flugverbotszone über der Ukraine einrichten.“
Besser so als andersrum. Wenn die USA mit einer Flugverbotszone eine direkte Auseinandersetzung mit der Nato provozieren, und dann nach ein paar Wochen immer weiter eskalierenden Kampfhandlungen einfach wieder einen Rückzieher machen, und uns in Europa mit dem angefangenen Ärger alleine lassen, dann ständen wir ziemlich dumm da.
Selber aufrüsten wäre wohl nicht nur eine ewige Forderung der USA, sondern wohl auch eine Maßnahme, nicht von den USA abhängig zu sein. Aber wie gesagt, hier müsste man mal genau gucken, wieviel Putin hat, und nur soweit aufrüsten, dass wir uns alleine verteidigen können. So stark, dass wir Russland unsererseits „befreien“ könnten, bräuchten wir nicht sein, das wäre nicht nur zu teuer, sondern allein schon wegen den russischen Atomwaffen nutzlos. Andererseits bräuchten wir eventuell mehr eigene Atomwaffen, genug jedenfalls, dass dies alleine schon als Abschreckung reicht, auch ohne eine Unterstützung aus den USA.
@Stegemann 27.03. 20:18
„Demokratie scheint offenbar immer die Demo-Kratie der Mehrheit zu sein.“
Das ist ja der entscheidende Faktor in der Qualität einer Demokratie, wieviel von der Opposition respektiert wird. Im schlimmsten Fall konsolidiert eine gewählte Regierung z.B. durch teilweise Abschaffung der Pressefreiheit ihre Position, oder inhaftiert mittels gefälliger Justiz die Führer der Opposition. Im besten Fall versteht sich eine Regierung konsequent als eine Regierung des ganzen Landes, ohne nur für die Spezialinteressen der eigenen Wähler und einiger Lobbyisten einzutreten.
Hierbei spielt einmal die Verfassung eine große Rolle, aber genauso wichtig sind auch die Menschen selber. Wenn es der Wähler auf die Dauer honoriert, wenn eine Regierung Politik für das ganze Land macht, dann wirkt sich das auch positiv auf die Qualität der Demokratie aus.
Was die Medien wieder machen, folgt dann auch wieder eigenen Gesetzen. Was gerade Thema ist, und was sich da als Mainstream entwickelt, scheint sich im Laufe der Monate immer mehr selbst zu bestätigen und Mindermeinungen werden immer weniger verbreitet. Immerhin haben wir das Internet, hier findet man schnell das ganze Meinungsspektrum, dann aber auch wirklich alles auch noch so absurde.
Zur Bedeutung des Ukraine-Kriegs für die Welt: Putin/Russland hat mit seinem unprovizierten Angriffskrieg auf die Ukraine nicht nur in einem Monat mehr Tote produziert als in einem Jahr in ganz Westeuropa im Strassenverkehr starben. Mit jetzt schon (nach einem Monat) 3.75 Millionen ukrainischen Flüchtlingen hat er eine der grössten, am schnellsten ansteigenden Flüchtlingswellen ausgelöst, die es je gab.
Weltweit ist noch schlimmeres zu erwarten, denn die Ukraine ist einer der grösseren Nahrungsmittelexporteure. Bei Mais und Weizen ist die Ukraine der 3.grösste Exporteur der Welt. Zitat Food-Experte: „Vor allen Dingen Länder in Nordafrika, Mittlerer Osten sind zu einem ganz, ganz großen Anteil auf Lebensmittel-Exporte aus Russland und der Ukraine angewiesen.“ … 100 Millionen Hungernde zusätzlich sind zu erwarten
Wenn wir in einem Jahr zurückblicken könnten allein schon 1 Million Menschen mehr verhungert sein als in anderen Jahren.
Auch die gesamtwirtschaftlichen Schäden sind für Russland und die Ukraine gewaltig. Sie könnten die Ukraine rein ökonomisch gesehen um 10 oder mehr Jahre zurückwerfen.
Fazit: Wenn man die Konsequenzen des Krieges in der Ukraine für die Ukraine, Russland und die Welt betrachtet, muss man ihn als eine der grössten menschengemachten Katastrophen der letzten Jahrzehnte einstufen.
Martin Holzherr,
der Krieg ist ein Anachronismus, in einer Zeit wo man mit Smartphone in einer Zehntel Sekunde nach Tokio telefonieren kann, in New York am nächsten Tag zum Frühstücken geht und gleichzeitig mit Rubel spekulieren.
Jetzt merkt man ganz deutlich, dass ein Teil der Menschheit die Klimakatastrophe nicht ernst nimmt. Die kommt ganz sicher, ob jetzt Ukraine souverän bleibt oder nicht.
Es wäre auch interessant, das Deep Learning auf den Sozialbereich auszudehen. Aktienkurse , besser gesagt die Kursentwicklung wird ja auch schon analysiert und vorausberechnet. Deep Learning im politischen Bereich.
Damit könnte man Konflikte voraussagen.
Sind Sprachmodelle ein Massstab für den Fortschritt in der KI?
Jaromir Konecny nahm die oft toxischen (sexistischen, rasistischen, beleidigenden) Äusserungen von andersweitig äusserst mächtigen, scheinbar sogar intelligenten Sprachmodellen wie GPT-3 zum Anlass folgendes zu fordern: Ich denke nur, dass wenn man heutige Transformer-Modelle regelbasiert etwas weniger toxisch machen kann, sollte man das tun.
Ich möchte hier belegen, dass
1) Sprachmodelle nicht wirklich intelligent sind, sondern vielmehr über eine Herdenintelligenz, eine kollektive Intelligenz verfügen, die tatsächlich zunimmt, je mehr Texte sie verarbeitet haben und maximal wird, wenn sie alle Texte der Welt und das gesamte Internet verarbeitet haben. Sie verfügen dann über das Wissen der Masse ohne über besonders grosse Intelligenz zu verfügen.
2) Heute werden Sprachmodelle nicht mit Regeln „gezähmt“, sondern mit a) Auswahl der Texte (toxische Chats aussortieren), b) Prompt-Programmierung, was bedeutet, dass man ihnen die „richtigen“ Fragen stellt 3) mit einer zweiten Trainingsrunde, in dem man Sprachmodellen mit bestärkendem Lernen beibringt, welcher Output, welche Äusserungen erwünscht und welche unerwünscht sind
Was ist ein Sprachmodell
Antwort: Ein Sprachmodell ist eine Wahrscheinlichkeitsverteilung über Wortfolgen. Das bedeutet, dass ein Sprachmodell Lücken/Leerstellen in einem Text sinnvoll ausfüllen kann. Und zwar mit einem Satzfragment, das am besten passt, das am plausibelsten ist. Beispiel: Im Satz So schwächt Putins —— den Klimawandel kann ein gerade jetzt trainiertes Sprachmodell die mit —— markierte Leerstelle so ausfüllen, dass sich folgender Satz ergibt: So schwächt Putins Krieg den Kampf gegen den Klimawandel und das kann das Sprachmodell wohl darum, weil es Texte aus dem Spiegel oder sonstwo aus dem Internet kennt und diese benutzt um zu wissen, wie man diese Lücke am besten ausfüllt.Ein Sprachmodell kann auch fast beliebige Fragen sehr gut beantworten, weil jede Frage im Sprachmodell so aufgefasst wird, dass am Ende der Frage eine Lücke, eine Leerstelle existiert, die das Sprachmodell nun mit dem wahrscheinlichsten Text, der an diese Stelle passt, ausfüllen muss.
Viele Menschen sind verblüfft über die scheinbar intelligenten Antworten etwa von GPT-3, dem grössten Sprachmodell bisher. Doch die guten Antworten sollten einen nicht wundern, denn GPT-3 hat unter anderem die gesamte Wikipedia, und alle Zeitungsartikel dieser Welt verschluckt und wenn man GPT-3 fragt, was der Papst zu Pille sagt, dann kann GPT-3 auf unzählige Artikel zu dieser Frage zurückgreifen. Doch wirkliche Intelligenz ist das nicht. Das zeigt sich auch darin, dass GPT-3 etwas, was in einer Frage behauptet wird, als wahr und sinnvoll annimmt. Auf die Frage: „Wieviele Füsse hat die Sonne?“ antwortet GPT-3 mit einer Zahl, weil es aus der Art der Frage erkennt, dass man etwas wie 1, 2 oder 0 antworten muss. Doch es kommt nie auf die Idee zu sagen: „ Das ist keine sinnvolle Frage“.
Wie macht man GPT-3 weniger toxisch?
1) Indem man toxische Texte gar nie als Trainingsmaterial benutzt
2) Indem man Fragen so abändert, dass weniger toxische Antworten zu erwarten sind
3) Indem man in einer zweiten Trainingsrunde, GPT-3 Rückmeldungen gibt, welche Antworten „gut“ und welche „schlecht/toxisch“ sind. Diese Form des Lernens nennt man bestärkendes Lernen oder mit dem Fachwort Reinforcement Learning.
Sprachmodelle sind heute generell nicht vertrauenswürdig. Nicht nur, dass sie toxische (rassistische, sexistische, beleidigende) Aussagen machen, nein sie erfinden auch Dinge, die es so gar nicht gibt und das fast ununterscheidbar von faktisch richtigen Aussagen. Grund: Sprachmodelle arbeiten mit der Wahrscheinlichkeit, dass ein Satzfragment an einer bestimmten Stelle im Satz stehen kann und konstruieren deshalb plausible, aber nicht unbedingt wahre Aussagen. Sie erfinden verblüffend „authentische“ Sätze und Aussagen.
Folge: Never trust a language model
Doch man bedenke: Grosse Sprachmodelle wie gopher von Deepmind haben praktisch alles je von Menschen geschriebene verdaut. Sie wissen alles. Kann man das nicht ausnützen und für vertrauenswürdigere Aussagen sorgen. Tatsächlich versucht das DeepMind mit GopherCite: Sprachmodelle unterrichten, um Antworten mit verifizierten Zitaten zu unterstützen genau das. Dort liest man:
Fazit: GopherCite kann sogar die Quellen nennen, aus denen seine Aussagen stammen. Trotzdem stimmen seine Aussagen nicht immer. Denn falsche Aussagen können trotz Verwendung einer seriösen Quelle immer noch konstruiert werden.
Wir können den Begriff Sprachmodell ausweiten und ihn “intelligent” machen.
Wenn wir beim deep learning auf eine Form stoßen für die es kein Wort gibt, dann könnte das Sprachmodell descriptiv tätig werden und Wörter erschaffen. Jeder Dichter tut das.
Also, das System detektiert einen Molch ohne Augen. Es hat den Begriff “Axolottel” noch nicht. Stattdessen wird es den Begriff “blinder Molch” erfinden.
Es entdeckt eine Statue mit einem Menschen , der seinen Kopf unter dem Arm trägt. Das System nennt ihn “Axelkopfer “. Mit Phatasie ist das doch verständlich.
@hwied: Ja genau: Sprachmodelle sind heute schon „kreativ“. Sie können wunderbare Geschichten erfinden, Geschichten, die teils an die Werke von Dichtern/Schriftstellern/Träumern erinnern, Geschichten hin und wieder aber auch, die daherkommen als würden sie ein Faktum, eine Beschreibung von etwas Wirklichem wiedergeben. Dabei kann das, was sie sagen sogar stimmen, muss aber nicht.
Genau das macht Sprachmodelle so interessant: Sie erzeugen Neues und nicht selten Interessantes, einfach indem sie auf scheinbar intelligente Art daherreden.
Und ehrlich gesagt: Arbeiten nicht viele SmallTalker ganz ähnlich wie Sprachmodelle: sie mixen ihr Wissen/Halbwissen mit eigenen Eingebungen zusammen und unterhalten die Zuhörer damit prächtig.
Martin Holzherr,
wie wird die Welt in 100 Jahren aussehen ? Bei der Geschwindigkeit der Entwicklung tippe ich auf Haushaltsroboter, die den Rasen mähen, die Schulkinder bei den Hausaufgaben kontrollieren, den Hund ausführen, der “Butler” wird fröhliche Urständ feiern.
Dadurch wird sich ein neues Problem auftun, wir werden das Denken verlernen.
Beobachte ich bei mir , wenn ich Schach spiele. Es ist ja so einfach mal den “Fritz” zu befragen.
Und beobachte ich beim Autofahren. Die Automatik übernimmt alles.
Wenn alles für uns durch persönliche Diener erledigt wird, sind wir die Herren und benehmen und auch so. Morgen werden Roboter die Diener sein und fast jeder wird ein Herr/eine Herrin sein. Sogar Schulmädchen.
Mich würden „pragmatische Sichtweisen“ zum Ukraineproblem interessieren. Sozusagen eine „intelligente Historikersicht“.
Bemerkenswert bei „Kriegsmustern“ (aus der Geschichte) ist, dass es „kracht“ wenn einer „in die Enge getrieben“ wird. Z.B. er wird vom Welthandel abgeschnitten und muss künftig an „Wegelagerer“ fest „Maut“ (oder hochtrabend: „Transitgebühren“) zahlen.
Es geht den Russen offensichtlich um ihren freien Zugang zum Schwarzen Meer (Ukraine), allenfalls auch zur Ostsee (Kaliningrad) und damit zur ganzen Welt. Sie haben eigentlich nur im Osten freien Zugang. Das wird „verschwiegen“, obwohl es aus der Geschichte offensichtlich sonnenklar ist.
Den offenen Zugang zum Meer für den Handel und die Kriegsflotte haben sie sich Jahrhunderte, so etwas wie „ersessen“ und es wird vermutlich auch in den nächsten hunderten von Jahren so sein.
Der Versuch ein Land am freien Handel zu behindern bedeutet Krieg, das war schon immer so und ist unabhängig vom „Staatslenker“, es ist das „Einmaleins“ der Historiker. Im Mittelalter haben sich Städte deswegen „bekriegt“.
Womöglich kommen noch Versuche dazu, einen Staat besonders zu demütigen, indem man seinen „Kriegshafen“ an den Kontrahenten z.B. an die Nato „übergeben“ will.
Wenn man das „Atomkräfteverhältnis“ berücksichtigt, ist auch offensichtlich wer gewinnen und wer platt gemacht wird.
Eine rein sachliche KI würde vermutlich zu einer anderen Erkenntnis kommen, als die von Emotionen getriebene natürliche Intelligenz.
Wer möchte versuchen dies zu erklären?
Elektroniker,
deep learning zeichnet sich dadurch aus, dass sie keine festen Regeln voraussetzt, sondern an Beispielen lernt. Also , lernen, Putin lernen !
Putin denkt noch in Kategorien wie : Zugang zur Ostsee, Zugang zum Schwarzen Meer, er denkt geografisch. Und er ist fixiert auf Europa.
Heutzutage ist China der Handelspartner Nr. 1.
Also sollte Rußland seine Industrien an den Amur verlegen und China beliefern.
Stalin hat noch aktive Ostasienpolitik betrieben. Seine Nachfolger waren zu sehr mit sich selbst beschäftigt, der ewige Machtkampf zwischen der Armeeführung und dem KGB, das hat die Sowjetunion nicht überlebt.
Wenn Rußland seine Dominanz behalten will, dann muss es sich vollkommen neu orientieren.
Gegen die EU kommt Rußland technisch nicht an. Gegen China auch nicht aber China braucht Lebensmittel und Rohstoffe.
Und der Erwärmung der Tundra wird Rußland dabei helfen.
@ hwied 01.04.2022, 20:41 Uhr
Ich habe einmal gelesen, dass beim “deep learning” aus einer großen Zahl typischer, aber nicht absolut gleicher Musterkomponenten, eine „Objekterkennung“ erfolgt. Z.B. Handschriften, oder Bilder eines Flugzeuges aus verschiedenen Perspektiven.
Beim „einfachen“ maschinellen Lernen ist das nicht möglich, es kann nur eine besondere „künstliche Schrift“ zuverlässig gelesen werden. Es dürfte sozusagen auf die „Kombinationen“ von bestimmten „typischen Teilmustern“ hinauslaufen.
Russland dürfte, wegen der „Mentalität“ der Menschen, eher zu Europa „passen“. Man weiß nicht so recht, ob man sich auf die Rationalität der derzeit besonders „technokratisch“ orientierten chinesischen Führung „verlassen“ kann. Sie sind auf Selbstbeschränkung (z.B. 1 Kind Politik) aus, was eher noch kein Land versucht hat. Normalerweise wird versucht, den „Lebensraum“ (auch kriegerisch) auszuweiten (Japan, Nazi Deutschland,…). Wegen der „technokratischen“ Orientierung könnte es zu „massenpsychologischen“ Problemen kommen.
Mir ist es beim „Ukraineproblem“ um die typischen „Kriegsmuster“ gegangen. Die Musterverarbeitung ist auch grundlegend in der KI.
Aus Konkurrenzgründen versuchen selbst kleine Händler am „Wochenmarkt“ der Konkurrenz das „Wasser“ abzugraben. Sie stellen ihre Obstkisten möglichst so hin, dass die Kunden „hängen“ bleiben.
Kriege ergeben sich, weil man den „Konkurrenzstaat“ möglichst von jeglichen Ressourcen „abschneiden“ will, um sie selbst genießen zu dürfen. Das wird, wie man weiß, auch mit juristischen Mitteln geführt. Von einzelnen Bürgern, Gruppen, bis hin zu Staaten.
Im Sinne Darwins „überleben“ die „Stärksten“. Falls es so weiter geht, überlebt vermutlich das (dünn besiedelte, wenig komplex organisierte) Volk das letztlich Atombomben „am besten“ verkraften kann.
Es sollte unbedingt faire Verhandlungen geben und man kann das grundlegende psychologische Problem nicht ignorieren, zumal die „Kriegsmuster“ (auf die ich hingewiesen habe) den Historikern ohnehin bestens bekannt sind.
Ich vermute, dass es die Sowjetunion ehemals deswegen „zerlegt“ hat, weil sie die Probleme (Preisrelationen) aushandeln und auf den Markt als „Schiedsrichter“ verzichten wollten.
Bei den Handels Konflikten bleiben einem aus nahe liegenden Gründen, in letzter Konsequenz (vor dem Krieg mit A, B, C, Waffen) nur Verhandlungen.
Die KI weiß recht gut wie „Muster“ verarbeitet werden, die Psychologen aber auch die Historiker erahnen es zumindest aus Analysen.
In meinen Beiträgen geht es recht anschaulich darum, wie derartiges sozusagen in der „Praxis“ funktioniert.
Die Russen im Beispiel, werden nicht einverstanden sein, nach für die Ukraine recht glücklichen, aber nicht ganz eindeutigen juristischen Umständen, zunächst immer höhere „Transitgebühren“ als „Wegzoll“ zahlen zu müssen.
Danach ihre Bodenschätze den Ukrainern und der Welt „zu Füßen“ legen und auch nicht bereit sein, sie in billiger Sklavenarbeit und unter Tag auch noch abbauen zu müssen.
Selbst „Fridolin der Stier“ aus dem Märchenbuch und als Staatschef Russlands würde das nicht akzeptieren.
Man sollte nicht auf die Idee kommen, derartiges, wie oben angedeutet, auch nur zu versuchen und zu glauben, dieser „brutale Mechanismus“ fällt heutzutage nicht auf.
Die Folgen einer naiven Verarbeitung von „Denkmustern“ sind schrecklich, wie wir jetzt sehen.
Eine neue, realistische Denke, eine optimale „Musterverarbeitung“ auf allen Seiten, und realistische Verhandlungen wären angebracht. Sonst wird das Leid auf der Welt immer schlimmer….
Elektroniker,
über Wegezoll, Denkmuster und Markt
Der Konflikt wird sich auch auf den Kaukasus bis hin zum Mittelmeer ausweiten.
Es geht um eine Energietrasse von Erdöl, Erdgasvorkommen am Kaspischen Meer bis an das Mittelmeer.
Dazu führt der Weg entweder über Türkei oder die Kurdengebiete im südlichen Irak. Rußland hat sich ja schon mit Syrien und Iran verbündet. Der nächste Konflikt wird also im “Kurdenland” entschieden.
Die Denkmuster dabei haben allerdings ein Verfallsdatum. In den nächsten 30 Jahren wird die Weltenergieversorgung auf Votovoltaik umgestellt werden. Wenn nicht, dann helfen alle strategischen Überlegungen nicht mehr, dann kommt es zu einer Dürre in Mittelasien.
Der Markt, der ist unverzichtbar, weil die wirtschaftlichen Verhältnisse so komplex sind, dass kein Mensch und auch keine staatliche Institution sie lenken kann. In der DDR hat sich das praktisch gezeigt. Auf Dauer kann man nicht unter Preis produzieren.
Nur der Markt kann sich selber regulieren !
Um aber beim Thema zu bleiben, mit deep learning könnte man versuchen die Mechanismen des Marktes mit künstlicher Intelligenz nachzuvollziehen.
Wer dann das bessere Programm hat, der kann den Markt beinflussen.