Näher an der Wirklichkeit durch virtuelle Realität
Um zu verstehen, wie unser Gehirn Einflüsse aus der Umwelt verarbeitet, hat man bislang im Labor einzelne geistige Funktionen untersucht. Das Problem: Laborexperimente haben manchmal wenig mit dem echten Leben zu tun, weil sie die Welt künstlich vereinfachen. Abhilfe könnte die virtuelle Realität schaffen. Mit ihr lässt sich unser Verhalten unter Alltagsbedingungen erforschen.
von Jacob Bellmund
Wollen wir auf dem Weg zum Bäcker eine belebte Straßenkreuzung überqueren, muss unser Gehirn mit vielen Eindrücken fertig werden: Autos bewegen sich aus vier Richtungen aufeinander zu, ein Fahrradfahrer klingelt und wir riechen Abgase, während wir überlegen, ob wir nun diese oder die nächste Abzweigung nehmen sollten. Wie schafft es unser Gehirn all diese Reize zu verarbeiten, sodass wir den schnellsten Weg an unser Ziel finden können? In klassischen Laborstudien versucht man einzelne geistige Funktionen zu erforschen, indem man sie in stark vereinfachten Situationen untersucht. Seit einigen Jahren gibt es jedoch eine Technologie, durch die sich Alltagsszenen sehr lebensnah nachahmen lassen: Die virtuelle Realität. In der Forschung nutzen wir sie zum Beispiel, um zu verstehen, wie das Gehirn mentale Landkarten bildet, sodass wir uns merken können, wo unser Ziel liegt und wie wir dorthin finden.
Eine Szene wie die an der Straßenkreuzung kann man mittels virtueller Realität im Labor nachstellen. Obwohl die Situation für die Studienteilnehmerin aus dem Leben gegriffen scheint, können Wissenschaftler genau beeinflussen, was sie erlebt. In der virtuellen Welt kann immer die gleiche Tageszeit herrschen, es kann gleich viel Verkehr auf den Straßen sein oder plötzlich die gleiche Baustelle den Weg zum Ziel versperren, sodass ein Umweg gefunden werden muss. Gezielt verändern Forschende in Experimenten bestimmte Aspekte der Situation, um zu verstehen, wie diese sich auf unsere Wahrnehmung, unser Denken und unser Handeln auswirken. Die virtueller Realität kombiniert genaue Kontrolle über den Ablauf der Ereignisse für die Wissenschaftler mit einer reichen Erfahrungswelt für die Teilnehmer.
Technologische Fortschritte lassen virtuelle Welten dabei immer realistischer erscheinen. Viele kennen heute bereits Virtual-Reality-Brillen. Dieser Geräte zeigen unseren Augen zwei leicht versetzte Bilder, auf die wir durch Linsen schauen. So entsteht der Eindruck räumlicher Tiefe und das Gefühl, dass wir uns im virtuellen Raum befinden. Sensoren messen die Bewegungen und Drehungen unseres Kopfes. Dies wird genutzt, um die Bilder anzupassen, die der Versuchsteilnehmer vor sich sieht. Wie in der echten Welt ändert sich so, was wir sehen, wenn wir den Kopf drehen. Zusätzlich spielen Kopfhörer Töne ab – zum Beispiel das Hupen des Autos an der Kreuzung. Weil die Virtual-Reality-Brille verschiedene Sinne anspricht, tauchen wir tief in die virtuelle Welt ein und verhalten uns als wäre sie real.
Um einen virtuellen Großstadtdschungel zu durchqueren, müssen wir uns fortbewegen. Zum Beispiel können zusätzliche Sensoren unsere Position im Zimmer erfassen. Doch dies beschränkt den Bereich, in dem wir uns bewegen können, auf die Dimensionen des Raumes, in dem wir uns befinden. Haben wir nicht gerade eine leere Turnhalle zur Verfügung, laufen wir Gefahr durch Zusammenstöße mit Wänden oder Möbelstücken schmerzhaft aus der virtuellen Welt gerissen zu werden. Neuartige Geräte versprechen einen anderen Ausweg: Auf sogenannten Bewegungsplattformen schieben wir unsere Füße über eine glatte Oberfläche. Diese Bewegung gleicht ein wenig Michael Jackson’s Moonwalk. Eingearbeitete Sensoren übersetzen die Schritte in virtuelle Bewegung (siehe GIF). Während wir so auf der Stelle treten, sind unseren virtuellen Streifzügen keine Grenzen mehr gesetzt.
In unserer Forschungsgruppe am Max-Planck-Institut für Kognitions- und Neurowissenschaften in Leizpig untersuchen wir mit Hilfe der virtuellen Realität, wie wir geistige Landkarten erstellen und uns so zum Beispiel Positionen im Raum einprägen. Wie können wir uns merken, wo es das beste Eis gibt und wie weit es von dort zum Schwimmbad ist? In einer aktuellen Studie testeten wir das räumlichen Gedächtnis unter Normalbedingungen und in einer Situation, in der das Koordinatensystem unserer geistigen Landkarten durch die besondere Form der virtuellen Umgebung gestört wurde. Wir beobachteten Verzerrungen des räumlichen Gedächtnisses, die den Vorhersagen, die wir mit einem Modell der Funktionsweise der mentalen Landkarten gemacht hatten, entsprachen (wer sich für die Details interessiert, findet hier eine Zusammenfassung der Studie).
In der virtuellen Realität kann auch Unmögliches möglich werden. So können wir in kreativen Experimenten Fragen angehen, die wir bisher nicht beantworten konnten. In einer Studie stellten wir beispielsweise in einer virtuellen Stadt Teleporter auf, die einen an einen anderen Ort „beamen“ konnten. Mit Eintritt in den Teleporter verschwindet die Person und taucht von einer Sekunde zur nächsten in einem völlig anderen Teil der Stadt wieder auf. Wir nutzten dies, um herauszufinden, wie wir unsere mentalen Landkarten aufbauen. In der echten Welt brauchen wir mehr Zeit, um größere Entfernungen zwischen zwei Orten zu bewältigen. Mit den Teleportern konnten unsere Studienteilnehmer jedoch ohne Verzögerung weit entfernte Orte erreichen. So trennten wir im Experiment die räumlichen und zeitlichen Beziehungen von Orten in der virtuellen Stadt. Wir beobachteten, dass die Zeit, die zwischen dem Besuch zweier Orte verstreicht, die mentalen Landkarten in einer für unser Gedächtnis wichtigen Hirnregion besonders beeinflusst (eine genauere Beschreibung gibt es hier).
Noch ist es eine große Herausforderung die Aktivität des Gehirns zu messen, während sich eine Studienteilnehmerin durch eine virtuelle Welt bewegt. Der Grund: Im Hirnscanner muss man möglichst regungslos liegen. Daher ist es schwierig, darin Virtual-Reality-Brillen zu nutzen. Als Alternative untersucht man bislang das Gehirn von Menschen bevor und nachdem sie eine virtuelle Stadt entdeckt haben. Die Wissenschaftler können so Veränderungen in der Hirnaktivität erkennen, die auf die neu geformten mentalen Landkarten zurückgehen. Mit neuer Technologie könnte es außerdem bald möglich sein, die Hirnaktivität auch dann zu messen, während jemand eine Virtual-Reality-Brille trägt und auf einer Bewegungsplattform eine virtuelle Welt erkundet.
Zitat:
Damit ist wohl ein Hirnimplantat wie Elon Musks Neuralink gemeint.
So etwas wie eine detaillierte Registrierung der Echtzeit-Hirnaktivität scheint mir tatsächlich notwendig, damit wir die Arbeitsweise des Hirns besser oder überhaupt erst verstehen können.
Allerdings ist das heute schon mit entsprechend verkabelten Versuchstieren möglich. Wenn es nur um die Raumorientierung geht und um das örtliche und zeitliche Gedächtnis, dann kann man wohl ebensogut Experimente mit Mäusen und Ratten durchführen. Menschen braucht es erst bei „höheren“ Aufgaben wie etwa beim Planen und Denken und der Umsetzung von Gedanken in Sprache, denn Tiere kommen erst in diesen Bereichen nicht an den Menschen heran.
Dies könnte auch durch neue MEG-Systeme möglich werden, die nicht invasiv sind. Hier ist ein (englischsprachiger) Beitrag darüber.
Was meinen Sie warum die Evolution uns die fünf Sinne gegeben hat ? Über unsere Sinneskanäle erfahren wir die Wirklichkeit. Die virtuelle Realität spricht nur den Sehsinn an, während die Realität ,also das Hier und Jetzt , alle Sinne aktiviert. Das Gehirn bewertet die Reize- unbewusst- auf der Basis bestehender Erfahrungen. Wenn ich mir also als Biertrinker ,um es salopp zu sagen, eine Straße merken muss bzw. eine Landkarte erstelle, so merke ich mir als Orientierungspunkte wahrscheinlich zuerst die Eckkneipen. Andere, je nach Ausprägung ihrer Sinne, werden von Gerüchen, Geräuschen oder anderen Sinneswahrnehmungen geprägt. Eine virtuelle Landkarte(Realität) ersetzt also nicht das was ein Gehirn benötigt um Erlebnisse zu generieren. Das Gehirn benötigt alle Sinneseindrücke um ein für ihn wahres Abbild der Wirklichkeit zu schaffen.
An unseren Sinnesleistungen ist gerade das interessant, was man nicht sieht, was man für selbstverständlich hält, obwohl es das nicht ist. Beispiel: Wer ein Auto fährt, hat kaum je Mühe, Objekte auf der Fahrbann von Schatten zu unterscheiden, die durch sonnenbeschienene Bäume, Häuser und Überführungen auf die Strasse geworfen werden. Kaum ein Mensch hat damit Mühe. Doch Teslas Assistenzfahrsystem, welches selbständig die Spur hält und auf Hindernisse mit Bremsen reagiert, zeigte als „Kinderkrankheit“ mehrmals sogenannte Phantomstopps: Das Auto bremste plötzlich, weil es einen Schatten auf der Strasse für einen Gegenstand hielt, der die Fahrt blockiert.
Hier kommt nun meine Frage und das was mich interessiert: was befähigt den Menschen Schatten als Schatten zu erkennen und sie nicht mit Gegenständen zu verwechseln? Liegt das daran, dass der Mensch weiss wie solche Schatten entstehen (das kausale Denken) oder wird das Problem der Schatten noch auf einer viel tieferen Wahrnehmungsebene gelöst?
Es ist schon erstaunlich, dass wir solche grundlegenden Dinge unser Sinnessystem betreffend, kaum wissen, kaum verstehen. Registriert man die Hirnaktivität während eines solchen Wahrnehmungsprozesses, dann erhält man vielleicht Einblicke wie solche für uns selbstverständliche Fähigkeiten wie das Herausfiltern der Schatten bei uns abläuft.
Eine wirklich schöne Maschine:
Rear Dome 1600 + Torus Treadmill von Hikaru Takatori:
https://www.youtube.com/watch?v=BTbnFq9xDXY
@Martin Holzherr:
Ich vermute, dass wir Gegenstände von Schatten mühelos unterscheiden, weil wir 3-dimensional sehen können. Ein Gegenstand ist normalerweise erkennbar 3-dimensional, ein Schatten ist 2-dimensional. Sollte ein Schatten auf der Fahrbahn irgendwie so erscheinen, dass er als optische Täuschung die Illusion einer 3-Dimensionalität vermittelt, würden wir auch bremsen
&Jocelyne Lopez: Ja, der Mensch scheint Objekte, die er sieht, erstaunlich präzis im mentalen 3D-Raum relativ zueinander zu platzieren. Und das selbst dann wenn er mit nur einem Auge schaut. Die Frage ist nur: wie macht er das und muss man das lernen oder hat man diese Fähigkeit von Beginn weg.
Zu M. Holzherrr:
Was die SCHATTEN anbetrifft, so denke ich, dass dieses “Problem” etwas mit ERKENNTNIS(LERNEN) zu tun hat. Der Mensch -das Gehirn- muss erst den Zusammenhang zwischen Schatten und Bäume erkennen. Letzteres ist eine Erkenntnis der Reizbewertung dessen, was der Sehsinn abliefert und zur Bewertung an das limbische System gibt. Diese Erkenntnis, also die Kombination von Schatten und Bäumen wird dann konditioniert und bei weiteren solchen oder ähnlichen “Kontakten” automatisch wieder abgerufen. Dieses Assistenzfahrsystem kann den Zusammenhang dieser beiden Reize nicht erkennen, da es nicht “lernen” kann wie der Mensch.
@Querdenker: Ja, kausales Denken 🤔 spielt bei der Einstufung eines „Objekts“ als Schatten wohl auch eine Rolle. Der Mensch hat eigentlich ständig Wahrnehmungserwartungen. Er erwartet bereits Schatten und eventuell Spiegelungen auf der Strassenoberfläche. Mit andern Worten: Für den Menschen ist die Strassenoberfläche von vornherein eine Art Leinwand und beim Sehen ordnet er gewisse Phänomene darum sehr schnell der Strassenoberfläche zu.
Dass mit der virtuellen Realität als Wirklichkeit ist ja auch von Mensch zu Mensch verschieden. Während der geniale Schriftsteller H. Balzac die Fähigkeit hatte in seiner “Menschlichen Komödie” über 1000 Menschen eine virtuelle Realität in Form eines jeweils ausgeprägten Charakters zu geben bzw. sie vor seinen innerem Auge sehen konnte, was ja die virtuelle Realität ist, haben andere Mitmenschen Mühe überhaut eine Phantasie in Ansätzen zu entwickeln um überhaupt über das was ihnen einprogrammiert wurde hinaus zu denken. Die Erschaffung einer virtuellen Realität ist auch in der Psychologie im Bereich der Desensibilisierung in sensu erforderlich, wo es vornehmlich um die Behandlung von Phobien geht. Erfolgreich kann solche virtuelle Realität allerdings nur sein, wenn der jeweilige Mensch die Fähigkeit besitzt um eine solche Vorstellungskraft (Phantasie) zu entwickeln.
Warum ist das Einfache schwieriger als das Schwierige?
Es ist so, dass sich die evolutionär höchsten geistigen Leistungen des Menschen relativ einfach durch die Kombinationen von AND, OR und NOT ausdrücken lassen.
Allerdings sind die höchsten geistigen Leistungen des Menschen auch die evolutionär jüngsten Leistungen des Menschen, an die er sich noch nicht so recht gewöhnt hat.
Ein Roboter, der dreidimensional sehen und greifen kann (mit Hand-Augen-Koordination), stellt uns auch heute noch vor große Probleme, obwohl uns diese Funktionen wesentlich selbstverständlicher erscheinen als unser neues logisches Denkvermögen.
Das liegt daran, dass das dreidimensionale Sehen und Greifen schon von unseren affenähnlichen Vorfahren nicht nur erlernt wurde, sondern dass diese Fähigkeiten genetisch in unser Gehirn eingebaut wurden.
Mit anderen Worten, zwischen unserer Logik und dem Greifen und Bild-Erkennen besteht der Unterschied zwischen Programmierung und fester Verdrahtung.
Es ist daher kein Wunder, dass das Greifen und Bild-Erkennen bei uns völlig unbewußt abläuft, obwohl es wesentlich mehr Datenverarbeitung benötigt als unser logisches Denken.
Das einzige, was ein Kleinkind machen muss, ist es, sein Greif- und Seh-System auf seine konkrete Umgebung zu kalibrieren.
Zitat:
Nicht nur Unmögliches ist in der virtuellen Realität möglich, sondern auch Herausforderungen und Grenzen der visuelle Verarbeitung können damit ausgelotet werden und damit Fragen beantwortet werden wie
1) Welche minimalen visuellen Hinweise braucht es damit ein Mensch noch erkennt, dass er sich auf dem Weg/ der Strasse befindet, der er entlang gehen soll
2) Wie kommt der Mensch mit fehlender visueller Information zurecht, beispielsweise wenn bestimmte Bildteile fehlen oder verschwommen sind
3) was passiert, wenn ein Läufer, der einem Pfad folgen soll, immer weniger Bilder übermittelt bekommt, wenn beispielsweise das Bild nur jede Sekunde aktualisiert wird und der Läufer dazwischen „blind“ laufen muss.
Eine Schwäche scheint mir die beschriebene virtuelle Umgebung noch zu besitzen: es gibt kein Force-Feedback. Der Läufer spürt also nicht, wenn er einen Fehlschritt gemacht hat oder wenn er an einer Treppenstufe anstösst, weil er das Bein zu wenig gehoben hat.
Ich glaube, dass ein plötzliches „Blindlaufen“ gar nicht geht bzw. uns in den Zustand einer völligen Desorientierung versetzt, entweder mit Bewegungslähmung oder Gleichgewichtsstörungen oder mit völlig unkoordinierten und unbedachten Bewegungen.
Man kann das zum Beispiel bei dem Kinderspiel feststellen (in Frankreich „Öl und Essig“ genannt, ich weiß nicht, wie es in Deutschland heißt), wo es darum geht regelmäßig angebrachte Markierungen auf dem Boden bei jedem Schritt zu treffen. Mit offenen Augen ist der Pfad kinderleicht zu halten, läuft man aber den gleichen Weg dann mit gebundenen Augen, kommt man spätestens beim zweiten oder dritten Schritt ins Ungleichgewicht, in gelähmten und unkoordinierten Bewegungen und man fliegt meistens aus dem markierten Pfad ohne das Ziel erreicht zu haben.
Ich habe auch gehört, dass die Piloten von kleinen Flugzeugen, die nur nach Sicht fliegen und fliegen dürfen, in große Gefahr geraten, wenn sie in eine geschlossene Wolkendecke reinfliegen: Innerhalb von einem Bruchteil von Sekunden haben sie nicht nur die Orientierung komplett verloren, sondern auch jegliches Gefühl für die Position ihrer Maschine im Raum, ob Schräglage oder ob nach oben oder nach unten gerichtet. Wenn sie aus der geschlossenen Wolkendecke rauskommen, ist es oft zu spät um die Maschine wieder zu fangen. (Eine ähnliche, jedoch weit weniger dramatische Erfahrung habe ich mal beim Fahren im dichten Nebel gemacht und in meiner Homepage erzählt, siehe hier)
Zitat aus verlinktem Artikel:
Ja und es gibt Hinweise, dass eine unmittelbare zeitliche Aufeinanderfolge zweier Ereignisse einen „kausalen Verdacht“ auslöst: Was unmittelbar aufeinanderfolgt wird intuitiv mit einer kausalen Ereigniskette in Beziehung gebracht.
Der enthorhinale Cortex ist zudem der erstbetroffene Hirnteil bei Alzheimer und erklärt die bei Alzheimer auftretenden Gedächtnisstörungen, denn nur die Erregungen, die der enthorginale Cortex an den Hippocampus weiterleitet, führen zur Speicherung des entsprechenden Reizes im Gedächtnis.
Gemäss DocCheckFlexikon gilt zudem: