Virtuelle Realität unterstützt Ärzte im Kampf gegen Krebs
Für ihre Bewerbung um den KlarText-Preis für Wissenschaftskommunikation 2023 in der Kategorie Neurowissenschaften veranschaulichte Anke Reinschlüssel, was sie für ihre Promotion erforscht hat.
Neue Technologien werden Ärzt:innen in Zukunft helfen, ihre Fähigkeiten noch besser einzusetzen. Virtuelle Realität wird Ärzt:innen unterstützen, Operationen besser zu planen und erfolgreicher abzuschließen. Für viele Patient:innen kann das bedeuten, dass dem Krebs jetzt mehr entgegen zu setzen ist.
Im Jahr 2021 war Krebs die zweithäufigste Todesursache in Deutschland. Aufgrund des demographischen Wandels und des modernen Lebensstils beobachten wir weltweit einen Anstieg an Krebspatient:innen. In der Krebstherapie nutzt die Medizin die neuen technischen Möglichkeiten noch nicht ausreichend, um die Fähigkeiten von Ärzt:innen zu unterstützen. Zu den Technologien mit dem größten ungenutzten Potenzial gehören Virtual Reality auch VR abgekürzt, und Augmented Reality (AR), die erweiterte Realität.
Diese Technologien sind sogenannte 3D-Technologien, d.h., sie erzeugen und zeigen eine räumliche Darstellung von Informationen. Mit einer VR-Brille kann jeder in eine völlig andere Welt eintauchen. Dabei handelt es sich um ein Display, das das gesamte Sichtfeld abdeckt und wie im 3D-Kino für jedes Auge ein Bild generiert, um einen Tiefeneindruck zu erzeugen. Eine AR-Brille hingegen lässt Science-Fiction Szenen aus Minority Report oder Ironman Wirklichkeit werden. Wie die VR-Brille erzeugt sie ebenfalls ein 3D-Bild, blendet es aber über die reale Welt, die man ebenfalls durch die AR-Brille sieht. Diese Technologien können helfen, Chirurg:innen vorab eine bessere Übersicht über die Situation im Körper der Patient:innen zu geben.
Dank moderner radiologischer Verfahren wie Magnetresonanztomographie (MRT) oder Computertomographie (CT) können sich Chirurg:innen ein ungefähres Bild der Situation im Patienten machen, die Größe von Tumoren abschätzen und entscheiden, ob und wie diese entfernt werden können. MRT- und CT-Bilder stellen standardmäßig den Körper jedoch nur in Graustufen dar und geben nur eine Schicht, quasi eine hauchdünne Scheibe, des gesamten Körpers wider. Es erfordert viel Erfahrung, gute anatomische Kenntnisse und ein sehr gutes räumliches Vorstellungsvermögen um diese Informationen gedanklich zusammenzusetzen, um Lagebeziehungen zu erkennen. Moderne Technologien können diese Bilder bereits als 3D-Darstellung aufbereiten. Ergänzt man diese nun mit künstlicher Intelligenz, unterstützen sie erfahrene Radiolog:innen darin aus den 2D-Daten der radiologischen Verfahren ein hochwertiges und genaueres 3D-Modell des von Krebs-befallenen Organs, z.B. der Leber, zu generieren. Das Modell kann wie in einem Anatomiebuch eingefärbt werden, was die Unterscheidung der verschiedener Gewebearte und Gefäße erleichtert.
Diese 3D-Modelle ermöglichen einen ganz anderen Blick auf die Ergebnisse des MRTs oder CTs, reduzieren den Aufwand für der Erstellung des mentalen Modells und schaffen eine gemeinsame Diskussionsgrundlage zwischen den Ärzt:innen. Um alle Vorteile eines 3D-Modells nutzen zu können, bedarf es allerdings eines 3D-fähiges Anzeigemediums – zum Beispiel eine VR- oder AR-Brille. Doch was braucht es noch, damit ein 3D-Modell und eine VR-Brille Chirurg:innen bei der Operationsplanung unterstützen können?
In enger Zusammenarbeit mit Chirurg:innen haben wir ein VR-System entwickelt, das diese bei der Vorbereitung auf eine Operation an der Leber optimal unterstützt. Hierbei war es zuerst wichtig, die Arbeitsabläufe und Herausforderungen der Chirurg:innen kennen zu lernen, sodass wir im Krankenhaus inklusive OP hospitiert haben. Anschließend entwickelten wir im interdisziplinären Team mit Spezialist:innen aus den Bereichen medizinische Bildaufbereitung, Informatik und Mensch-Technik Interaktion einen ersten Prototypen um den medizinischen Expert:innen eine Vorstellung der technischen Möglichkeiten zu geben. In enger Zusammenarbeit mit den Chirurg:innen und durch mehrere gemeinsame Evaluationen gewannen wir ein immer tiefergehendes Verständnis für die Anforderungen an unser System und entwickelten es entsprechend weiter. So entstand aus einem einfachen Prototyp ein elaboriertes Werkzeug für die OP-Planung. Das finale System besteht aus mehreren Komponenten: einem 3D-Modell der Leber des Patienten, einem Menü mit wichtigen Tools zur OP-Planung, einer VR-Brille und den Controllern, also der Steuerung. Chirurg:innen können ein Organmodell von allen Seiten betrachten, die entscheidenden Abstände zwischen Tumoren und Gefäßen messen und sogar virtuell Gewebe entfernen, um die Überlebenschancen besser einschätzen zu können.
Chirurg:innen sind mit handwerklichem Geschick ausgestattet und verlassen sich viel auf ihren Tastsinn. Herkömmliche VR-Interaktionsmethoden unterstützen dies jedoch kaum, da sie generische „Controller“ wie bei einer Playstation verwenden. Im Gegensatz dazu, geben wir den Chirurg:innen ein „Organ“ in die Hand – z.B. eine 3D-gedruckte Leber, die alle wichtigen Merkmale zum Ertasten hat. Diese kombinieren wir mit der Darstellung in VR – sodass, wenn ein:e Chirurg:in die Leber in der Hand dreht, sich auch die virtuelle Leber dreht. Dies ermöglicht eine intuitive Bedienung und macht die Technologie zugänglicher. Somit geben wir jedem Chirurgen und jeder Chirurgin die Möglichkeit, die Patientendaten räumlich zu erfahren. Ein Chirurg des Teams hob hervor, dass dies „den Unterschied zwischen einem palliativen und einem kurativen Ansatz“ aus chirurgischer Sicht der Krebstherapie bedeuten kann, d.h., ob der Patient Chancen auf Heilung und damit auf ein Überleben der Krebserkrankung hat.
Auch wenn diese 3D-Modelle sehr einprägsam sind, wäre es doch schön, wenn die Chirurg:innen sie mit in den OP nehmen könnten. Hier bietet sich eine AR-Brille an – der Nutzer sieht sowohl die Umgebung, also den Patienten, als auch das dazugehörige virtuelle 3D-Modell. So können die Chirurg:innen auch während der Operation die virtuelle Leber an verschiedenen Stellen im Raum platzieren und drehen. Mittels natürlicher Gesten wie dem Greifen mit Zeigefinger und Daumen können Chirurg:innen das virtuelle Modell anfassen und es beispielsweise „neben“ den Patienten legen – die Hände bleiben dabei steril, da sie nur Luft greifen.
Während im oben beschriebenen Szenario VR- und AR-Brillen einen großen Vorteil bieten, gibt es in der Medizin auch Situationen, in denen diese Technologien aufgrund der Rahmenbedingungen nicht eingesetzt werden können. Ein Beispiel hierfür sind Untersuchungen, die in einem MRT stattfinden. Weil dabei ein sehr starkes Magnetfeld erzeugt wird, stellen fast alle technischen Geräte eine potentielle Gefahrenquelle dar oder sie funktionieren schlichtweg nicht mehr. Hierfür haben wir auch an anderen Technologien geforscht. Eine mögliche Technologie in diesem Anwendungskontext ist die „Elektrolumineszenz“– mit Hilfe eines elektrischen Feldes geben Elektronen in bestimmten Materialen ihre Energie in Form von Licht ab – und zwar ohne vom Magnetfeld gestört zu werden. Displays mit dieser Technologie können dann direkt am Patienten angebracht werden, weil sie sehr leicht und flexibel sind. Diese erweitern dann ähnlich wie die AR-Brille die Realität für die Mediziner:innen indem sie beispielsweise Navigationshinweise für korrekte Einstichstellen von Nadeln geben. Dies erlaubt eine präzisere Durchführung von Untersuchungen und Eingriffen.
All diese Anwendungen haben wir in enger Zusammenarbeit mit den (zukünftigen) Anwender:innen entwickelt. Unser vorrangiges Ziel ist es, Ärzt:innen zu unterstützen, damit sie ihre Fähigkeiten noch besser einsetzen können. Die Anwendungen sind jedoch momentan Zukunftsmusik, da sie sich im Entwicklungsstadium befinden und noch die Zertifizierung als Medizinprodukt durchlaufen müssen. Dann können diese Technologien helfen, viele Erkrankungen, wie z.B. Krebs, noch besser zu bekämpfen und damit die Lebensqualität und Heilungschancen der Betroffenen zu erhöhen.
Anke Reinschlüssel studierte Kognitionswissenschaften im Bachelor und wandte sich im Master dem Feld Mensch-Technik Interaktion (engl. Human-Computer Interaction – HCI) zu. Während ihrer Promotion an der Universität Bremen entwickelte und erforschte sie Anwendungen und neue Interaktionsmethoden für bestehende Technologien wie Virtuelle Realität und Tangibles, auf deutsch auch ‚begreifbare Objekte‘ genannt. Weil zu ihrer Faszination für Technik und Menschen eine Begeisterung für Medizin gehört, spezialisierte sie sich auf den Anwendungskontext Chirurgie. Aktuell forscht sie als PostDoc an der Universität Konstanz weiter an den Möglichkeiten von Virtueller Realität.