Voller Durchblick im Operationssaal

Artikel über VR-/AR-Anwendungsmöglichkeiten und -Begrifflichkeiten

Virtuelle (VR) und erweiterte Realität (AR) ist längst keine Zukunftsmusik mehr, sondern verändern bereits heute konkret die Arbeitswelt. Neben der Industriellen Fertigung, Architektur und im Straßenverkehr ziehen VR- und AR-Anwendungen in die Medizin ein. (Publiziert im e-commerce-magazin, Ausgabe 02/2018)

Das EKG piepst regelmäßig vor sich hin, der Monitor des Kreislauf-Überwachungsgeräts zeigt die aktuellen Sauerstoffsättigungswerte und den Blutdruck an. Lautlos tropft die durchsichtige Flüssigkeit durch den feinen Schlauch. Der Anästhesist überprüft den Zustand des Patienten auf dem OP-Tisch. Chirurg Dr. Brinkmann zieht sich währenddessen eine HoloLens über den Kopf und lädt die aktuellen Computertomographie-Daten herunter. Es herrscht schweigsame Konzentration. Dr. Brinkmann projiziert das dreidimensionale Hologramm des Gehirns direkt auf den Kopf des Patienten und läuft vor ihm hin und her.

Er sieht vor seinem Auge virtuell direkt in den Kopf des Patienten, die zu operierende Stelle leuchtet rot. Die OP-Schwester reicht dem Chirurgen den Bohrer, die HoloLens zeigt ihm nun zusätzlich den exakten Winkel und die Tiefe des zu bohrenden Lochs direkt am Kopf des Patienten an. Mithilfe dieser virtuellen Marker setzt Dr. Brinkmann den Bohrer präzise auf dem Schädel an. Leise surrt das Gerät. Wir schreiben das Jahr 2025, Augmented Reality hat sich längst in der Chirurgie durchgesetzt.

Was noch futuristisch anmutet, ist eines der Szenarien, das die Neurochirurgie des Schweizer Inselspitals in Bern vorantreibt. Bereits jetzt benutzen die Chirurgen die HoloLens präoperativ zur Visualisierung und Vorbereitung einer OP. Bis eine HoloLens wirklich während einer Operation eingesetzt werden kann, benötigt es noch mehrere Jahre Entwicklungsarbeit.

Der Chirurg sieht virtuell direkt in den Kopf des Patienten

Begeben wir uns in die Gegenwart. Flugzeugpiloten kennen es schon seit dutzenden von Jahren: das „Head-up Display“ (HUD), das zusätzliche oder eben erweiterte Informationen direkt in die Scheibe projiziert. Heute sind derartige HUDs schon in vielen Autos Standard. Informationen wie die Geschwindigkeit und Richtungsanweisungen des Navigationsgeräts sind direkt im Gesichtsfeld eingeblendet und lenken den Fahrer nicht ab (daher der Name: der Kopf bleibt oben). Die Information wird dabei virtuell direkt in die Umwelt eingebettet: Ein Navigationspfeil erscheint so, als läge er direkt auf der Straße, ein Sicherheitsabstandsbalken gibt dem Fahrer an, wie viel Abstand er zum vorausfahrenden Auto halten soll.

Das Smartphone pusht AR-Entwicklung

In den letzten Jahren kamen etliche Geräte auf den Markt, die mitunter neue Begriffe mit sich brachten. Auch die Softwareentwicklung bewegt sich rasant: Entwicklungsumgebungen wie „Unity“ erlauben das sehr schnelle Ausprobieren und Entwickeln von Lösungen mit dreidimensionalen Objekten. Apple und Google integrieren Augmented-Reality-Plattformen in ihre Betriebssysteme. Damit hat heute fast jeder ein AR-fähiges Gerät in der Tasche: das Smartphone. Entsprechend tut sich hier derzeit auch am meisten. Allenthalben schießen VR und AR-Apps wie Pilze aus dem Boden. Bekanntestes Beispiel: Ikea. Mit den AR-Apps stellt sich der Kunde das Sofa bereits vor dem Kauf ins Wohnzimmer. Wanderer erkennen mit AR-Anwendungen jeden Berggipfel und Kinder verwandeln ihre Zeichnungen in 3D-Figuren oder verstecken virtuelle Schätze im echten Kinderzimmer.

Aber was sind eigentlich die Unterschiede zwischen AR, VR und MR?

Virtual Reality: Rein in eine andere Welt

Beginnen wir mit der Virtual Reality. Wie der Name sagt, begibt man sich in VR-Applikationen komplett in eine andere Welt. Man taucht förmlich in die Virtualität ein und nennt das auch die immersive Realität oder totale Immersion. Um derart einzutauchen, verwendet man eine VR-Brille. Wobei der Begriff Brille in die Irre führt: man sieht nicht durch sie hindurch, sondern hat einen kleinen Bildschirm vor den Augen, der eine eigene Welt projiziert. Dabei kann eine stereoskopische Sicht erreicht werden, die eine dreidimensionale Tiefe suggeriert. Es findet jedoch nur eine sehr eingeschränkte Interaktion mit dem Raum statt. Zu den größeren technischen Einschränkungen aller VR Brillen gehört die für den Verwendungszweck eher schlechte Auflösung der Bildschirme; beim Blick durch die Linsen auf dem sehr nahen Bildschirm sind die Pixel erkennbar.

Augmented Reality: Erweitert die Weltsicht

Im Unterschied dazu ist die erweiterte Realität – Augmented Reality – nicht immersiv. Die echte Welt wird mit zusätzlichen Informationen überblendet. Verwendet man ein Smartphone als AR-Gerät, wird der echte Raum von der Kamera erfasst und auf dem Bildschirm dargestellt. Darin eingebettet ist dann die zusätzliche Information. Bekanntester Vertreter einer AR-Applikation dürfte das Spiel Pokémon Go sein. Die totgeglaubte Google Glass ist ebenfalls ein AR-Gerät und wird in einer Enterprise-Version weiterhin hergestellt. Da die Hände beim Verwenden von Telefonen nicht frei sind, ist deren Nutzen im geschäftlichen Alltag vorwiegend auf rein inhaltsvermittelnde Applikationen fokussiert.

Mixed Reality: das beste aus beiden Welten

Als Microsoft die HoloLens lancierte, verbanden sie ihr Gerät mit einem weiteren Begriff: Mixed Reality. Die Realität ist nun nicht mehr nur erweitert, die virtuelle Realität wird mit der echten vermischt, respektive verschmolzen. Man sieht den Raum mit eigenen Augen durch eine Brille, dreidimensionale Objekte werden als Hologramme darin dargestellt. Damit entfällt im Unterschied zur herkömmlichen Darstellung von AR die kognitive Last, also die mentale Anstrengung des Benutzers, sich ein 3D-Objekt vorzustellen. Neben Microsofts HoloLens sind derzeit zwei weitere Geräte erwähnenswert: Meta 2 und Magic Leap One der jeweils gleichnamigen Firmen. Beide sind im Gegensatz zur HoloLens keine vollständigen Computer, sondern benötigen zusätzlich mit Kabeln verbundene Hardware. Allen eigen ist ein Head-Mounted Display (HMD). Im Enterprise-Bereich bieten diese AR-HMDs aktuell die meisten Möglichkeiten.

Aktuelle Anwendungsbereiche

Anwendungsbereiche für VR sind neben der Unterhaltungsindustrie (Games, Videos usw.) beispielsweise die Architektur (virtueller Rundgang durch ein Haus), medizinische Rehabilitation und Therapien (Training nach Schlaganfall oder Phobie- Therapie) oder eine echte Achterbahnfahrt in unechter Realität. Eine Schweizer Bank hat gar eine VR-Trading App lanciert, mit der man im virtuellen Raum mit echten Aktien handeln kann. Zu den spannenden Anwendungsbereichen für AR und MR zählen etwa die Architektur und das Produktdesign: Gips und Holzmodelle gehören der Vergangenheit an, Prototypen müssen nicht mehr aufwändig materialisiert werden, sondern können direkt aus dem CAD Programm in die AR-Applikation geladen und damit gar virtuell teletransportiert werden.

Schulung in einer industriellen Produktion mit Augmented Reality
Wartung von Zügen mit Augmented Reality

Wartungsarbeiten und die Ausbildung an Maschinen erfahren mit AR ebenfalls einen Entwicklungsschub. Eine Schweizer Firma prüft die Vereinfachung des Wartungsprozesses ihrer Bahnwagen mittels einer digitalisierten AR-Checkliste. Eine kurze Zeitreise in die Wartungshallen veranschaulicht die Anwendung: Mit quietschendem Krach wird ein Silo-Bahnwagen in die Halle eingefahren. Es riecht nach Maschinenöl und Metall. Der anwesende Service-Mitarbeiter betrachtet den Wagen mit der HoloLens; blitzschnell erkennt diese den Typ und die nötigen Wartungsschritte. Der Auftrag: Überprüfen und wenn nötig Reparieren aller wichtigen Teile wie Ventile, Stutzen, Bremsen, Schläuche, Leitern usw. Der Mitarbeiter sieht nun an den entsprechenden Stellen direkt am Wagen eingeblendet, was mit welchen Werkzeugen zu tun ist, und kann gegebenenfalls ein Hilfevideo anschauen oder Unterstützung durch einen Spezialisten anfordern. Die Hände sind dabei jederzeit frei. Der Zustand des zu überprüfenden Teiles wird als Überblendung im Soll-Zustand projiziert. Das erste Ventil ist überprüft und in Ordnung, der Techniker spricht zur HoloLens: Einlassventil vorne OK, worauf diese ihm dies quittiert und mittels Navigationspfeil im Raum zum nächsten Überprüfungspunkt am Wagen leitet. Sind alle Checks durchgeführt, wird der Auftrag automatisch beendet, der Disponent sieht dies auf seinem Bildschirm und löst gleich die Verrechnung aus.

In wenigen Monaten schon wird dieser Prozess Realität. Es wird dann deutlich einfacher, derartige Silo-Wagen zu warten. Ein Spezialist wird zum Generalisten und kann mehrere Aufgaben übernehmen. Dass dabei auch gleich ein Prozess mit Papierausdruck und -scan digitalisiert und medienbuchfrei wird, ist ein schöner Nebeneffekt.

Im Bereich „Emotional Sales“ besteht weiteres Potenzial. Wie verkaufe ich eine Industriemaschine effektiv, ohne sie transportieren zu müssen? Dank AR kann eine ganze Anlage an einer Messe oder direkt in der Halle des Kunden projiziert werden. Wie schon eingangs erwähnt, ist die Medizin eines der spannendsten Felder. Aktuell beschränkt sich die Verwendung zwar vorwiegend auf die Schulung. Es ist jedoch davon auszugehen, dass in sehr naher Zukunft die OP nicht nur mit AR vorbereitet, sondern mit Unterstützung von MR auch durchgeführt wird.

Anwendungen wie Pokemon Go zeigen, dass AR bereits in der Masse angekommen ist. Wann genau sich AR im B2B-Bereich etabliert, ist schwierig abzuschätzen. Gartner geht beispielsweise davon aus, dass AR noch 5 bis 10 Jahre benötigt, um das Plateau der Produktivität zu erreichen. Wir sind hier deutlich optimistischer! Die ersten produktiven Projekte werden wohl noch in diesem Jahr ausgeliefert.

Sprechen Sie mit dem Autor

Weitere Stories

Zu diesem Thema

MEHR STORIES