Der aktuelle State of the Art der Virtual-Reality

Ohne Frage: Virtual-Reality ist faszinierend. Was einst – wir erinnern uns an Filme wie „Tron“ (1982) oder „Matrix“ (1999) – wie eine bloße Science-Fiction-Vision anmutete, ist längst zu einem eigenen Industrie-Zweig mit enormem Potential herangewachsen, der sich durch rege Forschung stetig weiterentwickelt hat und mit immer neuen Innovationen in den unterschiedlichsten Bereichen überrascht. Seit nunmehr 18 Jahren zählt der Einsatz virtueller Simulationen innerhalb der Automobilindustrie oder der Medizin bereits zum Standard und seit vermehrt Consumer-Versionen von VR-Hardware in einem erschwinglichen Preissegment auf den Markt kommen, gibt es auch in Privathaushalten immer mehr Anwender, die die Technologie aktiv nutzen, statt nur über sie zu lesen. Das grundlegende Prinzip, sowie das Ziel, das hinter den unterschiedlichen VR-Systemen steht, ist dabei eigentlich recht simpel: Es soll eine Benutzeroberfläche geschaffen werden, über die der Anwender mittels eines geeigneten Ausgabegerätes Zugang zu einer ihn vollständig umgebenden simulierten Realität in Echtzeit hat, die im Idealfall sowohl Steuerungs- als auch Handlungsmöglichkeiten bietet und dabei die menschlichen Sinne miteinbezieht. Statt die Umgebung respektive die mithilfe der Anwendung erzählte Geschichte also nur passiv wie bei einem Film wahrzunehmen, soll der User sie immersiv erleben können, das heißt, ihm soll das Gefühl vermittelt werden, sich unmittelbar in der künstlich geschaffenen Realität zu befinden und diese auch beeinflussen zu können. Besonders interessant wird es natürlich dann, wenn die Virtual-Reality den Anwender an Orte bringt, zu denen er andernfalls keinen Zugang hätte oder die in unserer Realität in der Form gar nicht existieren könnten.

Zum jetzigen Zeitpunkt sind primär stark immersive, jedoch deutlich weniger wirklich interaktive – im Sinne von mit beeinflussbarer Handlung ausgestattete – VR Experiences flächendeckend verbreitet.

Quelle: www.tenor.com

Der VR-Workflow im Hier und Jetzt

Obwohl die Technologie insgesamt noch viel zu jung ist, um bereits jetzt abschließend von einem traditionellen Produktionsablauf bei der Erstellung von VR-Inhalten zu sprechen, so besteht deren Basis derzeit oft noch aus live-action 360-Grad-Videos, die entweder mit einer Reihe von Kameras gedreht werden, die in der Lage sind, alle Richtungen zu erfassen oder es kommt nur eine einzelne rotierende Kamera zum Einsatz (nodal technique). Das so gewonnene Material wird anschließend in der Postproduktion digital zu einer 360-Grad-Rundumsicht zusammengesetzt, wobei man hier vom so genannten „stitching“ spricht.  Bei der fertigen Anwendung erfasst dann ein in das VR-Ausgabegerät integriertes Trackingsystem (so zum Beispiel bei der HTV Vive oder der Oculus Rift) Lage, Position und Bewegung des Kopfes, um eine dem jeweiligen Blickwinkel des Nutzers entsprechende Darstellung berechnen und ausgeben zu können. Wie in einem Computerspiel kann der Nutzer der fertigen VR-Anwendung nun zwar theoretisch frei mit der ihn umgebenden dreidimensionalen Umwelt interagieren, seine Perspektive jedoch nicht in alle Dimensionen hinein verschieben, das heißt, es fehlt vor allem die räumliche Bewegungsfreiheit, sodass die virtuelle Welt letztlich eine Limitierung erfährt und die Sechs Freiheitsgrade nicht gegeben sind.

Quelle: www.wifflegif.com

Um diese Beschränkung aufzuheben und dem Anwender mehr Interaktionsmöglichkeiten zu bieten, wurden 360-Grad-Videos in der Folge mithilfe von Game Engines wie zum Beispiel der Unreal Engine 4 animiert und damit zwar ganz neues Potential in den Bereichen story telling und Roomscale-VR geschaffen, Menschen, Tiere und Gegenstände blieben aber, ganz gleich wie realistisch sie dargestellt waren, nach wie vor hauptsächlich eines: flach.

The next big thing of immersion: Realistischere VR-Experiences dank volumetric video capture

Ausgehend von dieser Problematik gehen Unternehmen wie HypeVR, 8i oder Uncorporeal nun also noch einen Schritt weiter und arbeiten bereits seit geraumer Zeit an einer bahnbrechenden Technologie, die VR-Videos in Sachen Realität und damit natürlich auch Immersion auf ein ganz neues Level bringen soll, indem sie eine vollständige Dreidimensionalität und Begehbarkeit der Videos ermöglicht. In ihrem kürzlich erschienenen Buch Virtual Reality Filmmaking: Techniques & Best Practices for VR Filmmakers vergleicht die Autorin Celine Tricart die volumetric capture-Technologie mit dem aus „Matrix“ bekannten Bullet-Time-Effekt, da auch hier ein Objekt, beziehungsweise ein Schauspieler, inmitten mehrerer Kameras positioniert und aus möglichst vielen Perspektiven gefilmt wird. Obwohl sich dieser Vergleich zwar hervorragend dazu eignet, sich die neue Technik beziehungsweise die Vorgehensweise bei der Contenterstellung vorstellen zu können, lässt er nur erahnen, mit welchem Ausmaß an Innovation wir es hier tatsächlich zu tun haben. Müsste man das Phänomen filmgeschichtlich einordnen, ließe es sich mit Sicherheit problemlos in einer Reihe mit dem Übergang vom Stumm- zum Tonfilm beziehungsweise vom Schwarz-Weiß- zum Farbfilm betrachten.

Um volumetrische Videos erstellen zu können, entwickelte das Start-Up HypeVR ein eigenes Kamerasystem mit 14 integrierten, hochauflösenden Kameras, die nicht nur 90 Bilder pro Sekunde liefern, sondern auch mit einem zum System gehörigen Laser-Radar räumliche Tiefeninformationen erfassen und in London eröffnete Microsoft in Kooperation mit Hammerhead VR und Digital Catapult im Oktober vergangenen Jahres mit „Dimension“ eines von weltweit nur drei volumetric capture-Studios, das insgesamt über 106 Kameras verfügt. Das gewonnene dreidimensionale Material kann mithilfe spezieller Software bei Bedarf später extrahiert und in jedes nur denkbare Setting eingefügt werden, während der gesamte herkömmliche Postproduktionsprozess entfällt. Neben diesen derzeit noch ebenso aufwendigen wie kostspieligen volumetric capture-Lösungen ist vor allem das neuseeländische Unternehmen 8i daran interessiert, die neue Technologie auch dem Mainstream zugänglich zu machen und entwickelte daher sowohl einen Player für die HTC Vive und die Oculus Rift als auch eine Augmented-Reality-App namens Holo, die es dem Nutzer ermöglicht, mithilfe seines Smartphones vorgefertigte Hologramme im Raum zu platzieren, um dann mit diesen zu interagieren. Auch Facebook stieg – getreu seinem Firmenmotto „connecting people“ – schon in den aufkommenden Markt ein und stellte auf der F8-Entwicklerkonferenz 2017 zwei Prototypen neuer VR-Kameras vor.

Obwohl die volumetric video capture-Technologie zum jetzigen Zeitpunkt noch in den Kinderschuhen steckt und auf ihrem Weg sicherlich noch einige Hürden wird überwinden müssen, sind es vor allem die mit ihr einhergehenden neuen Möglichkeiten bei der Darstellung von Menschen, die sie so überaus interessant machen – ist dies doch nicht nur eines der wichtigsten Themen der Virtual-Reality, sondern der gesamten darstellenden Kunst überhaupt, werden Geschichten doch klassischerweise vor allem über die Darstellung und Interaktion von Menschen erzählt und – in diesem Fall – sogar erlebbar gemacht. Darüber hinaus werden durch die begehbaren, volumetrischen Videos die Grenzen zwischen Produzent und Konsument zum Teil aufgehoben, da der Viewer während seines VR-Erlebnisses gewissermaßen selbst zum Regisseur wird und entscheidet, welche Aufnahme er aus welcher Perspektive sehen möchte. Familiäre Ereignisse können, sobald volumetric capture-Kameras auch im Amateurbereich verfügbar sind, filmisch künftig so eingefangen werden, dass es möglich sein wird, sich das Video hinterher nicht mehr länger nur passiv anzusehen, sondern die konservierte Szenerie erneut zu betreten, um die Erinnerung im wörtlichen Sinne wieder lebendig werden zu lassen.

Die Ergebnisse, die das Startup 8i aus Neuseeland mit seiner volumetrischen Capturing Technologie bislang erzielen konnte, sind ein eindrucksvoller Beleg, wozu die Technologie bereits jetzt im Stande ist. In die Entwicklung ebenjener Technologie in Form von Hard- und Software sind bisher über 40 Millionen Dollar an Venture Capital geflossen – mit Resultaten, die sich nicht verstecken müssen:

Ein Beispiel aus der Praxis: 100 Jahre Filmgeschichte hautnah

Anlässlich des 100. Geburtstages der UFA produzierte UFA Technology/ UFA LAB in Zusammenarbeit mit dem Fraunhofer HHI, der Deutschen Kinemathek, dem Museum für Film und Fernsehen und TRIAD den begehbaren Film „Ein ganzes Leben“, der im Rahmen der Ausstellung „Die UFA – Geschichte einer Marke“ im letzten Jahr seine Premiere feierte und letzten Monat mit dem Laval Virtual Award in der Kategorie „Arts and Cultural Heritage“ ausgezeichnet wurde.

Der Viewer wird von der Schauspielerin Maria – die selbstverständlich von allen Seiten betrachtet werden kann – nicht nur durch die Geschichte des Films geführt, sondern erlebt mit ihr zusammen eine Zeitreise durch die deutsche Filmgeschichte und erhält dabei einen guten ersten Eindruck davon, was mithilfe der volumetric capture-Technologie bereits möglich ist und kann gleichzeitig darüber mutmaßen, was uns in Zukunft noch erwarten wird.

Volumetric Video: Der heilige Gral der Virtual-Reality

Konsequent zu Ende gedacht ist Volumetric-Video die Grundlage für die finale Evolutionsstufe sämtlicher Virtual-Reality-Inhalte.
Finale Evolutionsstufe aus dem Grund, da es von den beiden für immersive Experiences maßgeblichen Parametern – Presence & Agency – die Komponente der Agency auf ein neues Level hebt.

Presence bezeichnet dabei den Glauben sich in einer Umgebung zu befinden, wider dem besseren Wissen tatsächlich nicht dort zu sein. Also eben in eine virtuelle Welt abzutauchen, während man sich im Wohnzimmer befindet. Dieser Aspekt lässt sich bereits jetzt mit gut gemachten 360 Grad Videos erreichen.

Der Aspekt der Agency – was im Deutschen am ehesten mit Handlungsfähigkeit umschrieben werden kann – wird erreicht, wenn der Zuschauer in der Lage ist, mit der virtuellen Welt so zu interagieren, wie er es mit der realen Welt kann. Und in der realen Welt ist es eben problemlos möglich, sich um Dinge herum zu bewegen und sie dabei von allen Seiten zu begutachten. Und genau dies ermöglichen volumetrische Videos.

Kommen nun beide Komponenten – also das Gefühl tatsächlich in der virtuellen Welt zu sein und die Befähigung mit dieser virtuellen Welt zu interagieren – zusammen, so hebt diese Kombination das Erleben von Virtual-Reality Experiences auf ein nie gekanntes Immersionsniveau, das dem Erleben in der realen Welt sehr nahe kommt. Und wenn eine virtuelle Welt kaum von der realen Welt zu unterscheiden ist, dann ist das nächste Level, wenn nicht das finale Level, von Virtual-Reality Experiences erreicht.

Zum jetzigen Zeitpunkt lässt sich das Gefühl der Agency, sprich der Handlungsfähigkeit des Nutzers in der virtuellen Welt, bereits umsetzen, auch ohne aufwändige volumetrische Technologien. Wenn auch ohne die Möglichkeit sich um Personen und Objekte herum bewegen zu können, wohl aber mit einem hohem Interaktionsgrad. Dazu entwicklelte die Aspekteins GmbH eine Benutzerführung, die basierend auf der Blickrichtung die Interessen des Zuschauers antizipiert und so ein Story Living ermöglicht, das sehr nah an das Erleben in der realen Welt herankommt. Diese Methodik bezeichnen wir als Hyperesponsive-Virtual-Reality und gehen damit von dem klassischen story telling über in ein Szenario, das am ehesten mit dem Ausdruck Story-Living bezeichnet werden kann, da der Nutzer hier eben nicht mehr als passiver Zuschauer geführt wird, sondern mit seinen Handlungen eine direkte Aktion des Mediums triggert. Lesen Sie dazu auch unseren Artikel Hyperresponsive-Virtual-Reality – Der nächste Schritt des 360°-Storytellings.

Noch erlaubt der VR-Markt eine friedliche Koexistenz spherischer 360-Grad-Inhalte und volumetrischer Videos. Doch sobald der Großteil der Anwender sich mit der neuen Technologie vertraut gemacht hat und dabei die Unterschiede festgestellt haben wird, wird die Nachfrage nach volumetrischem Content drastisch steigen. Wenn auch Sie darauf vorbereitet sein wollen, setzen Sie sich gerne mit unseren Experten in Verbindung und lassen Sie sich umfassend  zu Produktion und Konzeption von 360° & VR Inhalten sowie der Produktion von 360° Film und VR Content, wie auch innovativer Virtual-Reality App Entwicklung für Ihr Unternehmen beraten.

 HIER KLICKEN FÜR IHR AR / VR-PROJEKT

Bildrechte: © grandeduc – Fotolia.com