Mit der Technologie des volumetrischen Videos ist es möglich Personen und Objekte dank einer Vielzahl von Kameras aufzunehmen und in Form von Modellen zu digitalisieren. Egal ob es sich dabei um die Darstellung berühmter Persönlichkeiten oder Personen aus dem internen Kreis handelt. Mit volumetrischen Videos können Sie für Marketingzwecke oder für Präsentationen realistische Modelle in digitaler Form in vielseitige Szenerien setzen. Als Experten auf diesem Gebiet der 3D-Rekonstruktion und des Motion Capturings ist es uns durch die Zusammenarbeit mit dem Fraunhofer Heinrich-Herz-Institut und der Agentur Reallifefilm International möglich in der Post-Produktion Veränderungen an Modellen vorzunehmen. Das Anwendungsgebiet für diese Technologie ist unglaublich vielseitig und erweitert sich durch fortschreitende Entwicklung der Hardware immer weiter. Schon jetzt lassen sich realistische Darstellungen und Bewegungsabläufe in die digitalen Welten einfügen und diese sogar in VR oder AR betrachten.

Die Grundidee des volumetrischen Videos entstand schon vor mehreren Jahrzenten, als es vor allem im Sport darum ging Bilder aus verschiedenen Winkeln aufzunehmen. Wenn schon mehrere Kameras auf einen Sportler gerichtet sind, warum nicht versuchen aus diesen Aufnahmen ein 3-dimensionales Bild zu erhalten? Umgesetzt wurde der Gedanke dann erstmals in der Fotogrammmetrie, wie es Google Street View nutzt. Ein Objekt wird von mehreren Seiten fotografiert und daraufhin 3D dargestellt. Doch für Videoaufnahmen fehlte es lange an der leistungsfähigen Hardware. Nicht nur das VR in den letzten Jahren große Fortschritte machte, die generelle Rechenleistung verbessert fortwährend.

Ein volumetrisches Video entsteht also aus dem Einsatz vielzähliger Kameras, die aus unterschiedlichen Winkeln zusammen ein möglichst genaues und realistischeres Bild darstellen. Dem Einsatz des Bildmaterials sind dabei keine Grenzen gesetzt. Sowohl im Film als auch im Game-Bereich bieten die Aufnahmen eine unglaublich detaillierte Bildqualität. Digitale Animation kommt an diesem Punkt nicht an die Genauigkeit der Tiefenkameras heran, da das Bild digital versucht so natürlich wie möglich auszusehen. Außerdem fordert die Animation schon alleine für eine Minute Bildmaterial mehrere Arbeitsstunden, während das volumetrische Video direkt die natürlichen Bewegungen aufzeichnet und diese digital überträgt.

Nun kann man auf den Gedanken kommen „Das klingt ja alles ganz gut, aber was ist, wenn ich nachträglich etwas verändern möchte?“. Und da kommen wir ins Spiel. In Zusammenarbeit mit dem Frauenhofer HHI und RealLifeFilm International haben wir im Rahmen des VVOW den „Sorcerer‘s Apprentice“ entwickelt. Hierfür wurden Schauspieler mit 32 Kameras in einem Studio aufgezeichnet, nachträglich in 3D rekonstruiert und modelliert. Nachdem die Aufnahmen im Kasten sind und das Texturing in RGB-Daten stattgefunden hat, ist es uns nun möglich in den nachfolgenden Schritten das Modell beliebig zu verändern. Diese in der Post-Production anwendbare Methode macht es möglich, dass der Nutzer nun mit volumetrisch aufgezeichneten Figuren interagieren kann.

Als wäre diese Funktion nicht revolutionär genug, stelle man sich vor, man würde dieses Erlebnis in der VR erfahren. Die Figuren bewegen sich nicht nur lebensecht, sie interagieren auch völlig natürlich mit einem. Sowohl die User Experience als auch das Story Telling wird dadurch unglaublich aufgewertet und erfährt eine weiterentwickelte Form von Realismus. Der Spieler fühlt sich nun noch mehr als Teil seiner eigenen Geschichte und nicht mehr nur von schönen Animationen verzaubert. Natürlich ist es möglich zu versuchen digitale Bilder zu erstellen und sie immer realistischer darzustellen, aber was gäbe es realistischeres als die Bilder des Originals?

Neben der jahrelangen Erfahrung im Story Telling und der Technik mit volumetrischen Videos, war es uns möglich die notwendige Leistung weiter einzuschränken. Dank der Entwicklung unterschiedlicher Software und verschiedener Player, konnten wir unter anderem Probleme der hohen Arbeitsspeichernutzung deutlich verringern. Das macht die Arbeit mit den Modellen um einiges einfacher und deutlich benutzerfreundlicher. Derzeit entwickeln wir auch an Player für Mobil-devices, um die Vielseitig der immersiven Medien komplett zu nutzen.

Der Zukunft sind keine Grenzen mehr gesetzt

Die Einsatzmöglichkeiten für volumetrische Videos scheint grenzenlos und mag man etwas in die Zukunft spinnen fallen uns so einige interessante neue Anwendungen ein. Die Technik der Tiefenkameras ist schon deutlich vorangeschritten und spätestens mit der Xbox Kinect auch in den deutschen Wohnzimmern angekommen. Die Leistung der Hardware erweitert sich ebenfalls stetig, was die Kosten der Studios für die Modellierung bald schon in den Schatten stellt. Schon heute sind wir Teil einer wunderbaren Detailverliebtheit, die dank VR das Träumen Wirklichkeit werden lässt.