Kiran Varanasi: Erfassung der realen Welt für die virtuelle Realität

Um eine 3D-Szene in der virtuellen Realität aufzubauen und damit zu interagieren zu können, benötigen wir verschiedene Komponenten: 3D-Geometrie und Oberflächenerscheinung verschiedener Objekten, 3D-Animation und Bewegungssteuerung für Personen und für Objekte, Szenenbeleuchtung, Materialeigenschaften für Verformung und Reflexion usw. Der Benutzer in der virtuellen Realität soll die Szene aus allen Blickwinkeln visualisieren und mit ihr interagieren. Wie können wir solche Szenen direkt aus der realen Welt aufnehmen? Dieser Vortrag stellt verschiedene Forschungsarbeiten zu Computer Vision und Machine Learning vor, die dies ermöglichen.

Mit einem synchronisierten Multikamerasystem können dynamische Szenen als 3D-Gittermodelle erfasst werden. Die Form des menschlichen Körpers und der Kleidung kann verfolgt werden. Mimik eines menschliches Gesichts kann als „Face Rig“ erfasst werden. Die Genauigkeit und Effizienz dieser virtuellen Modelle kann durch maschinelle Lernalgorithmen auf 3D- und Bilddatensätzen verbessert werden. Diese Technologien finden Anwendung in verschiedenen Bereichen: Unterhaltungsindustrie, Sport, Medizin, Mensch-Rechner-Interaktion, digitales Erbe usw.