Goethe-Avatar

Einen der wichtigsten deutschen Dichter digital wieder zum Leben erwecken, dies war das Ziel des Goethe Projektes. Mittels Photogrammmetrie und Laserscanns wurde ein virtuelles Abbild der Lebendmaske des Dichters erstellt, welche im Museum einen neuen Zugang ermöglichen soll.

Es begann auf dem Innovationstag 2019, auf der Hausmesser an der Ackerstraße kamen in der Vergangenheit viele spannende Gäste vorbei, so auch das Goethe Museum Düsseldorf. Kurator Damian Mallepree kam mit der Anfrage, die einzig bestehende Lebensmaske Goethes für das Museum in Düsseldorf zu digitalisieren.

Die Maske, welche dem Dichter im Jahr 1807 abgenommen wurde, ist mittels Photogrammmetrie und Laserscann verfahren detailgetreu digitalisiert worden. Das erstellte 3D Model wurde für erste Ausstellungszwecke bereits 2019 via AR App im Museum ausgestellt. Sie verschaffte den Besucher*innen ein hochauflösender und sehr nahen Eindruck des sensiblen Exponates. Das Original kann aus konservatorischen Gründen nur hinter Glas betrachtet werden. Einen 360° rund um Blick ist somit schwer, das digitale Abbild lässt sich hingegen von allen Seiten betrachten.   
Aus diesem ersten Projekt entstand eine tiefergehende Zusammenarbeit. Die Vision eines kompletten Goethe Avatars war geboren, welche für die Nacht der Museen im Juni 2022 erfolgreich umgesetzt wurde.

Avatar
Der Avatar wurde iterativ in Zusammenarbeit mit dem Goethe Museum entwickelt. Für das Aussehen des Avatars wurde Goethes Abbildung im Goethe Schiller Denkmal in Weimar zugrunde gelegt. Die Kleidung basiert auf Referenzbilder des Museumsarchivs.
Die Umsetzung des Avatars erfolgte zum Teil durch das System Meta Humans der Unreal Engine. Mit dem Programm können realistische Menschen konfiguriert und in der Game Engine dargestellt werden. Das 3D Modell wurde im weiteren Verlauf durch ein Wrapping Verfahren, auf den Laserscan einer von Karl Gottlieb modellierten Büste des Dichters angepasst. Diese Büste basiert auf der Lebendmaske Goethes und gilt als die Abbildung, die dem realen Goethe wahrscheinlich am ähnlichsten ist.
Für die Finalisierung wurden durch 3D Sculpting das Gesicht näher an die idealisierte Darstellung des sehr bekannten Goethe Schiller Denkmals angepasst, um die Wiedererkennung des Avatars zu stärken. Die Haare des Avatars basieren auf einer idealisierten Büste, welche dem Denkmal ebenfalls sehr nahekommt.

Animationen
Der Goethe Avatar ist nach den zuvor beschriebenen Avataren zunächst ein Modell, welches sich nicht bewegt, durch die zugrunde liegende Skelettstruktur jedoch dazu in der Lage ist bewegt zu werden. Die dafür benötigten Animationen des Gesichts und des Körpers wurden auf zwei verschiedenen Wegen erzeugt und anschließend auf das Modell übertragen.
Für die Gesichtsanimationen wurde die App Live Link auf einem iPhone genutzt, diese erkennt das Gesicht des Benutzers und identifiziert Gesichtsmerkmale. Die Bewegungen des Gesichts deformieren diese Merkmale und ein darüber liegendes 3D Modell. Diese Deformationen werden kabellos an die Unreal Engine geschickt und dort auf das Gesicht des Meta Humans übertragen. Für die Animationen des Körpers wurde das XSens Motion Capture System genutzt. Ein Anzug mit Sensoren erfasst die Bewegungen des Darstellers und überträgt diese kabellos an die Unreal Engine.

Selfie Station
Ein Selfie mit Goethe, das ist ab September im Goethe Museum möglich. Der von Mirevi produzierte Avatar ist dafür in eine Installation eingebettet, in welche der berühmte Dichter interaktiv auf die Besucher*innen reagiert.
Mittels einer Tiefenkamera und dem digitalen Abbild Goethes entsteht eine Mixed Reality Fotobox, in der auf unterschiedlichen Arten mit Goethe posiert werden kann. Das fotografierte Andenken kann im Anschluss vor Ort ausgedruckt oder Social-Media-ready per Mail abgerufen werden.