Aus den eigenen Bewegungen digitale Avatare zu erschaffen, ist dank KI einfacher geworden. Bei unserem Workshop mit dem Studio für unendliche Möglichkeiten im April 2024 ordnete Xenia Kitaeva aktuelle Entwicklungen in die Geschichte der Motion Capture-Technologie ein. Hier kommt die Aufzeichnung – inklusive Tipps zum Weiterlesen.
Nicht erst seit gestern arbeiten Film, Animationskunst und Darstellende Künste mit den Aufzeichnungen menschlicher Körperbewegungen. Bis vor kurzem brauchte man dafür noch einen speziellen Anzug. Heutzutage reicht eine App oder ein Account bei einer Web-Anwendung. Der entscheidende Faktor für den Techniksprung: Künstliche Intelligenz.
Xenia Kitaeva ist Digitalexpertin mit einem Hintergrund in den Geisteswissenschaften. Sie arbeitet als freie Mitarbeiterin beim Studio für unendliche Möglichkeiten und fest beim Forschungs- und Kompetenzzentrum Digitalisierung Berlin (digiS). Bei unserem Bewegungsdaten-Workshop zeigte sie, wie die Produktionslogik eines Motion-Capture-Studios funktioniert – und wie sie heute mithilfe eines Smartphones und einer Web-App in Grundzügen nachgebildet werden kann.
Der Video-Mitschnitt
Zusammenfassung und Links
Bewegungserfassung mit Motion Capture-Suits
Motion Capture-Suits sind Ganzkörperanzüge, die an verschiedenen Stellen mit Positionsmarkern ausgestattet sind. Mit speziellen Kameras (bspw. Infrarotkameras) kann man die Bewegungen dieser Marker im Raum verfolgen und aus ihnen digitale Abbilder der menschlichen Bewegungsabläufe erstellen. Diese lassen sich dann in 3D-Programmen weiterbearbeiten und beispielsweise zur natürlich wirkenden Animation nicht-menschlicher Fantasiewesen in Spielfilmen verwenden. Ein bekanntes Beispiel: Die von Andy Serkin gespielte Figur des Gollum in den „Herr der Ringe“-Filmen.
KI und Motion Capture
Im Jahre 2018 schlug die Studie „Everybody Dance Now“ Wellen, die an der University of California, Berkeley durchgeführt wurde. Im Rahmen der Studie wurde ein Algorithmus entwickelt, der die aufgezeichneten Bewegungen einer Person auf die Aufnahme einer anderen Person „übertragen“ kann – durch eine mathematische Übersetzungsleistung.
Schon lange vor dem heutigen KI-Hype konnten Forscher:innen also zeigen, welches Potenzial Machine Learning für die Arbeit mit Bewegungsdaten hat.
Tipps
Die Studie im Volltext:
Das Video zur Studie:
Eine Herausforderung bei einer solchen videobasierten Bewegungserfassung mit KI besteht darin, dass Bewegungen teils undeutlich oder unvollständig aufgenommen sind. Für runde Ergebnisse muss die KI also Lücken in den Bewegungen schließen.
Für einen Deep Dive dazu, wie das funktionieren kann, empfiehlt Xenia ein Paper, das 2021 an der Universität XY erschienen ist: Gap Reconstruction in Optical Motion Capture Sequences Using Neural Networks
Um diese KI-Tools geht es im Vortrag
Move One von MoveAI ist eine Motion Capture-App fürs iPhone, die damit wirbt, nicht mehr als die iPhone-Kamera zu benötigen, um Bewegungen dreidimensional zu erfassen und mit ihnen weiterzuarbeiten.
Mit der Desktop-Anwendung Animate 3D von DeepMotion kann man Bewegungsdaten aus Videos extrahieren und auf dieser Basis digitale Avatare erstellen. Am Ende des Vortrags zeigt Xenia Kitaeva in einem Screen Recording, was die Anwendung kann – und wo es noch Verbesserungsbedarf gibt.
Was beide Apps verbindet: Sie werben damit, KI einzusetzen, aber wie genau sie das tun, ist unklar. Bevor ihr eine der Apps nutzt, solltet ihr daher zumindest die Datenschutzerklärungen lesen, um zu schauen, ob sie euren Ansprüchen an die Sicherheit eurer Daten genügen.
Text: Thorsten Baulig