Motion Capture mit KI: Vortrag von Xenia Kitaeva bei unserem Workshop zu Bewegungsdaten 

Nicht erst seit gestern arbeiten Film, Animationskunst und Darstellende Künste mit den Aufzeichnungen menschlicher Körperbewegungen. Bis vor kurzem brauchte man dafür noch einen speziellen Anzug. Heutzutage reicht eine App oder ein Account bei einer Web-Anwendung. Der entscheidende Faktor für den Techniksprung: Künstliche Intelligenz.  

Xenia Kitaeva ist Digitalexpertin mit einem Hintergrund in den Geisteswissenschaften. Sie arbeitet als freie Mitarbeiterin beim Studio für unendliche Möglichkeiten und fest beim Forschungs- und Kompetenzzentrum Digitalisierung Berlin (digiS). Bei unserem Bewegungsdaten-Workshop zeigte sie, wie die Produktionslogik eines Motion-Capture-Studios funktioniert – und wie sie heute mithilfe eines Smartphones und einer Web-App in Grundzügen nachgebildet werden kann. 

Der Video-Mitschnitt

Bewegungserfassung mit Motion Capture-Suits

Motion Capture-Suits sind Ganzkörperanzüge, die an verschiedenen Stellen mit Positionsmarkern ausgestattet sind. Mit speziellen Kameras (bspw. Infrarotkameras) kann man die Bewegungen dieser Marker im Raum verfolgen und aus ihnen digitale Abbilder der menschlichen Bewegungsabläufe erstellen. Diese lassen sich dann in 3D-Programmen weiterbearbeiten und beispielsweise zur natürlich wirkenden Animation nicht-menschlicher Fantasiewesen in Spielfilmen verwenden. Ein bekanntes Beispiel: Die von Andy Serkin gespielte Figur des Gollum in den „Herr der Ringe“-Filmen. 

KI und Motion Capture 

Im Jahre 2018 schlug die Studie „Everybody Dance Now“ Wellen, die an der University of California, Berkeley durchgeführt wurde. Im Rahmen der Studie wurde ein Algorithmus entwickelt, der die aufgezeichneten Bewegungen einer Person auf die Aufnahme einer anderen Person „übertragen“ kann – durch eine mathematische Übersetzungsleistung.  

Schon lange vor dem heutigen KI-Hype konnten Forscher:innen also zeigen, welches Potenzial Machine Learning für die Arbeit mit Bewegungsdaten hat.  

Eine Herausforderung bei einer solchen videobasierten Bewegungserfassung mit KI besteht darin, dass Bewegungen teils undeutlich oder unvollständig aufgenommen sind. Für runde Ergebnisse muss die KI also Lücken in den Bewegungen schließen.  

Um diese KI-Tools geht es im Vortrag

Move One von MoveAI ist eine Motion Capture-App fürs iPhone, die damit wirbt, nicht mehr als die iPhone-Kamera zu benötigen, um Bewegungen dreidimensional zu erfassen und mit ihnen weiterzuarbeiten.  

Mit der Desktop-Anwendung Animate 3D von DeepMotion kann man Bewegungsdaten aus Videos extrahieren und auf dieser Basis digitale Avatare erstellen. Am Ende des Vortrags zeigt Xenia Kitaeva in einem Screen Recording, was die Anwendung kann – und wo es noch Verbesserungsbedarf gibt. 

Was beide Apps verbindet: Sie werben damit, KI einzusetzen, aber wie genau sie das tun, ist unklar. Bevor ihr eine der Apps nutzt, solltet ihr daher zumindest die Datenschutzerklärungen lesen, um zu schauen, ob sie euren Ansprüchen an die Sicherheit eurer Daten genügen.