Ein wichtiger Projektschritt beim 3D Avatar ist das Einlesen von Mimik, Gebärden und Körperhaltungen als 3D Animationen. Das geschieht mittels Motion Capture Technologie. Was schnell klar war: Gebärdensprache fordert vom Einlesesystem bezüglich der Positionen und Animationen von Hand und Körper eine hohe Präzision – höher, als die meisten AI-basierten Motion Capture Systeme (momentan) bieten.

Cynapsis Interactive hat mehrere Frameworks mit Gebärdenden getestet und ist zu dem Schluss gekommen, dass eine videobasierte Erfassung durch AI-Systeme noch nicht die Qualität für den geplanten Prototyp bereitstellen können. Vor allem die Position der Hand zu bestimmten Punkten im Gesicht konnte mit AI-Videostream-Lösungen nicht zufriedenstellen erfasst werden.

‍

Dual CamVersuchsaufbau

Diegeeignetere – aber auch aufwändigere – Lösung ist ein Motion Capturing System mitKörperpunkten und Handschuhen. Um die Kosten für das Eingebärden des finalenVokabulars so

‍

klein wie möglich zu halten, versucht cynapsis, eine Lösung zu finden, die ohne kostspieliges Studio funktioniert.

‍

‍

In einer Online-Session haben wir mit einem Mitarbeiter von Rokoko <link> vorallem die kritischen Positionen getestet – mit ermutigenden Ergebnissen.

Spannend zu sehen, wie in den letzten Monaten dank Machine Learning immer bessere Systeme und Softwareversionen entstanden sind.  

Mehr Infos zumProjekt ‘Giga Gebärdensprache’: https://giga-gebaerdensprache.cynapsis.io/

‍

‍