Die Bewegung und Mimik eines Menschen auf eine digital animierte Figur zu übertragen, ist nicht neu. In Echtzeit und ohne zusätzliche Sensoren, wie es die FAU-Forscher machen, schon. (Bild: Aniriana/Shutterstock.com/)

Neue Technik verschmilzt die Stimme und die Mimik eines Dolmetschers mit dem Gesicht eines Redners

von Frank Grünberg

Videokonferenzen, bei denen die Teilnehmer verschiedene Sprachen sprechen, sind eine ermüdende Angelegenheit. Bei einer Simultan-Übersetzung weichen die Mimik des Redners und die Stimme des Dolmetschers im Hintergrund voneinander ab. Die Trennung der optischen und akustischen Information aber erschwert das Verständnis.

Forscher an der FAU haben daher zusammen mit Wissenschaftlern des Max-Planck-Instituts in Saarbrücken sowie der Stanford University in Kalifornien eine Technik entwickelt, die beide Kanäle in einem Bild vereint. „Wir verschmelzen die Stimme und die Mimik des Dolmetschers mit dem Gesicht des Redners“, erklärt Prof. Dr. Marc Stamminger vom Lehrstuhl für Graphische Datenverarbeitung das Konzept. „Und wir sind die ersten, die diese Verschmelzung in Echtzeit und ohne zusätzliche Gesichtsmarker schaffen.“ …weiterlesen