Experten der Columbia University synchronisieren Motorensteuerung auf das gesprochene Wort

Forscher der Ingenieurschule an der Columbia University (https://www.columbia.edu/ ) haben einem Roboter das synchrone Bewegen von Lippen zu Gesagtem und Gesungenem beigebracht. Zudem kann die Maschine menschliche Gesichtsausdrücke nachahmen und im besten Fall an das Gesagte anpassen. So soll eine Vertrauensbasis zwischen Maschine und Mensch geschaffen werden.

Unnatürlich und unheimlich

Robotern realistische Lippenbewegung beizubringen ist aus zwei Gründen eine Herausforderung: Nötig sind eine spezielle Hardware mit einer flexiblen Gesichtshaut, die von zahlreichen winzigen Motoren schnell und geräuschlos bewegt werden muss, und eine Software, die Lippen und Gesichtshaut passend zum gesprochenen Wort und dessen Bedeutung steuert. Regelbasierte Bewegungen wirken gekünstelt, unnatürlich und sind manchmal sogar unheimlich.

Das vermieden die Ingenieure mit einer höchst beweglichen künstlichen Gesichtshaut; sie haben den Roboter durch Beobachtung von Menschen lernen lassen, wie dieser seinen Gesichtsausdruck ändern kann. Zunächst platzierten sie das mit 26 Motoren ausgestattete Gesicht eines Roboters vor einem Spiegel, damit er lernt, wie sich dieses als Reaktion auf seine künstlichen Muskeln bewegt. Wie ein Kind, das vor einem Spiegel Grimassen schneidet, verzog der Roboter nach dem Zufallsprinzip Tausende Male sein Gesicht. Mit der Zeit lernte die Maschine, wie diese ihre Motoren steuern muss, um bestimmte Gesichtsausdrücke zu erzielen.

Lippen spitzen klappt nicht

Anschließend haben die Forscher dem Roboter Videos von sprechenden und singenden Menschen gezeigt, um der Künstlichen Intelligenz, die dessen Lippen steuert, beizubringen, wie sich der Mund von Menschen bei verschiedenen Lauten bewegt. Die Forscher räumen ein, dass die Lippenbewegungen noch lange nicht perfekt sind. In einem Video zeigen die Wissenschaftler ihre Arbeit (https://www.science.org/doi/10.1126/scirobotics.adx3017).

“Wir hatten besondere Schwierigkeiten mit harten Lauten und Wörtern, bei denen die Lippen gespitzt werden müssen. Aber das verbessert sich mit der Zeit und mit noch mehr Übung. Je mehr er mit Menschen interagiert, desto besser wird er”, unterstreicht Hod Lipson (https://www.me.columbia.edu/faculty/hod-lipson), Professor für Innovation am Fachbereich Maschinenbau und Direktor des Creative Machines Lab der Ingenieurschule.