Forscher der University of Glasgow http://gla.ac.uk haben ein präzises Lippenlese-System für Träger von Schutzmasken entwickelt, das einer neuen Generation von Hörgeräten den Weg ebnet. Der Ansatz kombiniert erstmals Radiofrequenzsensorik mit Künstlicher Intelligenz, um Lippenbewegungen zu identifizieren. Es könnte, wenn es in herkömmliche Hörgerätetechnologie integriert ist, dazu beitragen, den “Cocktail-Party-Effekt” zu bekämpfen. Hörgeräte-Träger verstehen in einem Stimmengewirr häufig nur “Bahnhof”, weil sie die Richtungen, aus denen die einzelnen Stimmen kommen, nicht zuordnen können.Privatsphäre in Gefahr

Das Problem ließe sich lösen, wenn Kameras zur Unterstützung des Lippenlesens eingesetzt würden, doch das Sammeln von Videomaterial von Menschen ohne deren ausdrückliche Zustimmung löst Bedenken hinsichtlich der Privatsphäre des Einzelnen aus. Kameras sind auch nicht in der Lage, Lippen durch Masken zu lesen, eine alltägliche Herausforderung für Menschen, die Gesichtsbedeckungen für kulturelle oder religiöse Zwecke tragen, und ein breiteres Problem im Zeitalter von COVID-19. Für die Entwicklung haben die Forscher männliche und weibliche Freiwillige gebeten, die fünf Vokallaute A, E, I, O und U mit unbedeckten Lippen auszusprechen und sie dann zu wiederholen, während sie eine chirurgische Maske trugen.

Dabei nahmen Radarsensoren, die im Hochfrequenzbereich arbeiten und daher die Masken leicht durchdringen, die Gesichter und Lippenbewegungen auf. Zum Vergleich wurden sie auch gescannt, während die Lippen unbeweglich blieben. Die 3.600 Datenproben wurden genutzt, um Maschinenlern- und Deep-Learning-Algorithmen beizubringen, charakteristische Gesichtsbewegungen zu erkennen, die mit jedem Vokallaut verbunden sind. Die dabei erzielte Trefferquote der Wissenschaftler lag bei bis zu 95 Prozent bei unbedeckten Lippen und bei 83 Prozent bei bedeckten.