Forscher der Harvard University haben mit Mobilio eine Smartphone-App entwickelt, die blinde und sehbehinderte Menschen kontinuierlich durch ihre Umgebung führen soll. Das System kombiniert künstliche Intelligenz, integrierte Sensoren und personalisierte Audiosignale. In ersten Tests navigierten Teilnehmende damit schneller und kollidierten deutlich seltener mit Hindernissen als bei der Nutzung von Google Maps in Kombination mit einem Langstock. Für blinde und sehbehinderte Menschen bleibt selbstständige Mobilität eine tägliche Herausforderung. Klassische Hilfsmittel wie Langstöcke, Blindenführhunde oder elektronische Navigationssysteme übernehmen jeweils einzelne Aufgaben – eine durchgängige Kombination aus Routenführung, Orientierung auf Gehwegen und Hinderniserkennung ist jedoch bislang nur eingeschränkt verfügbar. Ingenieure der John A. Paulson School of Engineering and Applied Sciences der Harvard University wollen diese Lücke mit einer Technologie schließen, die viele potenzielle Nutzer bereits besitzen: einem gewöhnlichen Smartphone. Die neu entwickelte App Mobilio kombiniert maschinelles Lernen, Sensordatenfusion und personalisierte akustische Hinweise. Sie soll Nutzer nicht nur von einem Ausgangspunkt zu einem Ziel navigieren, sondern ihnen während des gesamten Weges kontinuierlich anzeigen, in welche Richtung sie gehen sollen und wo sich Hindernisse befinden. Die Forschungsarbeit wurde von Doktorand Raymond Liu gemeinsam mit Patrick Slade, Assistant Professor of Bioengineering und Associate Faculty Member des Kempner Institute, geleitet. Die Ergebnisse wurden in „Nature Biomedical Engineering“ veröffentlicht.
Drei Anforderungen bestimmen die Entwicklung
Bevor das Team mit der technischen Entwicklung begann, befragten die Forscher mehr als 100 blinde oder sehbehinderte Menschen zu ihren Anforderungen an Navigationssysteme. Dabei kristallisierten sich drei wesentliche Funktionen heraus: eine zuverlässige Turn-by-Turn-Navigation, eine kontinuierliche Führung auf Gehwegen und Wegen sowie die Erkennung und Vermeidung von Hindernissen. Vorhandene Hilfsmittel decken nach Einschätzung der Wissenschaftler meist nur Teile dieses Anforderungsprofils ab. Auch GPS-basierte Kartendienste können zwar grundlegende Routenanweisungen liefern, sind jedoch nicht präzise genug, um blinde oder stark sehbehinderte Personen sicher entlang eines konkreten Gehwegs zu führen.
Mobilio soll deshalb nicht lediglich Wegpunkte anzeigen, sondern die unmittelbare Umgebung des Nutzers fortlaufend analysieren.
Smartphone wird zum mobilen Sensorsystem
Dafür nutzt die App vorhandene Smartphone-Komponenten. Dazu gehören Kamera und GPS sowie die integrierte inertiale Messeinheit, die Bewegungen und Orientierung des Geräts erfasst. Sofern ein Smartphone darüber verfügt, kann auch ein LiDAR-Sensor einbezogen werden. Eine zentrale technische Entwicklung ist ein speziell trainiertes Computer-Vision-Modell. Es analysiert den Live-Kamerastream aus der Perspektive eines Fußgängers und erkennt Flächen und Strukturen, die für die Navigation entscheidend sind. Dazu gehören unter anderem Gehwege, Zebrastreifen, Straßen und andere begehbare beziehungsweise nicht begehbare Bereiche. Patrick Slade vergleicht die Funktionsweise mit der Routenplanung eines kleinen autonomen Fahrzeugs. Das System kombiniert Smartphone-Sensorik, GPS-Informationen und die tatsächliche Bewegung des Nutzers und berechnet daraus kontinuierlich, wie dieser vom aktuellen Standort zum Ziel geführt werden kann.
Fahrzeugdaten reichen für Fußgängernavigation nicht aus
Eine besondere Herausforderung bestand bei der Entwicklung des visuellen Erkennungssystems. Viele öffentlich verfügbare Datensätze mit Straßenbildern wurden aus Fahrzeugen heraus aufgenommen. Für Anwendungen aus Fußgängerperspektive sind solche Daten jedoch nur eingeschränkt geeignet. Relevante Strukturen können dadurch von Standardmodellen falsch klassifiziert werden. Liu trainierte deshalb ein eigenes semantisches Segmentierungsmodell mit Aufnahmen aus Fußgängerperspektive. Das System soll dadurch für blinde Nutzer relevante Oberflächen und Hindernisse zuverlässiger unterscheiden können. Für Liu zeigt die Entwicklung zugleich einen grundsätzlichen Bedarf an mehr Trainingsdaten aus der Perspektive von Menschen, die sich zu Fuß durch öffentliche Räume bewegen. Eine weitere technische Hürde bestand darin, sämtliche Algorithmen in Echtzeit direkt auf einem handelsüblichen Smartphone auszuführen. Die Rechenleistung eines Mobiltelefons liegt deutlich unter der eines Laptops oder spezialisierter KI-Hardware. Das Ziel der Studie war deshalb von Beginn an ein System, das vollständig auf dem Smartphone funktioniert und perspektivisch als eigenständige App angeboten werden könnte.
Räumliche Tonsignale ersetzen permanente Sprachansagen
Auch bei der Nutzerführung geht Mobilio einen anderen Weg als klassische Navigations-Apps. Anstatt ausschließlich gesprochene Anweisungen auszugeben, verwendet das System kontinuierliche akustische Signale. Die Töne erscheinen räumlich beispielsweise von links oder rechts und geben dadurch an, in welche Richtung der Nutzer steuern soll. Die Signale werden zudem individuell angepasst. Während sich eine Person bewegt, misst die Software, wie genau sie den akustischen Hinweisen folgt. Anschließend werden Richtungshinweise und Tonhöhen automatisch angepasst. Die Forscher bezeichnen diesen Ansatz als „Human-in-the-Loop Optimization“. Damit soll die Navigation nicht für jeden Nutzer identisch funktionieren, sondern sich an dessen individuelles Reaktions- und Bewegungsmuster anpassen.
14 Personen testen Mobilio im Alltagsszenario
Für eine erste Evaluierung rekrutierten die Forscher 14 freiwillige Teilnehmer über das Carroll Center for the Blind in Newton im US-Bundesstaat Massachusetts. Jeder Teilnehmer absolvierte mehrere Navigationsaufgaben. Als Vergleichssystem dienten Google Maps mit Turn-by-Turn-Navigation und ein weißer Langstock. Anschließend absolvierten dieselben Personen die Aufgaben mit Mobilio und Langstock. Die Tests umfassten eine vorgegebene Außenroute sowie einen Indoor-Parcours mit Hindernissen, die typische Herausforderungen im Alltag simulieren sollten. Das Ergebnis fiel zugunsten der Harvard-App aus. Mit Mobilio und Langstock bewältigten die Teilnehmenden die Außenroute rund 13 Prozent schneller als mit Google Maps und Langstock.
Noch deutlicher war der Unterschied bei der Hindernisvermeidung: Auf dem Indoor-Parcours reduzierte sich der Kontakt mit Hindernissen um rund 41 Prozent. Auch bei der Zuverlässigkeit, also der Frage, wie konstant Nutzer ohne größere Navigationsfehler ans Ziel geführt wurden, erreichte Mobilio nach Angaben des Teams ein mit einem menschlichen Begleiter vergleichbares Niveau.
App soll bestehende Hilfsmittel ergänzen
Die Ergebnisse zeigen zugleich, dass Mobilio nicht als isolierter Ersatz für sämtliche vorhandenen Mobilitätshilfen getestet wurde. In den Versuchen nutzten die Teilnehmer die App weiterhin gemeinsam mit einem weißen Langstock. Die Technologie ergänzt damit bislang die taktile Orientierung durch eine zusätzliche digitale Ebene aus Routenführung, Wegerkennung und Hinderniswarnung.
Gerade dieser kombinierte Ansatz könnte für die weitere Entwicklung relevant sein. Während der Langstock unmittelbar auf Hindernisse im Nahbereich reagiert, kann das Smartphone zusätzlich Informationen über Wegverlauf, Richtung und weiter entfernte Strukturen liefern.
Persönlicher Hintergrund prägt das Forschungsprojekt
Für Raymond Liu hat das Projekt auch eine persönliche Dimension. Sein älterer Bruder ist blind. Die Erfahrungen mit dessen selbstständiger Navigation beeinflussten die Zielsetzung der Forschungsarbeit maßgeblich. Entsprechend großen Wert legte das Team nach eigenen Angaben darauf, die Technologie nicht nur anhand technischer Messwerte zu entwickeln, sondern tatsächliche Nutzer frühzeitig einzubeziehen. Liu betont, dass reale Tests unverzichtbar seien, weil sich kaum vollständig vorhersagen lasse, wie Menschen auf ein Assistenzsystem reagieren. Das gelte besonders für Blindheit und Sehbehinderung, da die individuellen Einschränkungen innerhalb dieser Gruppe sehr unterschiedlich ausgeprägt seien.
Nächster Schritt: Tests unter realen Bedingungen
Die bisherigen Ergebnisse markieren deshalb erst den Beginn der Entwicklung. Als Nächstes will das Team Mobilio in einer größeren Bandbreite realistischer Umgebungen im Raum Boston testen. Dabei soll untersucht werden, wie zuverlässig das System unter wechselnden Bedingungen funktioniert und wie gut es sich in die täglichen Gewohnheiten von Nutzern integrieren lässt. Unterstützt wird das Projekt vom Harvard Grid Accelerator. Ziel ist es, die Technologie weiterzuentwickeln und perspektivisch als breit zugängliches Produkt verfügbar zu machen. Die Harvard University hat die mit der Forschung verbundenen Innovationen bereits über ihr Office of Technology Development schützen lassen und sucht nach Möglichkeiten zur Kommerzialisierung.
Finanziert wurde das Projekt unter anderem durch die National Science Foundation Graduate Research Fellowship, den Harvard Grid Accelerator, die Amazon Greater Boston Tech Initiative, den Harvard Dean’s Competitive Fund for Promising Scholarship und das Kempner Institute.
Smartphone statt Spezialhardware
Der entscheidende Ansatz von Mobilio liegt weniger in einem einzelnen Sensor als in der Kombination bereits vorhandener Technik. Kamera, GPS, Bewegungssensorik, optionales LiDAR, Computer Vision und adaptive Audioführung werden zu einem mobilen Assistenzsystem verbunden, das auf handelsüblicher Hardware funktionieren soll. Sollte sich der Ansatz in größeren Praxistests bestätigen, könnte dies den Zugang zu digitaler Navigationsunterstützung deutlich vereinfachen. Statt zusätzlicher Spezialgeräte wäre perspektivisch eine App ausreichend, die auf einem ohnehin vorhandenen Smartphone läuft. Die bisherigen Tests mit 14 Teilnehmern sind dafür noch keine abschließende Bewertung. Sie zeigen jedoch, dass die Kombination aus KI-basierter Umgebungserkennung, Smartphone-Sensorik und personalisierter Audioführung das Potenzial hat, die selbstständige Navigation blinder und sehbehinderter Menschen messbar zu verbessern.
