Tübinger Studie: Intensivtherapie bei Covid-19

Handys sollen nicht mehr im falschen Moment stören. Dafür muss zuerst unsere Aufmerksamkeit während der Smartphone-​Nutzung besser verstanden werden. Informatiker der ETH haben ein System entwickelt, das den Blickkontakt zum Bildschirm erstmals im Alltag erfasst. Davon könnten auch Soziologen und Mediziner profitieren.

Wie viele Male schalten Sie Ihr Smartphone am Tag ein? Wie lange ist der Bildschirm eingeschaltet und wieviel Zeit ist welche App in Betrieb? Diese Daten sammelt jedes moderne Smartphone automatisch und stellt sie dem Nutzer unter Bezeichnungen wie «Digitales Wohlbefinden» zur Verfügung. Aber Bildschirmzeit ist nicht gleich Bildschirmzeit und App-​Nutzung ist nicht gleich App-​Nutzung.

Manchmal sind wir über längere Zeit konzentriert bei der Sache, ein anderes Mal schauen wir nur flüchtig auf den Bildschirm oder werden mehrfach durch Ereignisse in der Umgebung abgelenkt. Und gelegentlich wandert unser Blick erst gar nicht zum Smartphone, weil wir es nur unbewusst aktiviert haben.

Verständnis der Anwenderaufmerksamkeit

«Die Aufmerksamkeit, die wir unserem Smartphone widmen, kann sehr unterschiedlich sein,» erklärt Mihai Bâce: «Sie wurde aber noch nie in echten Alltagssituationen untersucht.» Der Doktorand am Institut für intelligente interaktive Systeme der ETH Zürich hat jetzt zusammen mit einem Masterstudenten und einem Professor der Universität Stuttgart ein System entwickelt, mit dem sich die visuelle Aufmerksamkeit auf das Smartphone im ganz normalen Nutzer-​Alltag und über Wochen messen lässt.

Es benötigt dafür nur die Frontkamera und Sensordaten des Telefons. Bisher waren umständliche Messapparaturen mit Eye-​Trackern oder das Ausfüllen von Fragebögen notwendig, die das normale Leben höchstens annähernd erfassen konnten.

Dabei gehört das Verständnis der Anwenderaufmerksamkeit zu den wichtigsten Herausforderungen auf dem Weg zu zukünftigen mobilen Benutzerschnittstellen, wie Bâce betont. Diese sollen nämlich ihrerseits aufmerksam werden und automatisch auf unsere aktuellen Bedürfnisse sowie auf die Situation Rücksicht nehmen, in der wir uns gerade befinden.

Es wird dann beispielsweise keine manuelle Nicht-​Stören-Einstellung mehr notwendig sein, um nicht durch eine unwichtige Meldung aus einer konzentrierten Beschäftigung herausgerissen zu werden.

Nur 7 Sekunden am Stück und 4 Mal abgelenkt

Und derartige Technologien scheinen je länger je notwendiger zu werden. Bâces Untersuchungen zeigen nämlich, dass die visuelle Aufmerksamkeit, die wir dem Smartphone zukommen lassen, heute ausgesprochen zerstückelt ist. Gerade einmal rund 7 Sekunden dauert ein Augenkontakt mit dem Bildschirm im Durchschnitt, bevor der Blick abschweift.

Und das passiert nach jeder Entsperrung vier Mal für rund 2 Sekunden. Wie ablenkbar die Nutzer sind, hängt dabei von der einzelnen Persönlichkeit, aber auch der Umgebung des Nutzers sowie der Art der App ab, die gerade im Einsatz ist. Medizinische Anwendungen oder auch solche, die der Ausbildung dienen, fesseln beispielsweise wesentlich länger als Unterhaltungs-​Apps.

Basis für unterschiedlichste Forschung

Den grossen Wert seiner Arbeit sieht Bâce aber nicht nur in diesen konkreten Untersuchungsresultaten, die mit dem System gewonnen werden konnten: «Unser System soll vor allem auch eine Basis für andere Wissenschaftler darstellen. Wir werden darum neben den gesamten Videodaten auch alle unsere Algorithmen veröffentlichen.»

Profitieren könnten zukünftig nicht nur App-​Entwickler, sondern beispielsweise auch Soziologen oder Psychologen, die mit dem System ohne grossen technischen Aufwand Studien zum Einfluss von verschiedenen Faktoren auf die Aufmerksamkeit durchführen könnten. Aber auch die Medizin wäre ein möglicher Abnehmer der Technologie. Änderungen im Aufmerksamkeitsverhalten könnten beispielsweise beim Monitoring von Patienten eingesetzt werden und auf problematische Entwicklungen hinweisen.

Bei der Entwicklung des Systems kam eine App zum Einsatz, die zusätzlich zum Aufnehmen von Frontkamera-​Videos bei jeder Handy-​Entsperrung und dem parallelen Sammeln verschiedener Sensor-​ und Metadaten auch noch Datenschutz-​ und Verifizierungsfunktionalitäten enthielt.

So konnten die Studienteilnehmenden über eine Review-​Komponente selbst entscheiden, welche Videos sie zur Auswertung freigeben, und über ein Annotations-​Game liessen sich Videosequenzen von anderen Teilnehmenden beurteilen. Mit Hilfe dieser dritten Komponente wurden in der Entwicklungsphase die Resultate der automatischen Blickkontakterkennung überprüft.

Infrastruktur als grosse Herausforderung

Insgesamt haben die Forscher in einem ersten Experiment mit 32 Teilnehmern und über einen Zeitraum von über zwei Wochen Videosequenzen von insgesamt 472 Stunden aufgenommen und anschliessend mit einem innovativen lernfähigen Blickkontakt-​Erkennungssystem ausgewertet. Die einzelnen Videos konnten dabei mehrere hundert Megabyte gross werden. Es wurde also zwischenzeitlich viel Speicherplatz auf den Smartphones benötigt und auch die Upload-​Zeiten zogen sich entsprechend in die Länge. Und genau darin lag eine der grössten Herausforderungen.

Da die User eine App, die sie im Alltag behindert, schnell abschalten oder zumindest ihre Nutzung minimieren, mussten Mechanismen gefunden werden, die den Handyspeicher nicht übermässig belasten und auch nicht die Übertragungskapazitäten der Smartphones blockieren.

Zudem muss der Datenschutz jederzeit sichergestellt sein – es darf nur das auf den Auswertungsserver geladen werden, was von den Nutzern ausdrücklich über die Review-​Komponente freigegeben wurde. «Die App wurde von der Ethikkommission der ETH Zürich überprüft, und wir führen auch bewusst keine Gesichtserkennung durch. Es wird einzig festgestellt, ob Blickkontakt mit dem Bildschirm besteht,» ergänzt Bâce.

Wenn unser Smartphone in Zukunft uns und unsere Bedürfnisse besser versteht, muss dies also nicht zwangsläufig auf der Auswertung von sensitiven persönlichen Daten beruhen. Mit dem System der Informatiker kann dies künftig vielleicht auch durch ein automatisches Erkennen des menschlichen Aufmerksamkeitsniveaus erreicht werden.

Literaturhinweise

Bâce M, Staal S, Bulling A. (2020). Quantification of Users’ Visual Attention During Everyday Mobile Device Interactions. In: Proceedings of the Conference on Human Factors in Computing Systems (CHI ’20). ACM, New York, NY, USA, 2020, 1–14. doi: 10.1145/3313831.3376449

Bâce M, Staal S, Bulling A. (2019). Accurate and Robust Eye Contact Detection During Everyday Mobile Device Interactions arxiv.org/abs/1907.11115

Video-​Präsentation des Papers: www.youtube.com/watch?v=SzLn3LujIqw

Video-​Dataset der Untersuchung: www.emva-​dataset.org