Osegi
Hardware·2 Min. Lesezeit

Apple Watch lernt neue Handgesten in einer Minute, zeigt Studie

Mit dem System TransfHAR lernt eine Apple Watch neue Handbewegungen aus etwa einer Minute Bewegungsdaten, mit über 90 Prozent Genauigkeit und komplett auf der Uhr.

An Apple Watch on a wrist performing a hand gesture, with motion data lines suggesting gesture recognition.
Bild: Digital Trends

Forschende der Northwestern University und der Carnegie Mellon University haben gezeigt, dass eine Apple Watch neue Hand- und Handgelenkgesten aus rund einer Minute aufgezeichneter Bewegung lernen kann. Ihr System TransfHAR erkannte sieben neue Aktivitäten mit 90 Prozent Genauigkeit – allein mit Beschleunigungssensor und Gyroskop der Uhr.

Bislang erkennt die Apple Watch nur zwei Gesten: das Doppeltippen mit zwei Fingern und eine Drehbewegung des Handgelenks. TransfHAR deutet an, dass die vorhandene Sensorik deutlich mehr leisten könnte.

So lief der Test

Zunächst trainierte das Team ein Modell mit rund 2.760 Stunden öffentlich verfügbarer Handgelenkdaten von 381 Personen, überwiegend allgemeine Aktivitäten wie Sitzen, Gehen und Sport. Anschließend trugen zehn Teilnehmende eine Apple Watch Series 10 und wählten je sieben Alltagstätigkeiten, darunter Kaffeerühren, ein Herz in die Luft zeichnen, Desinfektionsmittel auftragen, eine Flasche öffnen, Schuhe binden oder Nägel feilen.

Mit dem 6-Achsen-Encoder erreichte ein einzelner Clip von 2,56 Sekunden pro Aktivität eine ausgewogene Genauigkeit von 75,2 Prozent. Fünf Clips (etwa 13 Sekunden) steigerten sie auf 86,7 Prozent, 20 Clips (etwa 51 Sekunden) auf 89,3 Prozent. Mit einer vollen Minute lag sie über 90 Prozent.

Alles läuft auf der Uhr selbst. Das Training für neue Aktivitäten dauert weniger als eine Sekunde, eine Vorhersage etwa 24 Millisekunden – ohne Smartphone oder Server. Als 70 Aktivitäten in einem Modell zusammengefasst wurden, blieb die Genauigkeit über 82 Prozent. Das Kernmodell basiert auf LSM-2, einem Sensormodell von Google-Forschern, und ein Teammitglied ist Google-Wissenschaftler. Der Ansatz könnte daher auch Wear-OS-Uhren erreichen.

Einsatzmöglichkeiten und Grenzen

Die Forschenden sehen Gesten als Auslöser für Apps oder Kurzbefehle, etwa Musik beim Kaffeerühren oder automatisches Training-Logging bei Bizepscurls. Auch das passive Messen von Symptomen wie Tremor sowie die Verfolgung von Montageschritten in Fabriken nennen sie.

Schwierigkeiten hat das System bei kleinen, anhaltenden Bewegungen, die für die Sensoren ähnlich aussehen, etwa Schreiben, Scrollen am Handy oder Eincremen, sowie bei mehrstufigen Abläufen wie dem Zubereiten eines Lattes. Die Studie war kurz und kontrolliert, die Auswirkung auf die Akkulaufzeit wurde nicht gemessen. Öffentliche Trainingswerkzeuge gibt es noch nicht.

Apps, die sich lohnen

SUMO: das Zahlenrätsel

Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.

Schlagwörter:apple watchtransfhargesture recognitionwearableswear osresearch

Mehr von diesem Tag

Alle anzeigen →

Mehr aus: Hardware

Alle anzeigen →