Osegi
Железо·2 мин чтения

EchoMotion: Galaxy Watch следит за движением всего тела звуком

Исследователи Cornell научили обычные Galaxy Watch 6 отслеживать 12 суставов с помощью динамика и микрофона. Без нового железа, около 5–6% заряда за полчаса.

A person doing a squat while wearing a smartwatch that sends out ultrasonic sound waves to track body position.
Фото: Digital Trends

Умные часы знают ваш пульс и число шагов, но не знают, прогибаете ли вы спину в приседе. Исследователи Cornell University научили обычные Galaxy Watch 6 отслеживать движение всего тела. Для этого хватило динамика и микрофона, которые в часах уже есть.

Система называется EchoMotion и создана в лаборатории SciFi (Smart Computer Interfaces for Future Interactions). Принцип похож на сонар: часы излучают ультразвук, он отражается от рук, ног и корпуса, а микрофон ловит эхо. Модель ИИ превращает рисунок отражений в позу всего тела. Это чисто программное решение размером менее 30 МБ, и, по словам команды, его легко запустить на часах с Wear OS.

Насколько точен EchoMotion?

В первом тесте 10 человек надели прототип и выполнили 18 видов движений. Модель училась предсказывать положение 12 основных суставов, от лодыжек до головы. Затем её установили на немодифицированные Galaxy Watch 6 и проверили на 15 новых участниках. Без калибровки средняя ошибка на сустав составила чуть меньше 4 дюймов (около 10 см). После 12 минут записи движений конкретного человека ошибка снизилась примерно до 2,4 дюйма (около 6 см).

Та же модель без переобучения заработала на Galaxy Watch 7 и Pixel Watch 3, с небольшим падением точности. Слабое место оказалось в людях: в оживлённом коридоре точность снижалась из-за проходящих рядом. Захламлённая мебель и шум дороги почти ничего не меняли.

Сколько заряда расходует EchoMotion?

Ультразвуковое зондирование в прототипе потребляет около 12 милливатт, примерно в 40 раз меньше, чем носимая камера. На Galaxy Watch 6 30 минут отслеживания съели лишь около 5–6% батареи.

На Galaxy Watch 6 команда сделала демо для тренировок: оно распознало 20 упражнений в зале, среди них подъём гантелей в стороны, жим ногами, жим лёжа и приседания, с точностью 95,4%. Работало даже в настоящих залах с музыкой около 76 дБ.

Исследователи видят применение в пилатесе, тайцзи и йоге, где нужна тонкая обратная связь, а также в домашней реабилитации после травм. Изучают и совместную работу со смарт-очками. «Мы приложили много усилий, чтобы EchoMotion работал на коммерческих устройствах и внедрить его было очень легко», сказал Саиф Махмуд, ведущий автор работы и аспирант Cornell.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:echomotionwear osgalaxy watchcornellsmartwatchmotion tracking

Ещё за этот день

Показать все →

Ещё в рубрике: Железо

Показать все →