EchoMotion: Galaxy Watch следит за движением всего тела звуком
Исследователи Cornell научили обычные Galaxy Watch 6 отслеживать 12 суставов с помощью динамика и микрофона. Без нового железа, около 5–6% заряда за полчаса.

Умные часы знают ваш пульс и число шагов, но не знают, прогибаете ли вы спину в приседе. Исследователи Cornell University научили обычные Galaxy Watch 6 отслеживать движение всего тела. Для этого хватило динамика и микрофона, которые в часах уже есть.
Система называется EchoMotion и создана в лаборатории SciFi (Smart Computer Interfaces for Future Interactions). Принцип похож на сонар: часы излучают ультразвук, он отражается от рук, ног и корпуса, а микрофон ловит эхо. Модель ИИ превращает рисунок отражений в позу всего тела. Это чисто программное решение размером менее 30 МБ, и, по словам команды, его легко запустить на часах с Wear OS.
Насколько точен EchoMotion?
В первом тесте 10 человек надели прототип и выполнили 18 видов движений. Модель училась предсказывать положение 12 основных суставов, от лодыжек до головы. Затем её установили на немодифицированные Galaxy Watch 6 и проверили на 15 новых участниках. Без калибровки средняя ошибка на сустав составила чуть меньше 4 дюймов (около 10 см). После 12 минут записи движений конкретного человека ошибка снизилась примерно до 2,4 дюйма (около 6 см).
Та же модель без переобучения заработала на Galaxy Watch 7 и Pixel Watch 3, с небольшим падением точности. Слабое место оказалось в людях: в оживлённом коридоре точность снижалась из-за проходящих рядом. Захламлённая мебель и шум дороги почти ничего не меняли.
Сколько заряда расходует EchoMotion?
Ультразвуковое зондирование в прототипе потребляет около 12 милливатт, примерно в 40 раз меньше, чем носимая камера. На Galaxy Watch 6 30 минут отслеживания съели лишь около 5–6% батареи.
На Galaxy Watch 6 команда сделала демо для тренировок: оно распознало 20 упражнений в зале, среди них подъём гантелей в стороны, жим ногами, жим лёжа и приседания, с точностью 95,4%. Работало даже в настоящих залах с музыкой около 76 дБ.
Исследователи видят применение в пилатесе, тайцзи и йоге, где нужна тонкая обратная связь, а также в домашней реабилитации после травм. Изучают и совместную работу со смарт-очками. «Мы приложили много усилий, чтобы EchoMotion работал на коммерческих устройствах и внедрить его было очень легко», сказал Саиф Махмуд, ведущий автор работы и аспирант Cornell.
Приложения, на которые стоит взглянуть
Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.
Общайтесь с ИИ-собеседником: каждая фраза возвращается исправленной и объяснённой на вашем языке. 9 языков, от A1 до C2.
Открывайте сообщения EDIFACT и X12, каждый сегмент объяснён, конвертация в JSON/XML, экспорт в PDF и Excel. Работает локально, без загрузки.
Выберите, кому, по какому поводу и с каким характером. Поисковик читает описания товаров местных магазинов и выводит то, что подходит. Бесплатно, без регистрации.
Ещё за этот день
Показать все →
Можно ли отказаться от счётчика Linky? Решение суда ЕС и штрафы

Новые черви из глубин Японии оказались с «пилой» на крючке

Лента «Для вас» в TikTok нарушает правила ЕС, считает Еврокомиссия

United Airlines запретила сторонним ИИ-агентам бронировать билеты
Ещё в рубрике: Железо
Показать все →
Apple HomeView обходится без Face ID и узнаёт вас иначе

Ring Drone Cam без ручного управления: на CBS дрон разбился дважды

Ring Robotics: дрон с камерой сам патрулирует квартиры в полёте
