Apple Watch научились новым жестам за минуту: система TransfHAR

При одном фрагменте длиной 2,56 секунды на действие сбалансированная точность составила 75,2%. Пять фрагментов (около 13 секунд) дали 86,7%, 20 фрагментов (около 51 секунды) — 89,3%. Полная минута записи поднимает результат выше 90%.

Всё работает на часах

Обучение на новом наборе действий занимает меньше секунды, а предсказание — около 24 миллисекунд, без смартфона и удалённого сервера. Новые действия можно добавлять со временем: в тесте, где в одну модель объединили 70 действий, точность осталась выше 82%.

По мнению исследователей, распознанный жест мог бы запускать действие в приложении или готовую команду: например, включать музыку при размешивании кофе или начинать запись тренировки при сгибании рук с гантелями. Среди возможных применений названы также пассивное измерение симптомов вроде тремора и гиперактивности и контроль этапов сборки на производстве.

У системы есть ограничения. Она хуже справляется с мелкими продолжительными движениями — письмом, прокруткой на телефоне, нанесением лосьона: для датчиков они выглядят похоже. Сложнее и с многошаговыми процессами, например приготовлением латте. Исследование было коротким и проходило в контролируемых условиях, влияние на время работы от батареи не измеряли. Инструменты для обучения пока недоступны публично.