Apple Watch、約1分で新しい手の動作を学習 TransfHAR研究

実験の内容

まず381人分、約2,760時間の公開された手首の動きのデータでモデルを事前学習させた。大半は座る、歩く、運動するといった大まかな行動のデータである。その後、10人の参加者がApple Watch Series 10を着けて、コーヒーをかき混ぜる、空中でハートを描く、消毒液を塗る、Gatorade のボトルを開ける、靴ひもを結ぶ、爪を削るなど、自分で選んだ7つの動作を行った。

2.56秒の短いクリップ1本では、バランス精度は75.2%だった。5本(約13秒)で86.7%、20本(約51秒)で89.3%となり、1分分のデータでは90%を超えた。

処理はすべてウォッチ上で行われる。新しい動作の学習は1秒未満、推論は約24ミリ秒で、iPhoneやサーバーは不要だ。70種類の動作を1つのモデルにまとめても精度は82%を上回った。

用途と課題

動作をアプリや作成済みのショートカットに紐づければ、コーヒーをかき混ぜると音楽が流れる、上腕二頭筋のカールでワークアウトの記録が始まる、といった使い方が考えられる。研究者は、震えなどの症状の測定や工場での組み立て工程の追跡にも言及している。チームにはGoogleの研究者が加わり、中核モデルはGoogleのLSM-2を基にしているため、Wear OSへの展開も考えられる。

一方、文字を書く、スマホをスクロールする、ローションを塗るといった小さく持続的な動きは判別が難しい。ラテ作りのような複数工程の作業も苦手だ。研究は短期の統制された条件下で、バッテリーへの影響は測定されていない。開発者向けの学習ツールの公開が待たれる。