EchoMotion、Galaxy Watchが音だけで全身の動きを追跡

現在のスマートウォッチは加速度計とジャイロで動きを測るため、全身の姿勢までは分かりません。

精度と消費電力

最初の実験では10人が18種類の動作を行い、足首から頭までの主要な12関節の位置をAIが推定しました。改造していないGalaxy Watch 6で新たな15人を試すと、キャリブレーションなしの平均誤差は関節あたり約4インチ弱。12分間のデータで調整すると約2.4インチまで下がりました。

同じモデルを再学習なしでGalaxy Watch 7とGoogle Pixel Watch 3にも載せたところ、精度は少し落ちただけで動作しました。

超音波センシングの消費電力は約12ミリワットで、ウェアラブルカメラ方式の約40分の1。30分の計測でバッテリーを使うのは5〜6%程度です。Galaxy Watch 6のデモでは、ダンベルのレイズやスクワットなど20種類のジム種目を95.4%の精度で認識しました。約76dBのBGMが流れる実際のジムでも動いたそうです。

弱点と今後

課題は周囲の人です。混雑した廊下では、近くを歩く人の影響で精度が下がりました。一方、散らかった家具や幹線道路の騒音はほとんど影響しませんでした。

研究チームはヨガ、ピラティス、太極拳のほか、けが後のリハビリへの応用を見込んでいます。スマートグラスとの組み合わせも検討中です。筆頭著者のSaif Mahmud氏は、市販機器で動かし、導入しやすくすることに力を入れたと述べています。