Publications
WORKSHOP (DOMESTIC) ReflecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定
張 翔 (慶應義塾大学), 池松 香, 加藤 邦拓 (東京工科大学), 杉浦 裕太 (慶應義塾大学)
第30回インタラクティブシステムとソフトウェアに関するワークショップ (WISS2022)
December 12, 2022
ユーザがスマートフォンをどのように把持しているかを検出することで，持ち方に応じて画面表示や操作ボタンの位置を自動的に切り替えるなど，ユーザインターフェースを最適化することができる．本研究では，スマートフォンのフロントカメラで撮影された顔写真を使用し，ユーザの角膜に反射したスマートフォンの画面の反射像を機械学習で分類することで，把持姿勢を推定する手法であるReflecTouchを提案する．スマートフォンの画面は光を発するため，顔の正面方向でスマートフォンを持つと画面の反射像が角膜に映る．画面上の指を置いている部分は影となるため，その部分の角膜反射像は欠ける．その際，スマートフォンの持ち方によって像の欠け方が異なるため，把持姿勢の推定が可能になると考えた．本稿では，ReflecTouchの識別精度を検証する実験を行い，その結果や制約について議論するとともに，本手法を利用したアプリケーションを報告する．
Paper : ReflecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定 (external link)