研究論文①LG-Hand : 局所的かつ大域的な力学的知識に基づく手の3次元姿勢推定

‍

LG-Hand : 局所的かつ大域的な力学的知識に基づく手の3次元姿勢推定

Tu Le-Xuan, Trung Tran-Quang, Thi Ngoc Hien Doan, Thanh-Hai Tran

公開日：2022/10/19-21

RGB画像からの手の3次元姿勢推定は、奥行き情報の取得が困難である。そのため、2次元での結果を元にした手の3次元姿勢推定に関する多くの研究が行われてきた。本論文では、時空間グラフ畳み込みニューラルネットワーク（Graph Convolutional Neural Networks）の利点を活用した、手の3次元姿勢推定を実現する強力な手法であるLG-Handを提案する。本提案手法は、空間と時間の依存関係を一つの処理に組み込むことを特徴とし、力学的知識が手の3次元姿勢推定に重要な役目を果たす点を述べる。また、手の構造を考慮した局所的な力学的知識を扱う角度損失と、大域的な力学的知識を扱う方向損失という2つの新しい目的関数を提案する。提案手法であるLG-Handは、First-Person Hand Action Benchmark（FPHAB）データセットで有望な結果を示した。また、提案した2つの目的関数の有効性を示すための様々な面での考察も行った。

‍

論文詳細