More Related Content More from Deep Learning JP (20) [DL輪読会]Grasping Field: Learning Implicit Representations for Human Grasps2. 書誌情報
2
• 3DV 2020 Best Paper
• 著者:Korrawe Karunratanakul, Jinlong Yang, Yan Zhang, Michael Black,
Krikamol Muandet, Siyu Tang
• 機関:ETH Zurich & Max Planck Institute for Intelligent Systems
• ひとことで言うと
1. 物体の点群から、自然で安定した人の手の把持姿勢を生成 (初の研究)
2. 物体+手が写った画像から、物体と手の3Dメッシュを再構成
• メッシュ等ではなく場として手と把持対象を扱う
• 陰関数大好き!
4. 陰関数
例
• x^2 + y^2 + z^2 = c (球)
• F(x,y,z) = 0
– 境界を表す
良い点
• 計算コストが低い
– ボクセルで1024^3とか大変
• トーラス等も問題なく使える
– メッシュだと穴の推定が必要 (穴無し研究が普通だった )
• 空間を連続的に扱える
– (さまざまな周波数の重ね合わせ?)
4
PIFuも陰関数表現を使った手法
F(x,y) = c
c
この2次元の形
をFで表したい⇨
この空間を考える⇨
5. 符号付き距離関数 (SDF: Signed Distance Function)
• F(x,y,z) = “境界面との距離”
とする関数
– F(x,y,z) > 0: 境界の外
– F(x,y,z) < 0: 境界の中
– (勝手に地球をイメージ)
5
F(x,y) = c
c
この2次元の形
をFで表したい⇨
この空間を考える⇨
-100
0
100
F=cがその形。内側: F>c, 外側: F<c
10. ① human grasp synthesis
10
• 訓練時
– 物体の点群 + 手の点群 + (調べたい)クエリ座標
• 推論時
– 物体の点群 + サンプルした手の点群のz + (調べたい)クエリ座標
loss
loss
17. 17
• Contact ratio: 全データサンプルに対し、接地面が発生した割合
• Physics simulation: 物理simで再現し、短い時間で移動した量
• Perceptural score: 自然な把持かどうかの人の評価(3人...)
• Baseline比で貫通は多いけど、見た目の自然さと物理的安定性がgood
– (zをサンプルした回数に依りそう…? 1回なのかな)
– (SDF使わなくても割と良い?)
結果
19. 19
• 入力: 画像とクエリ点
• 出力: dh, do
– ⇨ mesh 復元
② 3D hand-object reconstruction from a single RGB image
20. 20
② 3D hand-object reconstruction from a single RGB image
SDFのLoss:
貫通のLoss:
接触促進のLoss:
c(,δ)はクリッピング
dh + doしてるだけ
⇦ 1/α 以下なら0を出力さ
せて
接触を促す
⇦ これのみだと、
接触が起きなくなる
21. 比較結果
21
• 従来手法比でHandはかなり良い。Objectは悪化
– object shapeがgivenに特化してないため
• Lを加えると貫通が押さえられるが、(接触促進を加えていても)接触しなくなる
• Decoderを分岐させると、Hand・Objectともに改善するが、貫通が増える
⇦ これのみ従来手法
(メッシュベース)
2De: decoderが分岐
L: 貫通と接触促進
lossを加えたモデル
MANO: fittingあり
従来法と条件を揃えるため、
全条件でobject shapeがgiven
23. まとめと感想
23
• SDFを使ったGrasping Fieldを提案
– 把持姿勢生成、物体と手の3D再構成に使える
– 見た目が自然で、物理的にも安定する
• 感想
– 同じ発想で2つのタスクが解けていてすごい
– Physics simulationの評価指標が良い感じ
• (そんなにそれっぽく持てるんだ)
– ただあまりSDFの良さがわからなかった…
• 内容多すぎて8ページに収まらなかった感 (appendixもう少し頑張って…)