2019/07/06コンピュータビジョン勉強会＠関東「CVPR2019読み会」発表資料です。

1. 第53回CV勉強会 CVPR2019読み会（後編）
Deep Learningで3D Shape表現
2019/07/06 takmin

2. 自己紹介
2
株式会社ビジョン＆ITラボ 代表取締役
皆川 卓也（みながわ たくや）
「コンピュータビジョン勉強会＠関東」主催
博士（工学）
略歴：
1999-2003年
日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ
セールス、プロジェクトマネジメント、サポート等の業務に従事
2004-2009年
コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事
2007-2010年
慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻
単位取得退学後、博士号取得（2014年）
2009年-現在
フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化）
http://visitlab.jp

3. Deep Learning研究はスピード勝負の時代。。。
3

4. Deep Learning研究はスピード勝負の時代。。。
4
CVPR2019で同じ「新しいコンセプト」の論文が３本

5. Deep Learning研究はスピード勝負の時代。。。
5
CVPR2019で同じ「新しいコンセプト」の論文が３本
 Learning Implicit Fields for Generative Shape Modeling
 Zhiqin Chen, and Hao Zhang (Simon Fraser University)
 published in arXiv on 2018/12/06

6. Deep Learning研究はスピード勝負の時代。。。
6
CVPR2019で同じ「新しいコンセプト」の論文が３本
 Learning Implicit Fields for Generative Shape Modeling
 Zhiqin Chen, and Hao Zhang (Simon Fraser University)
 published in arXiv on 2018/12/06
 Occupancy Networks: Learning 3D Reconstruction in Function
Space
 Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowzin,
and Andreas Geiger (University ofTubingen, ETAS GmbH, Stuttgart,
Google AI Berlin)
 published in arXiv on 2018/12/10

7. Deep Learning研究はスピード勝負の時代。。。
7
CVPR2019で同じ「新しいコンセプト」の論文が３本
 Learning Implicit Fields for Generative Shape Modeling
 Zhiqin Chen, and Hao Zhang (Simon Fraser University)
 published in arXiv on 2018/12/06
 Occupancy Networks: Learning 3D Reconstruction in Function
Space
 Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowzin,
and Andreas Geiger (University ofTubingen, ETAS GmbH, Stuttgart,
Google AI Berlin)
 published in arXiv on 2018/12/10
 DeepSDF: Learning Continuous Signed Distance Functions for Shape
Representation
 Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe,
Steven Lovegrove (University ofWashington, MIT, Facebook Reality Labs)
 published in arXiv on 2019/01/16

8. 本日の発表
8
CVPR2019で発表された「Deep Learningを使って
3Dモデルを表現する」論文を３本紹介
 IM-NET
 Learning Implicit Fields for Generative Shape Modeling
 Occupancy Networks
 Occupancy Networks: Learning 3D Reconstruction in
Function Space
 DeepSDF
 DeepSDF: Learning Continuous Signed Distance
Functions for Shape Representation

9. 3D Shapeの表現
9
Figure from “Occupancy Networks: Learning 3D Reconstruction in Function Space”
Voxel Point Cloud Mesh
+Simple
-Cubic Memory
-Manhattan world
+Fast and Easy
-No connectivity
-Lossy Postprocessing
+Natural
-Require Template
(topology)
-Self-intersections

10. 3D Shapeの表現
10
Voxel Point Cloud Mesh Deep Learning
+Infinite Resolution
+Arbitrary Topologies
+Watertight Meshes
Figure from “Occupancy Networks: Learning 3D Reconstruction in Function Space”
+Simple
-Cubic Memory
-Manhattan world
+Fast and Easy
-No connectivity
-Lossy Postprocessing
+Natural
-Require Template
(topology)
-Self-intersections

11. 3D ShapeのDNN表現方法
11
１つの形状を表す場合
 三次元座標を入力すると、その場所が物体の内部かど
うかを出力[0-1]
Occupancy

12. 3D ShapeのDNN表現方法
12
３つの手法に共通
 Codeを入力することで形状の表現力を向上
Occupancy
or

13. 3D ShapeのDNN表現方法
13
３つの手法に共通
 Codeを入力することで形状の表現力を向上
Occupancy
or
IM-NET
Occupancy Net
Deep SDF

14. IM-NET
14
 Decoder
(code)
点pでのOccupancy推定結果誤差
表面に近いほど大きい
損失関数
𝑓𝜃(𝑝)
𝑝

15. IM-NET
15
 Encoder
 Auto Encoderでfeature (code)を学習
 アプリケーションによってEのネットワークや𝑥の入力は異なる
 3D Shape表現の場合、 Eは3D CNN、𝑥は643のVoxel
 SingleView Reconstructionの場合EはResNET Encoder、𝑥は1282の
画像群
3D CNN
Code：
128次元
ベクトル

16. Occupancy Networks
16
アプリケーションにより異なるEncoder
(ex. SingleView ReconstructionではResNet-18)
Γ個の3D座標
Occupancy [0-1]
ResNet block

17. Occupancy Networks
17
アプリケーションにより異なるEncoder
(ex. SingleView ReconstructionではResNet-18)
Γ個の3D座標
Occupancy [0-1]
ResNet block
Conditional Batch
Normalization

18. Occupancy Networks
18
アプリケーションにより異なるEncoder
(ex. SingleView ReconstructionではResNet-18)
Γ個の3D座標
Occupancy [0-1]
ResNet block
Training (Loss function)
事前分布（ガウス）Encoder
Cross Entropy

19. Occupancy Networks
19
アプリケーションにより異なるEncoder
(ex. SingleView ReconstructionではResNet-18)
Γ個の3D座標
Occupancy [0-1]
ResNet block
Training (Loss function)
事前分布（ガウス）Encoder
Cross Entropy
3次元座標のOccupancyのCross
Entorpy誤差が小さく、かつCodeの分布
が事前分布に類似するように学習

20. Occupancy Networks
20
 Inference
 Coarse-to-Fineに推定

21. DeepSDF
21
Signed Distance Function (SDF)
 三次元座標から物体表面までの「符号付き」最短距離
 物体外（正）
 物体内（負）

22. DeepSDF
22
 Decoder
 Encoder (Auto-decoder)
Auto-encoderは使用せず、
データ点ごとにランダムに初
期値設定したCodeに対し、
Backpropabationで最適化

23. DeepSDF
23
 Training
L1誤差 Code

24. DeepSDF
24
 Training
 Interence
L1誤差 Code
パラメータθを固定してLoss最小化するzを求める

25. 実験結果(IM-NET)
25
 3D CNN Auto-EncoderのDecoderとIM-NETの性能比較
 ShapeNetで評価
LFD：様々なカメラアングルへレンダリングした画像をZernike momentsとフーリエ変換でエンコードして比
較する方法
LFD以外、ほとんど負けてる。。。
MSE: Mean Square Error, IoU: Intersection over Union, CD: Chamfer Distance, LFD: Light Field Descriptor

26. 実験結果(IM-NET)
26
 3D CNN Auto-EncoderのDecoderとIM-NETの性能比較
サンプリング間隔高くすれば見た目では勝ってる・・・

27. 実験結果(IM-NET)
27
 SingleView Reconstruction

28. 実験結果(IM-NET)
28
 SingleView Reconstruction
 LFDで評価

29. 実験結果(Occupancy Networks)
29
 SingleView Reconstruction

30. 実験結果(Occupancy Networks)
30
 SingleView Reconstruction

31. 実験結果(Occupancy Networks)
31
 Point Cloud Completion

32. 実験結果(DeepSDF)
32
 Point Cloud Completion

33. 実験結果(DeepSDF)
33
 Point Cloud Completion

34. 実験結果(DeepSDF)
34
 RepresentationTest 3D Shapes (auto-encoding)
 codeを元にTest 3D Shapesを復元
Atlas-Net[19]との比較
左：Ground Truth, 右：Our Method 失敗例

35. まとめ
35
 CVPR2019で発表された、Deep Learningで3D Shapeを表
現する３つの手法を紹介
IM-NET Occupancy
Networks
DeepSDF
Encoder Auto Encoder
(3D CNN)
Scale/bias as
CNN output
Auto
Decoder
Decode CNN with
Code
Constrained
BN
CNN with
Code
Loss Weighted L2 Cross-Entropy Clamp-L1
Output Occupancy Occupancy SDF