24. CRFを用いた例
CRFは認識対象クラスに関する知識をモデルの中に入れ込むこ
とが可能なため、 Semantic SegmentationではCRFを用いた手法
が性能的に良い。一方、SemanticでないSegmentationではMRF
が用いられることが多い。
X.He, R. S. Zemel, M. A. Carreira-Perpinan, “Multiscale
Conditional Random Fields for Image Labeling”, CVPR2004
J. Shotton, J. Winn, C. Rother, A. Criminisi, “TextonBoost for
Image Understanding: Multi-Class Object Recognition and
Segmentation by Jointly Modeling Texture, Layout, and
Context”, IJCV2009
P. Krahenbuhl, V. Koltun, “Efficient Inference in Fully Connected
CRFs with Gaussian Edge Potentials”, NIPS2011
P. Arbelaez, B. Hariharan, C. Gu, S. Gupta, L. D. Bourdev, J. Malik,
“Semantic Segmentation using Regions and Parts”, CVPR2012
(非CRF)
25. CRF for Image Labeling (He, et al., 2004)
CRFをSemantic Segmentationへ適用した最初の論文
ローカル特徴、全体特徴、ラベル間の位置関係を考慮し
たモデルを構築して最適化
28. Semantic Segmentation using Regions and
Parts (Arbelaez, et al., 2012)
一度ざっくりとした領域分割をして、各領域において多ク
ラスに対するスコアを算出し、それらを特徴として用いて,
ラベリングをしていく。
CRFを用いず、各領域のスコアを統合して画素ごとのスコ
アを算出する。
SVM
Part Compatibility
Global Appearance
Semantic Contours
Geometrical properties
Multi Class
36. ニューラルネットワークによる手法の例
P. H. Pinheiro, R. Collobert, “Recurrent Convolutional Neural
Networks for Scene Labeling”, ICML2014
J. Long, E. Shelhamer, T. Darrel, “Fully Convolutional Networks
for Semantic Segmentation”, CVPR2015
S. Zheng, S. Jayasumana, B. Romera-Paredes, V. Vineet, Z. Su, D.
Du, C. Huang, P. H. S. Torr, “Conditional Random Fields as
Recurrent Neural Networks”, ICCV2015
H. Noh, S. Hong, B. Han, “Learning Deconvolution Network for
Semantic Segmentation”, ICCV2015
G. Lin, C. Shen, A. Hengel, I. Reid, “Efficient Piecewise Training
of Deep Structured Models for Semantic Segmentation”,
CVPR2016
P. Isola, J. Y. Zhu, T. Zhou, A. A. Efros, “Image to Image
Translation with Conditional Adversarial Networks”,
arXiv:1611.67004v1, 2016
37. RCNN for Scene Labeling (Pinheiro and
Collobert, 2014)
ネットワークfで各画素のラ
ベルを予測し、その結果を
入力に加えて繰り返しfで
予測を行うことで、段階的
にラベルの予測精度を上
げていく
CRFの平滑化項にあたるよ
うな、コンテクスト(ラベル間
の位置関係)を評価してお
らず、各画素ごとに特徴か
らラベルを判別しているに
等しい