Submit Search
Upload
20200704 Deep Snake for Real-Time Instance Segmentation
•
1 like
•
1,118 views
Takanori Ogata
Follow
Deep Snake for Real-Time Instance Segmentation (CVPR 2020)
Read less
Read more
Technology
Report
Share
Report
Share
1 of 31
Download now
Download to read offline
Recommended
有限要素法見本
有限要素法見本
Akira KURISAKI
Coreset+SVM (論文紹介)
Coreset+SVM (論文紹介)
Naotaka Yamada
[DL輪読会]Deep Learning 第9章 畳み込みネットワーク
[DL輪読会]Deep Learning 第9章 畳み込みネットワーク
Deep Learning JP
[DL輪読会]Deep Learning 第3章 確率と情報理論
[DL輪読会]Deep Learning 第3章 確率と情報理論
Deep Learning JP
CVPR 2019 速報
CVPR 2019 速報
cvpaper. challenge
動的輪郭モデル
動的輪郭モデル
Arumaziro
oTreeまとめ 基礎からwebへのアップまで
oTreeまとめ 基礎からwebへのアップまで
Keiko Mizuno
夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...
夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...
Shunsuke Ono
Recommended
有限要素法見本
有限要素法見本
Akira KURISAKI
Coreset+SVM (論文紹介)
Coreset+SVM (論文紹介)
Naotaka Yamada
[DL輪読会]Deep Learning 第9章 畳み込みネットワーク
[DL輪読会]Deep Learning 第9章 畳み込みネットワーク
Deep Learning JP
[DL輪読会]Deep Learning 第3章 確率と情報理論
[DL輪読会]Deep Learning 第3章 確率と情報理論
Deep Learning JP
CVPR 2019 速報
CVPR 2019 速報
cvpaper. challenge
動的輪郭モデル
動的輪郭モデル
Arumaziro
oTreeまとめ 基礎からwebへのアップまで
oTreeまとめ 基礎からwebへのアップまで
Keiko Mizuno
夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...
夏のトップカンファレンス論文読み会 / Realtime Multi-Person 2D Pose Estimation using Part Affin...
Shunsuke Ono
経済学のための実践的データ分析2. python, R, Jupyter notebook 事始め/統計ソフトちゃんちゃかちゃん
経済学のための実践的データ分析2. python, R, Jupyter notebook 事始め/統計ソフトちゃんちゃかちゃん
Yasushi Hara
データサイエンス概論第一=3-1 線形代数に基づくデータ解析の基礎
データサイエンス概論第一=3-1 線形代数に基づくデータ解析の基礎
Seiichi Uchida
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
Mosaic plot in R.
Mosaic plot in R.
Dr. Volkan OBAN
Deep LearningフレームワークChainerと最近の技術動向
Deep LearningフレームワークChainerと最近の技術動向
Shunta Saito
[DL輪読会]Attentive neural processes
[DL輪読会]Attentive neural processes
Deep Learning JP
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
Seiichi Uchida
A Note on BPTT for LSTM LM
A Note on BPTT for LSTM LM
Tomonari Masada
Rで確認しながら解く統計検定2級
Rで確認しながら解く統計検定2級
itoyan110
[170102]구름IDE 기본사용법 (C언어)
[170102]구름IDE 기본사용법 (C언어)
Sung-tae Ryu
視覚認知システムにおける知覚と推論
視覚認知システムにおける知覚と推論
Shunta Saito
子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得
Yuya Unno
Techtalk:多様体
Techtalk:多様体
Kenta Oono
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
Deep Learning JP
ゲーム体験を支える強化学習の実応用について
ゲーム体験を支える強化学習の実応用について
Jun Okumura
データ中心の時代を生き抜くエンジニアに知ってほしい10?のこと
データ中心の時代を生き抜くエンジニアに知ってほしい10?のこと
Hideo Terada
Rで学ぶ回帰分析と単位根検定
Rで学ぶ回帰分析と単位根検定
Nagi Teramo
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
Masahiro Suzuki
Changepoint Detection with Bayesian Inference
Changepoint Detection with Bayesian Inference
Frank Kelly
AbemaTVにおける推薦システム
AbemaTVにおける推薦システム
cyberagent
20210108 Tread: Circuits
20210108 Tread: Circuits
Takanori Ogata
CVPR2019読み会@関東CV
CVPR2019読み会@関東CV
Takanori Ogata
More Related Content
What's hot
経済学のための実践的データ分析2. python, R, Jupyter notebook 事始め/統計ソフトちゃんちゃかちゃん
経済学のための実践的データ分析2. python, R, Jupyter notebook 事始め/統計ソフトちゃんちゃかちゃん
Yasushi Hara
データサイエンス概論第一=3-1 線形代数に基づくデータ解析の基礎
データサイエンス概論第一=3-1 線形代数に基づくデータ解析の基礎
Seiichi Uchida
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Shuyo Nakatani
Mosaic plot in R.
Mosaic plot in R.
Dr. Volkan OBAN
Deep LearningフレームワークChainerと最近の技術動向
Deep LearningフレームワークChainerと最近の技術動向
Shunta Saito
[DL輪読会]Attentive neural processes
[DL輪読会]Attentive neural processes
Deep Learning JP
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
Seiichi Uchida
A Note on BPTT for LSTM LM
A Note on BPTT for LSTM LM
Tomonari Masada
Rで確認しながら解く統計検定2級
Rで確認しながら解く統計検定2級
itoyan110
[170102]구름IDE 기본사용법 (C언어)
[170102]구름IDE 기본사용법 (C언어)
Sung-tae Ryu
視覚認知システムにおける知覚と推論
視覚認知システムにおける知覚と推論
Shunta Saito
子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得
Yuya Unno
Techtalk:多様体
Techtalk:多様体
Kenta Oono
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
Deep Learning JP
ゲーム体験を支える強化学習の実応用について
ゲーム体験を支える強化学習の実応用について
Jun Okumura
データ中心の時代を生き抜くエンジニアに知ってほしい10?のこと
データ中心の時代を生き抜くエンジニアに知ってほしい10?のこと
Hideo Terada
Rで学ぶ回帰分析と単位根検定
Rで学ぶ回帰分析と単位根検定
Nagi Teramo
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
Masahiro Suzuki
Changepoint Detection with Bayesian Inference
Changepoint Detection with Bayesian Inference
Frank Kelly
AbemaTVにおける推薦システム
AbemaTVにおける推薦システム
cyberagent
What's hot
(20)
経済学のための実践的データ分析2. python, R, Jupyter notebook 事始め/統計ソフトちゃんちゃかちゃん
経済学のための実践的データ分析2. python, R, Jupyter notebook 事始め/統計ソフトちゃんちゃかちゃん
データサイエンス概論第一=3-1 線形代数に基づくデータ解析の基礎
データサイエンス概論第一=3-1 線形代数に基づくデータ解析の基礎
星野「調査観察データの統計科学」第3章
星野「調査観察データの統計科学」第3章
Mosaic plot in R.
Mosaic plot in R.
Deep LearningフレームワークChainerと最近の技術動向
Deep LearningフレームワークChainerと最近の技術動向
[DL輪読会]Attentive neural processes
[DL輪読会]Attentive neural processes
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
データサイエンス概論第一=4-1 相関・頻度・ヒストグラム
A Note on BPTT for LSTM LM
A Note on BPTT for LSTM LM
Rで確認しながら解く統計検定2級
Rで確認しながら解く統計検定2級
[170102]구름IDE 기본사용법 (C언어)
[170102]구름IDE 기본사용법 (C언어)
視覚認知システムにおける知覚と推論
視覚認知システムにおける知覚と推論
子供の言語獲得と機械の言語獲得
子供の言語獲得と機械の言語獲得
Techtalk:多様体
Techtalk:多様体
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
ゲーム体験を支える強化学習の実応用について
ゲーム体験を支える強化学習の実応用について
データ中心の時代を生き抜くエンジニアに知ってほしい10?のこと
データ中心の時代を生き抜くエンジニアに知ってほしい10?のこと
Rで学ぶ回帰分析と単位根検定
Rで学ぶ回帰分析と単位根検定
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
Changepoint Detection with Bayesian Inference
Changepoint Detection with Bayesian Inference
AbemaTVにおける推薦システム
AbemaTVにおける推薦システム
More from Takanori Ogata
20210108 Tread: Circuits
20210108 Tread: Circuits
Takanori Ogata
CVPR2019読み会@関東CV
CVPR2019読み会@関東CV
Takanori Ogata
190412 Annotation Survey@関東CV勉強会
190412 Annotation Survey@関東CV勉強会
Takanori Ogata
190410 ML@LOFT
190410 ML@LOFT
Takanori Ogata
180204 Attention-aware Deep Reinforcement Learning for Video Face Recognition
180204 Attention-aware Deep Reinforcement Learning for Video Face Recognition
Takanori Ogata
Unsupervised learning of object landmarks by factorized spatial embeddings
Unsupervised learning of object landmarks by factorized spatial embeddings
Takanori Ogata
Annotating object instances with a polygon rnn
Annotating object instances with a polygon rnn
Takanori Ogata
Training object class detectors with click supervision
Training object class detectors with click supervision
Takanori Ogata
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)
Takanori Ogata
160924 Deep Learning Tuningathon
160924 Deep Learning Tuningathon
Takanori Ogata
Convolutional Pose Machines
Convolutional Pose Machines
Takanori Ogata
Deep Learningライブラリ 色々つかってみた感想まとめ
Deep Learningライブラリ 色々つかってみた感想まとめ
Takanori Ogata
Cv20160205
Cv20160205
Takanori Ogata
10分でわかる主成分分析(PCA)
10分でわかる主成分分析(PCA)
Takanori Ogata
DeepAKB
DeepAKB
Takanori Ogata
More from Takanori Ogata
(15)
20210108 Tread: Circuits
20210108 Tread: Circuits
CVPR2019読み会@関東CV
CVPR2019読み会@関東CV
190412 Annotation Survey@関東CV勉強会
190412 Annotation Survey@関東CV勉強会
190410 ML@LOFT
190410 ML@LOFT
180204 Attention-aware Deep Reinforcement Learning for Video Face Recognition
180204 Attention-aware Deep Reinforcement Learning for Video Face Recognition
Unsupervised learning of object landmarks by factorized spatial embeddings
Unsupervised learning of object landmarks by factorized spatial embeddings
Annotating object instances with a polygon rnn
Annotating object instances with a polygon rnn
Training object class detectors with click supervision
Training object class detectors with click supervision
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)
160924 Deep Learning Tuningathon
160924 Deep Learning Tuningathon
Convolutional Pose Machines
Convolutional Pose Machines
Deep Learningライブラリ 色々つかってみた感想まとめ
Deep Learningライブラリ 色々つかってみた感想まとめ
Cv20160205
Cv20160205
10分でわかる主成分分析(PCA)
10分でわかる主成分分析(PCA)
DeepAKB
DeepAKB
Recently uploaded
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
furutsuka
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
Recently uploaded
(9)
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
20200704 Deep Snake for Real-Time Instance Segmentation
1.
Takanori Ogata Deep Snake
for Real-Time Instance Segmentation
2.
Copyright © ABEJA,
Inc. All rights reserved Self-Introduction 緒方 貴紀@ ABEJA, Inc. Twitter: @conta_ 研究開発からプロトタイプ開発・セールス・ 人事・雑用まで何でもやります。 趣味は 音楽・お酒・筋トレ ←New
3.
Copyright © ABEJA,
Inc. All rights reserved Deep Snake for Real-Time Instance Segmentation • CVPR2020 (Oral) • 物体輪郭を用いたInstance Segmentationの論文 • circular convolutionという仕組みを導入し、輪郭頂点の位置をIterativeに修正 することで物体輪郭を推定、高精度なInstance Segmentationを実現
4.
Copyright © ABEJA,
Inc. All rights reserved 先行研究 Pixel-based methods PANet [Liu+, CVPR2018] Mask RCNN [He+, ICCV2017] 課題: 小さな物体の位置ずれやBboxのズレに対応できない
5.
Copyright © ABEJA,
Inc. All rights reserved 先行研究 Contour-based method HuanLing,JunGao,AmlanKar,WenzhengChen,andSanja Fidler. Fast interactive object annotation with curve-gcn. In CVPR, 2019 https://tech-blog.abeja.asia/entry/annotation-survery DSAC [Marcos+, CVPR2018] 精度はPixel Basedに及ばず Instance SegmentationとしてはPipelineが不足(Bboxが与えられた上での評価) Contourモデルの特別な場合に対応していない(おそらくトポロジーの分割) CurveGCN [Ling+, CVPR2019]
6.
Copyright © ABEJA,
Inc. All rights reserved 先行研究 Snakes: 元祖Active Contour Models
7.
Copyright © ABEJA,
Inc. All rights reserved Active Contour Model • Active Contour Model 対象 空間 領域 性質 表 指標 他 特 徴量 複数 領域 分割 分割 領域 時間変化 境界線 連続的 変化 • 手法 大 2種 Snakes法 Level set法 引用: https://www.slideshare.net/Arumaziro/ss-37035661
8.
Copyright © ABEJA,
Inc. All rights reserved Snakesとは 前提1: 曲線はパ タ表現される 前提2: 曲線のエネ ギ を設定 𝑣 𝛼 𝑑𝑣 𝑠 𝑑𝑠 𝑑𝑠 𝑑 𝑣 𝑠 𝑑𝑠 𝑑𝑠 𝛻 𝐺 ⊗ 𝐼 𝑣 𝑠 𝑑𝑠 :弧長に対応する項 :曲率に対応する項 :勾配強度に対応する項 v 𝑠 𝑥 𝑠 𝑦 𝑠 s ∈ 0,1 引用: https://www.slideshare.net/Arumaziro/ss-37035661 Snakes 貪欲法 𝑣 𝑣 𝑣 𝑣 2𝑣 𝐼′ 𝑣 :弧長に対応す 項 :曲率に対応す 項 :勾配強度に対応す 項 𝑣
9.
Copyright © ABEJA,
Inc. All rights reserved Deep Snake
10.
Copyright © ABEJA,
Inc. All rights reserved Proposed approach: Learning-based snake algorithm • Snake • 頂点から構成される曲線のエネルギー関数最小化 • エネルギー関数は非凸・handcrafted・低レベルの画像特徴を利用 • Deep Snake • End-to-endで頂点から構成されるcontourから直接学習 • CNN backboneはObject DetectionとShareし特徴量をハイブリッドに利用 • Contor+cnn featureを入力として頂点の移動量を出力、Iterativeに処理
11.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • 物体検出アルゴリズムによりBboxを予測 • BboxからDiamond Contorを機械的に作成 • Extremepointsを予測(Deformation1) • 予測ポイントからOctagon contourを機械的に作成 • Octagon contourから初期頂点を機械的に作成し • Contourを再帰的に予測(Deformation2) 詳細は後ほど
12.
Copyright © ABEJA,
Inc. All rights reserved Contour with NNs vertex+featureをどうNNで扱うか? • 初期位置は? • 頂点情報の伝搬は? Polygon RNN++ [Acuna+, CVPR2018] CurveGCN [Ling+, CVPR2019] CNN+RNNで頂点生成 Gated Graph Neural Networkを利用して最適化 Bboxを元に静的なものを与える Graph Convを利用
13.
Copyright © ABEJA,
Inc. All rights reserved Circular Convolution Contour = 周期的な1Dの離散信号だと思って捉える (x, y, features) x N に対して1D-Convで対処可能(シンプル) Contour上の特徴からの影響を考えることで Object-Levelの構造を捉えることが出来る
14.
Copyright © ABEJA,
Inc. All rights reserved Network architecture Backbone・fusion block・prediction headの3つから構成される *CirConv = Circular Convolution Contourを入力として、Offsetを出力する
15.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • 物体検出アルゴリズムによりBboxを予測 • BboxからDiamond Contorを機械的に作成 • Extremepointsを予測(Deformation1) • 予測ポイントからOctagon contourを機械的に作成 • Octagon contourから初期頂点を機械的に作成し • Contourを再帰的に予測(Deformation2)
16.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • 物体検出アルゴリズムによりBboxを予測 • CenterNetを活用 • BBox + Centerを出力 CenterNet[Zhou+, CVPR2019]
17.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • BboxからDiamond Contorを機械的に作成 • 足して2で割るを計算するだけ
18.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • Extremepointsを予測(Deformation1) • Ground TruthはObject boundarからサンプリング • Top, Left, Right, Bottomを持ってくる • 最適化は下記のロスを利用 Extreme Clicking [Papadopoulos+, CVPR2017]
19.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • Octagon contourから初期頂点を機械的に作成 • Extreme Pointsから4点を予測し、8角形を作成 • (Extreme Pointsから辺の1/4を拡張して Bbox上に引いた辺の上に頂点を置くらしい) • => Octagon Contour CenterNet[Zhou+, CVPR2019]
20.
Copyright © ABEJA,
Inc. All rights reserved アルゴリズム全体像 • Contourを再帰的に予測(Deformation2) • GTはObject Boundaryから等間隔にN点サンプル • (N=128) • 再帰的にDeformationを繰り返す • 最適化は下記のLossを利用 • (実験ではIter = 3)
21.
Copyright © ABEJA,
Inc. All rights reserved Multi-component detection Contourを利用するときに課題であったオクルージョン問題へのアプローチ Detection時に物体の分割を行い、分割した物体それぞれにDeep Snakeを適用 最後に統合することでオクルージョンを配慮
22.
Copyright © ABEJA,
Inc. All rights reserved 補足 Curve GCN Deep Snake 初期位置 楕円 Extrepe Pointsの予測 + Octagon Contour 最適化 面積の差を微分(微分レンダリング 頂点情報をL1で最適化 目的 アノテーションの効率化 Bboxは与えられる前提 Instance Segmentation(Object Detectionも含まれる)
23.
Copyright © ABEJA,
Inc. All rights reserved Experiments これ
24.
Copyright © ABEJA,
Inc. All rights reserved Ablation studies Circlar Convが有効なのか?・初期位置予測は必要か? Baseline=CenterNet + Curve-GCN +GraphConv+Proposed Architecture +ExtremePointsの予測 GraphConv -> CircularConv Iterは3以上ではパフォーマンスは上がらない
25.
Copyright © ABEJA,
Inc. All rights reserved Qualitative Result (GCN vs Circular Conv)
26.
Copyright © ABEJA,
Inc. All rights reserved Performance PANet [Liu+, CVPR2018]が比較対象
27.
Copyright © ABEJA,
Inc. All rights reserved Performance
28.
Copyright © ABEJA,
Inc. All rights reserved Qualitative Results
29.
Copyright © ABEJA,
Inc. All rights reserved
30.
Copyright © ABEJA,
Inc. All rights reserved Running time はやい(GPU)
31.
Copyright © ABEJA,
Inc. All rights reserved まとめ • Circular Convを提案することでシンプルかつ高精度なEnd-to-endのInstance Sentmentationを実現 • GPU上で32.3fps(at 512x512px)を達成
Download now