SlideShare a Scribd company logo
1 of 40
Download to read offline
チンパンジーの姿勢推
定:教師データがない
ときの工夫
全景株式会社 NGUYEN NGOC GIANG
自己紹介
名前: グエン ゴク ジャン ( Nguyen Ngoc Giang )
国籍: ベトナム
2013年6月 - ハノイ工科大学 卒業
2013年10月 - 日本へ来て、
金沢大学 バイオインフォマティクス研究室 - 研究生
2014年4月~2016年3月 - 金沢大学 博士前期課程
2016年4月~2019年3月 - 金沢大学 博士後期課程
2019年4月~ - 全景株式会社
チンパンジーの姿勢推定したい
けど、
教師データがない
姿勢推定
姿
勢
推
定
モ
デ
ル
OpenPoseモデル
2017年 - OpenPose:人間姿勢推定モデル
https://github.com/CMU-Perceptual-Computing-Lab/openpose
OpenPoseをチンパンジーに適用
どうしてチンパンジー?
人に似ている
OpenPoseをチンパンジーに適用
OpenPose
OpenPoseをチンパンジーに適用
OpenPose
OpenPoseをチンパンジーに適用
OpenPose
OpenPoseをチンパンジーに適用
OpenPose
OpenPoseをチンパンジーに適用
OpenPose
OpenPoseをチンパンジーに適用
OpenPose
OpenPoseをチンパンジーに適用
OpenPose
OpenPoseをチンパンジーに適用
OpenPose
OpenPoseをチンパンジーに適用
OpenPose
転移学習手法
元ドメイン
データ
モデル
目標ドメイン
データ
モデル
(1)訓練
(2)訓練済みモデル
(3)再訓練
4万の人間姿勢例
数千のチンパンジー姿勢例
OpenPose OpenPose
チンパンジーの姿勢データ作成
インターネット
ツール
Python:
icrawler.GoogleImageCrawler
キーワード: chimpanzee
結果: ~400 写真
姿勢をアノテーションする
右目
左目
左耳
左肘
左手首
左肩
左膝
左手首
右足首
右手首
右肘
OpenPoseモデルの構造
特徴抽出部分
姿勢推定部分
姿勢情報利用なし 姿勢情報利用する
畳み込み
特徴抽出の畳み込み
-1 -1 -1
2 2 2
-1 -1 -1
-1 2 -1
-1 2 -1
-1 2 -1
特徴抽出の畳み込み
-1 -1 2
-1 2 -1
2 -1 -1
-1 -1 -1
-1 8 -1
-1 -1 -1
OpenPoseモデル
人間の特徴
OpenPoseモデル
人間の特徴
出ない
OpenPoseモデル
人間の特徴
出ない
これも人間ですよ!
似ている
実現
学習済みOpenPoseモデルの特徴抽出部分を取り出す
実現:ステップ1
特徴抽出部分の最後に全結合層をつける 全結合層
人がいる
人がいない
凍結(ウェイトを変更しない)
訓練
実現:ステップ1のデータ
人がいない人がいる
実現:ステップ2
人がいない人がいる
実現:ステップ2
特徴抽出部分を再訓練する
再訓練 凍結
全結合層
人がいる
人がいない
最後ステップ
再訓練した特徴抽出部分を元のOpenPoseモデルに戻す
結果
前 後
結果
前 後
結果
前 後
結果
前 後
結果
前 後
結果
前 後
結果
前 後
結果
前 後
まとめ
ディープラーニングモデルは大量の正しい訓練データがな
いなら素晴らしい結果が出ない
ほんとです!
訓練データがなくても、トリックを利用し、OpenPoseモデル
の特徴抽出部分を再訓練して、面白い結果が出ました。
ご清聴ありがとうございました!

More Related Content

What's hot

What's hot (20)

オントロジー工学に基づくセマンティック技術(2)ナレッジグラフ入門
オントロジー工学に基づくセマンティック技術(2)ナレッジグラフ入門オントロジー工学に基づくセマンティック技術(2)ナレッジグラフ入門
オントロジー工学に基づくセマンティック技術(2)ナレッジグラフ入門
 
【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?【CVPR 2019】Do Better ImageNet Models Transfer Better?
【CVPR 2019】Do Better ImageNet Models Transfer Better?
 
優れた研究論文の書き方―7つの提案
優れた研究論文の書き方―7つの提案優れた研究論文の書き方―7つの提案
優れた研究論文の書き方―7つの提案
 
顕著性マップの推定手法
顕著性マップの推定手法顕著性マップの推定手法
顕著性マップの推定手法
 
High-impact Papers in Computer Vision: 歴史を変えた/トレンドを創る論文
High-impact Papers in Computer Vision: 歴史を変えた/トレンドを創る論文High-impact Papers in Computer Vision: 歴史を変えた/トレンドを創る論文
High-impact Papers in Computer Vision: 歴史を変えた/トレンドを創る論文
 
論文に関する基礎知識2015
論文に関する基礎知識2015論文に関する基礎知識2015
論文に関する基礎知識2015
 
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields [DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
 
ChatGPTがもたらす未来予測
ChatGPTがもたらす未来予測ChatGPTがもたらす未来予測
ChatGPTがもたらす未来予測
 
2021/10/9 深くは話せないPFNでのお仕事
2021/10/9 深くは話せないPFNでのお仕事2021/10/9 深くは話せないPFNでのお仕事
2021/10/9 深くは話せないPFNでのお仕事
 
DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術
 
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
 
大学院進学が切り拓く情報系学生のキャリア
大学院進学が切り拓く情報系学生のキャリア大学院進学が切り拓く情報系学生のキャリア
大学院進学が切り拓く情報系学生のキャリア
 
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
 
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
 
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdfmakoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf
makoto shing (stability ai) - image model fine-tuning - wandb_event_230525.pdf
 
コンピュータビジョンの研究開発状況
コンピュータビジョンの研究開発状況コンピュータビジョンの研究開発状況
コンピュータビジョンの研究開発状況
 
学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]
学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]
学振特別研究員になるために~知っておくべき10のTips~[平成28年度申請版]
 
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transfo...
 
【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識
 
ドメイン適応の原理と応用
ドメイン適応の原理と応用ドメイン適応の原理と応用
ドメイン適応の原理と応用
 

チンパンジーの姿勢推定:教師データがないときの工夫