Recommended
More Related Content
What's hot
What's hot (20)
Similar to CVPR2019読み会@関東CV
Similar to CVPR2019読み会@関東CV (20)
More from Takanori Ogata
More from Takanori Ogata (15)
Recently uploaded
Recently uploaded (11)
CVPR2019読み会@関東CV
- 2. Self-introduction Takanori OGATA Co-founder & Head of Research @ABEJA, Inc. twitter: @conta_
- 3. CVPR2019
- 6. Learning Loss for Active Learning ・Input から直接Lossを予測し、予測 値に応じてActive Learningを⾏うこと で、効率的なアノテーションを可能と する論⽂ • タスク⾮依存な設計のため活⽤幅が 広い ・Classification/Regression/Hybridの パターンで評価し、どちも良い性能を 得ることができた
- 8. Active Learning (能動学習) • 正解なしデータの中から「これの正解がわかれば性能 が上がるかも」というデータを選ぶ • Oracle（神託 : 正解を教えてくれる何か）にデータを 問い合わせ(query)、得た正解を訓練データに追加する via (Settles 2009) https://www.slideshare.net/shuyo/introduction-to-active-learning-25787487
- 9. 何をしたいのか？ • 限られたBudgetの中でAnnotationしたい • -> できる限り精度に寄与するデータのみをアノテーションしたい • -> モデルにとって不確かなデータを優先的にアノテーションしたい • -> 不確かさ == Loss を活⽤しよう！ 未知のデータからLossを予測する モデルを同時に学習、適⽤すること で効率的なデータ選択⽅法を実現！
- 19. Loss Prediction Module なるべく⼩さいモデルを⽬指したい&ターゲットと同時に学習 したいのでなるべくSimpleにしたい -> 各中間層から特徴量をもってきてGAPするだけの簡単なモ デルを構築 （Deepなモデルも試したけどそんなに変わらなかった）
- 20. Learning Loss • TargetのLossを教師データにすれば良い • 最適化⽅法は？ • ⼀般的にMSEを想像するが、それだとうまくいかない • （lossのスケールは学習するごとに変化してしまうのでラフな scaleに対する値を出すようなモデルになってしまう）
- 21. compare a pair of samples • 解決策として、Mini-Batch内のsample lossの⼤⼩⽐較問題を 解く • B から B/2のSample pair 𝑥3 = 𝑥5, 𝑥7 を作成 • 𝑥5, 𝑥7それぞれの𝑙𝑜𝑠𝑠に対して、MiniBatch内で下記を計算
- 22. compare a pair of samples • 解決策として、Mini-Batch内のsample lossの⼤⼩⽐較問題を 解く • B から B/2のSample pair 𝑥3 = 𝑥5, 𝑥7 を作成 • 𝑥5, 𝑥7それぞれの𝑙𝑜𝑠𝑠に対して、MiniBatch内で下記を計算 真値 予測 マージン
- 23. compare a pair of samples つまり、真値と予測の⼤⼩が⼊れ替わっているときにLossが 発⽣するような仕組みになっている 真値 予測 マージン
- 24. Overall Loss • ターゲットタスクにPrediction Lossを加えるだけなの で汎⽤的に活⽤できる
- 25. Evaluation • Image Classification(Classification) • Object Detection(Classification + Regression) • Pose Estimation(Regression) の3タスクで実験
- 26. Image Classification • Dataset: Cifar10 • Model: ResNet-18 • Loss prediction module: • {convi 1, convi 2 | i=2, 3, 4, 5} の特徴量を活⽤ • 5回の実験結果の平均を記載
- 27. Image Classification • 既存⼿法を上回る • MSEがワークしていないことも ⽰唆
- 28. Object Detection • Dataset: PASCAL VOC 2007 and 2012 • Model: SSD w/ VGG16 • Loss prediction module: • {convi | i=4_3, 7, 8_2, 9_2, 10_2, 11_2} • Classification+ Regression(BBox)のHybrid型での実験
- 29. Object Detection • 最初の数回は既存⼿法に劣って いるが、徐々に上回った • Entropy basedな⼿法は Regressionには使えないので、 他の指標を設計しなければなら ない • 提案⼿法はlossを観測するだけ なので、タスクに縛られないの で良い
- 30. Human Pose Estimation • Dataset: MPII dataset • Model: Stacked Hourglass Networks • Loss prediction module: • the last feature map of (H,W,C)=(64,64,256) • Percentage of Correct Key-points (PCK)を指標に • 3回の試⾏結果をプロット • MSE Lossを使うのでRegression Task
- 31. Human Pose Estimation • さ、最終的には提案⼿法が
- 33. まとめ • Prediction Loss moduleを導⼊し、損失値を不確かさ とみるActive Learningを提案 • タスク⾮依存な設計のため活⽤幅が広い • 簡単なタスクだとワークしてるけど、難しいタスクに なると初期の⽅はあんまりワークしてない
- 35. SCOPS: Self-Supervised Co-Part Segmentation • 同じObject Categoryの画像群からマニュアルアノテーション なしに、Class-agnositcなPart Segmentationを実現する研究 • 既存のUnsupervised Landmark detection approachと⽐較し て外観のバリエーションやオクルージョンに対して頑健 • またlandmarkの個数を決められない物体に対しても適⽤可能
- 36. モチベーション • 物体を解析する上で、パーツ特徴量は重要 • Parts Segmentationをやるときにマニュアルアノテー ションするのは⾟い。。。 • => 同じクラスの画像群から共起特徴をを⾒つけて⾃動 的にParts Segmentationをできないか？
- 37. Related Works [Collins+, ECCV2018] https://www.slideshare.net/takanoriogata1121/unsupe rvised-learning-of-object-landmarks-by-factorized- spatial-embeddings-84198954 [Thewlis+, ICCV2017] Object Concept Discovery Landmark detection
- 38. Overview Channel-wise softmaxにより 𝑅 = 𝐹 𝐼; θH ∈ 0, 1 (#M1)×P×Q のpart response mapを作成 (K個のparts map + Background) • Geometric Concentration loss • Equivariance loss • Semantic Consistency Loss の3つのloss + Unsupervised Saliencyを 活⽤ ＊ ArchitectureはDeepLab-V2+ResNet50
- 39. ＊ 他の論⽂だと、Landmark同⼠が離れるようなロス設計をしているけど、今回はそういうのは⼊れてない Geometric Concentration Loss • Parts CenterにResponseが集中するようなMapになるような Lossの定義 𝑘: 𝑝𝑎𝑟𝑡𝑠 𝑐ℎ𝑎𝑛𝑛𝑒𝑙 𝑢, 𝑣: 座標 𝑐^ _: 𝑝𝑎𝑟𝑡𝑠 𝑘, 𝑢軸における中⼼座標 𝑤ℎ𝑒𝑟𝑒 𝑧_ = b ^,c 𝑅(𝑘, 𝑢, 𝑣)
- 40. Equivariance Loss • AppearanceとPoseに対して頑健に なるようなLossの提唱 • 特徴量に変換をかけたResponse Mapと、元画像に変換をかけた Response Mapを⽐較 𝑇.: random spatial transform To: 𝑎𝑝𝑝𝑒𝑎𝑟𝑎𝑛𝑐𝑒 𝑝𝑒𝑟𝑡𝑢𝑟𝑏𝑎𝑡𝑖𝑜𝑛 Rs: 𝐼s = 𝑇. 𝑇( 𝐼 の𝑅𝑒𝑠𝑝𝑜𝑛𝑠𝑒𝑀𝑎𝑝
- 41. Equivariance Loss Transformとしてscale/rotation/shiftingを利⽤ Parts Segmentationに対するLoss Parts Centerに対するLoss
- 42. Semantic Consistency Loss • ⼈⼯的に作られた変換だけでは、異なるインスタンス間同⼠で⼀貫性を保 つのは難しい • -> 異なるインスタンス同⼠で作⽤するLossを設計する必要がある Pretraind-modelの特徴量を活⽤して、異なる部分セグメントに対応する与 えられた分類特徴において代表的な特徴クラスタを⾒つけることができる のでは？ (画像の特徴量がパーツ特徴量の和になるように学習させる） [Collins+, ECCV2018]
- 43. Semantic Consistency Loss • 2つのLoss(Semantic Consistency/Orthogonal Constraint)と Saliencyの活⽤で構成される • Pretrained Modelから抽出した特徴を、 GlobalなPartsごとの和として表すような ベクトルを学習させたい
- 44. Semantic Consistency Loss 𝑉 ∈ 𝑅v × P × Q: Pretrained Modelの特徴量 𝑤_ ∈ 𝑅v, 𝑘 ∈ 1, 2, … , 𝐾 ∶ 𝑝𝑎𝑟𝑡 𝑏𝑎𝑠𝑖𝑠 𝑣𝑒𝑐𝑡𝑜𝑟𝑠 ResponseMap(scalar) * wがV(u, v)と同じにな るように学習 Vとw_kが打ち消し合わないように、どちらに もReLUを適⽤することで⾮負になるようにす る。（先⾏研究はNMFを使っている)
- 45. Orthonormal Constraint パーツ同⼠の特徴が被らないように、 Parts basis vectorが直⾏するように学習 させる
- 46. Saliency Constraint • データが少ない or Kが⼤きいと同じような背景に反 応しがち • -> Saliency detection method(Zhu+, CVPR2014)を 活⽤することで V が背景に反応しないようにする
- 47. Experiments • CelebA , AFLW (human faces), CUB(birds),PASCALで実験 • VGG19から特徴を抽出(V) 既存⼿法を上回り、各Lossの有効性を検証
- 48. Visual results on CelebA face images
- 49. Visual results on CUB/PASCAL VOC
- 50. まとめ • 同じObject Categoryの画像群からマニュアルアノテーションな しに、Class-agnositcなPart Segmentation⼿法を提案 • 既存⼿法と⽐べてスケーラブル（DFFは全データに対してNMF しないといけないけど、提案⼿法はSGD使える）であり、複数 Lossの併⽤による⾼精度化が望める
- 52. A General and Adaptive Robust Loss Function • おれがかんがえたさいきょーのLoss関数の提案
- 53. これ
- 57. Unsupervised Monocular Depth Estimation
- 58. We are hiring! https://www.wantedly.com/companies/abeja Reseacher / ML Engineer・インターン・アルバイト募集中 懇親会でお声がけください！