OSSユーザーのための勉強会 < OSS X Users Meeting > #18 AI / Deep Learning

1. Caffeの特徴と最近の動向
- CNN、そしてRNNへ -
2017/03/21
1

2. ・株式会社イーグル CTO
・先端IT活用推進コンソーシアム
クラウドテクノロジー活用部会 サブリーダー
https://www.facebook.com/yasuyuki.sugai
よろしくお願いしまーす
※この資料の内容は、
個人の見解です
自己紹介
菅井 康之
http://www.slideshare.net/yasuyukisugai/deep-learningcaffe
←Caffeを利用したハンズオン勉強会を
過去に開催（細かいことはこっちで。。）
今日は私の特徴量だけでも覚えて帰ってもらえればと。。。
2

3. 3

4. 4

5. 5

6. 6

7. Σ
7

8. x1
x2
Σ φ
w1
w2
y
入力信号
入力信号への重み(係数)
0を超えた場合に出力(発火)
b
閾値の役割(発火のしやすさ)を果たす
例)閾値を0.5にする場合、予め-0.5を
用意しておくことで0を超えにくくする
(bに設定した数値の分、発火しやすくする)
8

9. x1
x2
Σ φ
w1=0.5
w2=0.5 y
b=-0.7
x1 x2 y
1 1 1
1 0 0
0 1 0
0 0 0
9

10. x1
x2
Σ φ
w1=0.5
w2=0.5
y
b=-0.2
x1 x2 y
1 1 1
1 0 1
0 1 1
0 0 0
10

11. x1
x2
Σ φ
w1=-0.5
w2=-0.5
y
b=0.7
x1 x2 y
1 1 0
1 0 1
0 1 1
0 0 1
11

12. x1
x2
Σ φ
w1
w2
y
b
12

13. x1
x2
Σ φ
w1
w2
y
b
Σ φ
Σ φw3
b
w4
w5
w6
b
13

14. x1
x2
Σ φ
w1=0.5
y
b=-0.7
Σ φ
Σ φ
b=-0.7
w5=0.5
w6=0.5
x1 x2 y
1 1 0
1 0 1
0 1 1
0 0 0
w2=-0.5
w3=0.5
w2=-0.5
OR
NAND
AND
b=0.7
14

15. y
良く見るグラフ
15

16. x1
x2
Σ φ
w1
w2
y
b
Σ φ
Σ φw3
b
w4
w5
w6
b
活性化関数
16

17. relu <- function(x) sapply(x, function(z) max(0,z))
ggplot(data=data.frame(x=c(-6,6))) +
stat_function(fun=step) + xlim(-6,6)
step<-function(x){ifelse(x>0,1,0)}
ggplot(data=data.frame(x=c(-6,6))) +
stat_function(fun=step) + xlim(-6,6)
図を作るのに使ったRのコードを
サンプルで掲載
sigmoid <- function(t){ 1/(1+exp(-t)) }
ggplot(data=data.frame(x=c(-6,6))) +
stat_function(fun=step) + xlim(-6,6)
17

18. 18

19. x1
x2
Σ φ
w1
w2
y
b
Σ φ
Σ φw3
b
w4
w5
w6
b
19

20. 20

21. 21

22. 時間がないのでここから
22

23. 23

24. http://www.slideshare.net/yasuyukisugai/io-t-deeplearning
学習モデルを作成するために
GPUインスタンスをスポットで
一時的に利用
画像が蓄積されてきたらまた
スポットを立ち上げて
学習のサイクルを回す
24

25. 25

26. https://github.com/microsoft/caffe
http://caffe.berkeleyvision.org/install_apt.html
http://caffe.berkeleyvision.org/install_osx.html
https://github.com/sh1r0/caffe-android-lib
https://github.com/BVLC/caffe/tree/opencl
26

27. 27

28. https://github.com/BVLC/caffe/pulse/monthly
少し落ち着いてきたかな？
28

29. 29

30. GoogLeNet: ILSVRC14 winner
https://github.com/BVLC/caffe/wiki/Model-Zoo
”Caffe offers the
model definitions
optimization settings
pre-trained weights
so you can start right away.”
30

31. 31

32. http://caffe.berkeleyvision.org/
https://github.com/BVLC/caffe/
32
いろんなところに
点在しちゃってる・・・
所々更新されないのは
ご愛嬌。。。

33. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.p
個人的にはこれが一番
纏まっててわかりやすいかと
33

34. http://demo.caffe.berkeleyvision.org/
34

35. http://places.csail.mit.edu/
35

36. 36

37.
時間が限られているので、主にConvolution層とPooling層だけ説明します
37

38. 38
0.1
0.2
0.7
Convolution ReLU Pooling
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
:
Convolution ReLU Pooling Full-Connected softmax

39. -1 -1 -1 -1 -1 -1
-1 1 -1 -1 -1 -1
-1 1 -1 -1 -1 -1
-1 1 1 1 -1 -1
-1 -1 -1 -1 -1 -1
-1 -1 -1 -1 -1 -1
-1 -1 -1
-1 1 -1
-1 1 -1
-1 -1 1
-1 1 -1
-1 -1 -1
-1 -1 1
-1 1 -1
1 -1 1
1 0.1 0.45 0.45
0.45 -0.33 0.45 0.33
0.33 0.1 0.45 0.33
0.1 -0.1 0.1 0.33
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
フィルタを1つずつ
スライドして
スコア算出
左上は全て一致して
いるため、1となる
省略省略
39

40. 白いところが負数から
0に変化
1 0.1 0.45 0.45
0.45 -0.33 0.45 0.33
0.33 0.1 0.45 0.33
0.1 -0.1 0.1 0.33
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
1 0.1 0.45 0.45
0.45 0 0.45 0.33
0.33 0.1 0.45 0.33
0.1 0 0.1 0.33
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
40

41. x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
:
4x4を2x2に分割
分割した領域ごとに
最大値を算出し、
情報圧縮
省略省略
1 0.45
0.33 0.45
x x
x x
x x
x x
:
1 0.1 0.45 0.45
0.45 0 0.45 0.33
0.33 0.1 0.45 0.33
0.1 0 0.1 0.33
41

42.
42

43.
43

44. 44

45. •
•
•
•
•
•
•
•
•
•
今日は細かい話は割愛します
45

46. 46

47. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_127
47

48. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_138
48

49. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_150
49

50. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_158
50

51. 51

52. •
•
•
•
•
•
•
•
52

53. •
•
•
•
•
53

54. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_0
54

55. •
•
•
•
•
55
http://host.robots.ox.ac.uk/pascal/VOC/voc2012/

56. https://docs.google.com/presentation/d/1UeKXVgRvvxg9OUdh_UiC5G71UMscNPlvArsWER41PsU/edit#slide=id.g129385c8da_651_10
56

57. 57

58. •
•
•
•
•
58

59. https://github.com/BVLC/caffe/pull/3948
59

60. •
•
•
•
•
•
•
•
•
•
60

61. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf
61

62. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf
62

63. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf
63

64. http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-sequences.pdf
•
64

65. •
•
•
http://youtu.be/w2iV8gt5cd4
http://youtu.be/9VH8bn7ikbw
http://jeffdonahue.com/lrcn/
65

66. http://mscoco.org/
•
•
•
•
66
やはりデータの入手がいつまでも課題に。。。

67. https://github.com/BVLC/caffe/pull/2033
本家に取り込まれるのに
時間がかかっただけで、
実装自体は前からあります。。。
そこまで新しい話ではないけど、
RNNがまた盛り上がってきてるし
CNNとRNNを組み合わせるのは
大きな可能性を秘めているので、
取り上げてみました
67

68. おわり。
68