Recommended
Recommended
More Related Content
Recently uploaded
Recently uploaded (11)
Featured
Featured (20)
ニューラルネットワークの仕組みを学ぶ 20170623
- 3. 2017/8/28 3 • グローディア株式会社 • システムソリューション部門 • 高橋洋樹 • 27歳 • 入社5年目 • 2歳の娘がいます Mail ： htakahashi@glodia.jp Github： https://github.com/spinachmedia 自己紹介
- 4. 2017/8/28 4 某雑誌の漫画のアシスタントで ひたすら壊れたコンクリートや 汚い壁を描く生活 家電量販店に従事 たまにカードゲームを 作って売ってます ImperialPoker ポーカーしながら 戦場でずる賢く生き残るゲーム 300本刷るのに20万程度発生 まだ回収できてない ゲームのルール作成が 妙にシステマチックで楽しい - iOS(ObjectiveC/Swift) - Java(Android) - Java(Server) - HTML/CSS - Javascript/JQuery - PHP(CakePHP) - Ruby(Rails) - インフラはサーバ構築なら少し… - Chef / CentOS7 # グローディア入社 家でもよく プログラミングしてます。 ゲームつくったり、 でも途中で やめることも多い。 なにしてる人？
- 9. 2017/8/28 9 前回学んだこと ■勉強しないとダメだ TensorFlowは便利なライブラリにすぎないので 使いこなすには機械学習の知識が必要 ■人工知能といっても映画みたいな感情があるロボットとかじゃないよ 学習の過程で判断基準を変えていける仕組みを持つシステムと理解してます。 かなり雑に説明すると、if文の判定条件を自分で勝手に変えていくようなイメージ。 私の学習結果 if ( 画像の色が全体的に赤っぽかったら ) then { echo “この画像は猫だ” } else { echo “この画像は猫ではない” } ※究極に単純化して説明しています 結論を出すために必要な “判断基準”をいい感じに 変更してくれたら 素晴らしいですよね
- 10. 2017/8/28 10 ■機械学習の仕組みの大枠は難しくない 私の学習結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 犬 猫犬 猫 猫 犬 猫 今持っている知識で 頑張って答える人工知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える人工知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答
- 11. 2017/8/28 11 ■機械学習の仕組みの大枠は難しくない 私の学習結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 犬 猫犬 猫 猫 犬 猫 今持っている知識で 頑張って答える人工知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える人工知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 この部分で様々な手法があり それがどんどん高度に 今もなお研究し続けられている
- 12. 2017/8/28 12 ■機械学習の仕組みの大枠は難しくない 私の学習結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 犬 猫犬 猫 猫 犬 猫 今持っている知識で 頑張って答える人工知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える人工知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 この部分で どのような手法があるか それらがどのような解析に 用いられているか
- 13. 2017/8/28 13 ■機械学習の仕組みの大枠は難しくない 私の学習結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 犬 猫犬 猫 猫 犬 猫 今持っている知識で 頑張って答える人工知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える人工知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 それがわかれば きっとTensorFlowを 使いこなせるん じゃないだろうか！？
- 14. 2017/8/28 14 というわけで今日はこれを説明します 今日はこれ 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 犬 猫犬 猫 猫 犬 猫 今持っている知識で 頑張って答える人工知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える人工知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ニューラル ネットワーク 誤差 逆伝搬法 ニューラル ネットワーク
- 15. 2017/8/28 15 ちなみに前回はこれでした。資料はありません。 前回はこれ 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 犬 猫犬 猫 猫 犬 猫 今持っている知識で 頑張って答える人工知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える人工知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 線形回帰分析 勾配 降下法 線形回帰分析
- 20. 2017/8/28 20 このへんからややこしい ニューラルネットワークは、 これら参考にプログラムとして置き換えられます。 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています ここの 話を しています
- 22. 2017/8/28 22 謎① 謎① 値ってなんのことだろう 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 例えば100x100ピクセルの画像を解析する場合 縦100 x 横100 x R x G x B の 30,000個の数値です 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています ここの 話を しています
- 24. 2017/8/28 24 謎① でもそんな情報量をここでは表現できないので、 「30,000個の数値」だと思って見てください。 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています ここの 話を しています 30,000個 の数値
- 26. 2017/8/28 26 謎② 謎② 処理ってなんのことだろう 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 処理とは、本当にシンプルな計算のことです 「受け取った数値」を「重み」という数値でかけたりしています ※すごくざっくり表現しています。 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています ここの 話を しています
- 27. 2017/8/28 27 謎① 謎② 処理ってなんのこと 値A 値B 値C 処理 重みA 重みB 重みC 重みD 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 もうちょっと詳しく… 計算結果 = (値A * 重みA) + (値B * 重みB) + (値C * 重みC) + 重みD 次の処理に渡す値 = あるフィルター( 計算結果 ) ※ ←数値を計算しやすい形に変えています 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています ここの 話を しています 各処理は、それぞれ「重み」という数値を必要な数だけ持っています。
- 29. 2017/8/28 29 謎③ 結果、というのがよくわからない。 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています ここの 話を しています
- 30. 2017/8/28 30 謎③ 結果、というのがよくわからない。 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています ここの 話を しています 渡された画像が 猫である確率 渡された画像が 犬である確率 渡された画像が 狐である確率
- 31. 2017/8/28 31 謎③ 結果、というのがよくわからない。 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています ここの 話を しています 渡された画像が 猫である確率 20% 渡された画像が 犬である確率 75% 渡された画像が 狐である確率 5%
- 32. 2017/8/28 32 謎③ こういうことです 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています ここの 話を しています この画像は犬！ 渡された画像が 猫である確率 20% 渡された画像が 犬である確率 75% 渡された画像が 狐である確率 5%
- 34. 2017/8/28 34 人工知能の勘違い 学習前の人工知能はとんでもないアホです 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています ここの 話を しています この画像は猫！ 渡された画像が 猫である確率 99% 渡された画像が 犬である確率 1% 渡された画像が 狐である確率 0% 犬
- 35. 2017/8/28 35 人工知能の勘違い 間違ってたら、次に活かすんです。 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています この画像は猫だと思ったけど どうやら犬らしい。。。 渡された画像が 猫である確率 99% 渡された画像が 犬である確率 1% 渡された画像が 狐である確率 0% 犬
- 36. 2017/8/28 36 人工知能の勘違い 間違ってたら、行動を見直すんです。 値A 値B 値C 処理 重みA 重みB 重みC 重みD 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 各処理が持つ「重み」を ちょっとだけ変えてみる 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています 重みA 2 → 2.05 重みB 4 → 3.95 重みC 0.3 → 0.35 重みD 1 → 1.05 全ての「処理」で重みを微修正していきます。
- 37. 2017/8/28 37 人工知能の成長 成果はいつだって少しずつでてきます。 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています まだ猫に見えるけど…。 少しだけ犬のような気もしてきた！ さっきの重みの修正は間違ってなかった！ 渡された画像が 猫である確率 75% 渡された画像が 犬である確率 15% 渡された画像が 狐である確率 10% 犬
- 38. 2017/8/28 38 人工知能の勘違い いいぞ、その調子 値A 値B 値C 処理 重みA 重みB 重みC 重みD 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 また各処理が持つ「重み」を ちょっとだけ変えてみる 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています 重みA 2.05 → 2.1 重みB 3.95 → 3.9 重みC 0.35 → 0.3 重みD 1.05 → 1.1 全ての「処理」で重みを微修正していきます。
- 39. 2017/8/28 39 人工知能の成長 積み重ねが大事です。 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています だんだん犬のような 気がしてきた！ 渡された画像が 猫である確率 40% 渡された画像が 犬である確率 30% 渡された画像が 狐である確率 30% 犬
- 40. 2017/8/28 40 人工知能の勘違い 繰り返す 値A 値B 値C 処理 重みA 重みB 重みC 重みD 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 また各処理が持つ「重み」を ちょっとだけ変えてみる 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています 全ての「処理」で重みを微修正していきます。 とんでもない回数分 「重み」の修正を 繰り返す
- 41. 2017/8/28 41 人工知能の成長 繰り返し、やがて学習は完了します 値 値 値 処理 処理 処理 処理 処理 処理 処理 処理 結果 結果 結果 学 習 分 析 たくさんの訓練データ (データと回答のセット) 分析したい画像データ (我々はこの画像が 何者なのか知りたい) 猫 ⽝ 猫⽝ 猫 猫 ⽝ 猫 今持っている知識で 頑張って答える⼈⼯知能 どうしようもなく 間違った回答 判断基準の修正 難しそうなことを している場所 狂うほど繰り返す (数万回とか) 難しそうなことを している場所 学習した結果で すまして答える⼈⼯知能 難しそうなことを している場所 猫? 学習しているので それっぽい回答 ここの 話を しています 学習完了！ 渡された画像が 猫である確率 3% 渡された画像が 犬である確率 92% 渡された画像が 狐である確率 5% 犬
- 42. 2017/8/28 42 結局？
- 47. 2017/8/28 47 課題はもちろんあった ・画像解析の精度がイマイチ -> ニューラルネットワークは、「点」で分析していくので、画像のような「面」の解析に弱い。 -> 「面」で解析していく「畳み込みニューラルネットワーク」が人気になっていきます。 -> その「畳み込み…」にも課題があり、「深層学習」に発展していきます。 ・処理を何層にすればいいのかよくわからない -> いい感じに学習してくれる処理の層があるはず。 -> 計算が膨大で複雑すぎて、人間には相関が見えない。 -> 何度も試していくしかない ・重みの初期値をどうすればいいかわからない -> いい感じに学習してくれる、「重みの初期値」というものがきっとあるはず -> これは何度も試すしかない ・計算量が膨大であるため、1度学習を試行するのに数週間かかることもある。 -> 何度も試して見たいのにスペックがたりないよ、時間が足りないよ。
- 49. 2017/8/28 49 参考にさせていただきました 【書籍】 ■O’REILLY ゼロから作るDeep Learning Pythonで学ぶディープラーニングの理論と実装 https://www.amazon.co.jp/ゼロから作るDeep-Learning-Pythonで学ぶディープラーニングの理論と実装-斎藤-康毅/dp/4873117585/ ■講談社 深層学習 (機械学習プロフェッショナルシリーズ) https://www.amazon.co.jp/dp/B018K6C99A/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1 【動画】 ■Coursera Machine Leaning https://www.coursera.org/learn/machine-learning/ ■ Udemy みんなのAI講座 ゼロからPythonで学ぶ人工知能と機械学習 https://www.udemy.com/learning-ai/