Deep Learning Abstract
•Download as PPTX, PDF•
5 likes•1,997 views
IISAテクニカルカンファレンス２０１６で弊社小林が発表した際の資料になります。 近年の人工知能ブームの火付け役となったDeep Learningが大きな注目を集めております。今回は、Deep Learning Abstractということで、Deep Learningの歴史、概要を説明させていただきます。 当日発表動画はこちらになります。 https://www.youtube.com/watch?v=MCjXKjFcFmA
Recommended
More Related Content
Similar to Deep Learning Abstract
Similar to Deep Learning Abstract (20)
More from Ryousuke Wayama
More from Ryousuke Wayama (10)
Recently uploaded
Recently uploaded (9)
Deep Learning Abstract
- 2. 2 いきなりですが、
- 4. Deep Learningの事例 • AlphaGo • Google DeepMindが開発した コンピュータ囲碁プログラム • 囲碁プログラムが勝利するまで 10年かかると言われていた • 計算する分岐数が宇宙に存在する 原子の数（1080）よりも多い 10172 • ハンデ無しでプロ棋士に勝利 4
- 5. Deep Learningの事例 • 画像からキャプションを自動生成 • 画像内の物体を認識し、関係性を考慮 した文章を生成 • イラスト自動生成 • 指定した特徴をもつイラストを生成 5 http://qiita.com/mattya/items/e5bfe5e04b9d2f0bbd47
- 6. Deep Learningの事例 • 運転補助 • カメラや各種センサーからの物体認識 • 自動運転のハンドル操作 • Siri • 音声認識、文脈理解、音声合成 • Googleでは様々なサービスで Deep Learningを使用 • 検索、画像検索、翻訳… 6
- 7. Deep Learningの事例 • 女子高生AI「りんな」 • MicrosoftがLineやTwitterで サービスを提供している会話 ボット • 自然言語処理により会話 • サービス開始1ヶ月でユーザー 数130万人超え • 中国ではりんなのベースとなっ た女性型会話ボットXiaoiceと結 婚したいという男性も • TVドラマ「世にも奇妙な物語」 に出演 7
- 8. Deep Learningの歴史 • 1943年 形式ニューロンの考案 • 人間の脳細胞、ニューロン・シナプスを元に考案された数式モデル 8ニューロン・シナプス 𝑥2 閾値ℎ 出力入力 𝑥1 𝑥 𝑛 𝑦 𝑤1 𝑤2 𝑤 𝑛 形式ニューロン 結合荷重
- 9. Deep Learningの歴史 • 1958年 パーセプトロンの開発 • 史上初のニューラルネットワーク • 学習を行なうことで入力されたデータを2つのクラスに分類 9パーセプトロン 𝑥2 𝑓(. ) 出力 入力 𝑥1 𝑥 𝑛 𝑦 𝑤1 𝑤2 𝑤 𝑛 結合荷重
- 10. Deep Learningの歴史 • XOR問題 • 線形分離不可能問題を解くことができない • ブームは急速に下火に→冬の時代へ… 10 線形分離可能 線形分離不可能 現実に存在する多くの問題は 線形分離不可能問題
- 11. Deep Learningの歴史 • 1986年 誤差逆伝播法 • 線形分離不可能問題も解けるように 実際やってみると… • 思ったより精度が良くない • 学習に必要なデータの不足 • マシンパワーの限界 • 冬の時代再来 11
- 12. Deep Learningの歴史 • 人工知能から機械学習に移動する研究者が多数 • 異なる分野でも同じ機械学習手法が使える • 特定の対象に特化させることで高い性能が得られる • 機械学習での特徴抽出のチューニングが盛んに →特徴の設定が複雑化し各研究室の秘伝のタレのような状態 • 学会に論文を出しても「ニューラルネットは終わった技術」というレッテルを貼 られてリジェクトされる • それでも残っていた研究者は地道に研究を続けた • 1979 年に福島らが開発したネオコグニトロンや、1990 年代に LeCunらによっ て誤差逆伝搬法による学習法が確立される等、現在に至るディープラーニングの 基礎はこの当たりで確立しているが、一部でのみ注目されていた 12 冬の時代の間… 機械学習が盛り上がる一方で人工知能は…
- 13. Deep Learningの歴史 • 2000年代後半 • 計算機が発達し、大量のデータでの訓練が可能に • Deep Neural Netの出現 • 人の視覚野の働きに似た画像特徴抽出 • 視覚野 – 脳にある視覚情報の処理を行なう領域 • 階層構造になっており、層が深くなるほど高次の情報を扱える →これに似た働きをニューラルネットワークで実現 • ニューラルネットワークはもともと脳の模倣 →脳科学の発展の恩恵を受ける（スパースネス等） • Deep Learningという言葉が登場 • まだ一部の研究者のみ注目している状況 13 サルの脳の視覚野の構造
- 14. Deep Learningの歴史 • 2010年代 • 画像認識コンテストでニューラルネットワークを用いた手法が 2位に大差をつけて圧勝 • 2位の誤認識率約0.26に対して1位は約0.16 • 画像の専門家ではない研究者が達成 • 機械学習界隈に衝撃が走る • GoogleがYoutubeの動画をニューラルネットワークに学習させたとこ ろ、猫を認識するようになった 14
- 15. Deep Learningと機械学習の違い • 従来の機械学習 • 何を使って判別すればいいのか人間が教える必要がある • 人間が判別に使用する特徴を抽出し機械学習に渡す • 学習するまでに事前準備が必要 • 特徴の設定は各領域の専門家による職人芸 • 学習させた判別器は特定の条件やドメインに特化→有効な範囲が狭い • タバコ自販機の顔認識による年齢判別→顔をしわくちゃにすれば高い年齢と判別される • 計算が速いので多少誤差があってもいいところには使われてきた • プリクラやカメラの顔検出 15
- 16. Deep Learningと機械学習の違い • Deep Learning • 判別に必要な変数、特徴を自分で抽出する →人間が特徴抽出したりベクトルに変換したりする必要がない • 特定の課題に特化しているわけではないため様々なタスクに利用でき る→汎化性能が高い 16
- 17. Deep Learningの現状 • 様々な大手企業がDeep Learningに注目 • Google, Microsoft, Baidu, Facebook,トヨタ、ドワンゴ… • Deep Learningへの投資も盛ん • Baiduがシリコンバレーに研究所を作る • トヨタがシリコンバレーに人工知能技術の研究・開発の拠点として新会社設立 • トヨタがマサチューセッツ工科大学、スタンフォード大学と連携研究センターを 設立し今後5年間で5000万ドル投資すると発表 • 人材の奪い合いが勃発 • 会社の買収 • GoogleがDeep Mind Technologiesを4億ドル（約420億円）で買収 • 研究者のヘッドハンティング • Baiduがスタンフォード大の教授を研究所所長に迎え、 300億円を研究予算として投資 • Facebookが人工知能研究所を設立し、ニューヨーク大の教授を所長に招く 17
- 18. Deep Learningの現状 • 日本は遅れている • 冬の時代に研究者が人工知能関係から離れて機械学習へ • 2度も冬の時代を経験していたのでDeep Learningに懐疑的な人が多かった • 最近は産学官で盛り返しつつある • 人工知能専門の研究所の設置 • ドワンゴ人工知能研究所、産業技術総合研究所 人工知能研究センター… • 人工知能関連領域の研究者の育成 • 東大「先端人工知能学教育寄付講座」にドワンゴ、トヨタなどが9億円寄付 18
- 19. Deep Learning界隈の問題 • ImageNet問題(1) • Deep Leaeningは学習用のデータセットを作成するのが大変 • 精度を上げるには大量のデータが必要 • そこにImageNetと呼ばれるスタンフォード大の研究者Fei-Fei Li氏が 作成した1400万枚にもおよぶ画像データセットが登場 • Deep Learningの研究が盛んに • 皆このデータセットばかり使い始める • 研究段階であれば問題ないが実際に使うとなると汎用性から問題に 19 ImageNetのデータセットだと精度が高いのに、 他のデータセットだと精度ががた落ち
- 20. Deep Learning界隈の問題 • ImageNet問題(2) • 実用化するにはImageNet以外のデータセットも使って学習させる必要 がある • Googleは画像・動画とコメントの組み合わせをもつコンテンツを持っている →自分たちで画像データセットを作成することが比較的容易 • データセットを作成できるコンテンツを持っていない他のところは？ • データセットをどうやって作成するかが重要になっている • クラウドソーシングを使って安価に大量の画像データにラベリングしてもらう • そもそもデータセットがいらない教師無し学習や遺伝的アルゴリズム、強化学習 なども有望そう • ドワンゴがニコニコ動画の動画IDとコメントデータを公開 • コメントデータは時系列データのため動画内のシーンとコメントの紐付けが可能 →教師データとして使える？ 20
- 21. Deep Learning界隈の問題 • 計算資源の格差(1) • Deep Learningは学習の計算処理にとても時間がかかる • 層を多くすれば性能が向上するが行列計算が多くなる →効率的に計算するには並列処理が重要に • CPUのコア数：22基（ intelのサーバー向けCPU Xeon E5 v4 ） • GPUのコア数：3072基（GeForce GTX TITAN X） • 繰り返し実験を行なうには高性能なマシンが必要 • Googleは数千台規模のサーバーをつないで一台 のスーパーコンピュータのように使っている • Deep Learning専用のTPUや量子コンピュータも開発 • 十分な計算資源を持てるのは大企業などに限られてくる 21 Deep LearningにはGPUがないと話にならないとまで言われるように 計算資源を持たないところとのレベル差が大きくなる Googleが開発したTPU（左）と、量子ビット（右）
- 22. Deep Learning界隈の問題 • 計算資源の格差(2) • 日本の計算資源 • ディープラーニング専用GPUサーバーファーム「紅莉栖(くりす)」（ドワンゴ） • 全脳アーキテクチャ勉強会で発表する研究については無償貸し出し • さくらインターネットがDeep Learningなどの機械学習向けのサービス「高火力コン ピューティング」の提供を開始 • スーパーコンピュータTSUBAME2.5（東工大） • GPUを搭載したスーパーコンピュータ • 学外の研究機関・民間企業でも 使う ことができる • PEZY Computing • スーパーコンピュータ向けのメニーコア プロセッサの開発を行なっている会社 • クラウドサービス • Amzon EC2でGPUインスタンスやGoogle の machine learning(ベータ公開中)を学習時 使うのもいいかも 22
- 23. Deep Learning界隈の問題 • 計算資源の格差(3) • NVIDIAが様々なデバイスを開発 • 車載用の自動運転開発キットを作成 • NVIDIA DRIVE PX2 – 車載デバイスとして開発された、自動運転車向けAI搭載コ ンピュータ。 • 組み込み系のデバイス • NVIDIA JETSON TK1/TX1 – 組み込みプラットフォーム。 • NVIDIA Tegra – モバイル向けプロセッサ。Nintendo Switchにも採用。 • Deep LearningのライブラリTensorflowはiOS, Androidでも動 かせる →スマートフォンでもDeep Learningを動かせる 23
- 24. Deep Learningの欠点 • 結果がどのように導き出されたのかわからない • 結果が出された過程がブラックボックス化 • 人間には理解できない内容になっている • 例：AlphaGoの敗因 • プロ棋士と対戦し4勝1敗 • 負けた局では悪手を連発 →AlphaGoの製作者にも原因がわからなかった 24
- 25. Deep Learningの欠点 • ブラックボックス化しているシステムを使っても大丈夫？ • 問題が起きたとしても原因の特定が困難 • 重要なタスクにはまだ使い辛い • 例：テスラ・モーターズの自動運転で死亡事故 • トレーラーの色が原因で誤認識したのではないかと 推測はされているが明確な答えはまだ出ていない • 将来的にブラックボックス化した内容を人間に理解できるよう に解析するDeep Learningが登場するのでは？ • デバック用になぜそのような判断をしたのか理由をログに出力など 25
- 26. Deep Learningの有望性 • 人間の補助という使い方 • Watson • IBMが作成したコンピュータシステム • 2000万件もの医学論文を学習 • 医師にもわからなかった白血病患者の病気を特定 • 最終的にこの判断に従うことを決定したのは人間の医師 • 人間が最後の責任を持つような使い方であれば有効的に使うこ とができる 26
- 28. 研究開発部でのDeep Learning • 地震予測 • 現在の地震予測は統計的手法によるもの • Deep Learningで学習することにより人間にはわからなかった特徴か ら地震を予測できるようになるのでは？ • 時系列予測を行なうPredNetを地震波のデータ（IRISから取得）で学 習 28 現在の取り組みとしては・・・
- 29. 最近のDeep Learningの動向 • 人間の代わりに物理実験を行なうAI • 超低温のガスBose-Einstein condensate（ボース＝アインシュタイン 凝縮）を作成する実験 • 作成時のパラメータをコントロールして効率的な作り方を見つける • AIは実験のやり方を1時間足らずで覚える • 人間が考えもしなかった複雑な実験手法を編み出すことを期待 • 現在の作成手法を開発した研究者たちはノーベル賞を受賞 →AIが新しい手法を開発したらノーベル賞に匹敵？ 29 シンギュラリティが早まるのでは？
- 30. 最近のDeep Learningの動向 • Deep Learningでキュウリの仕分け • キュウリ農家がDeep Learningを使ってキュウリ仕分け機を 自作 • 3つのカメラ画像からキュウリの等級を判別 • 精度は7～8割 • 時間のかかる仕分けを自動化することでおいしい野菜を 作ることに時間を割ける • Google Cloud Platform Japanの公式ブログでも紹介 (http://googlecloudplatform- japan.blogspot.jp/2016/08/tensorflow_5.html) • 農林水産省も視察しており日本政府も注目 30
- 31. 最近のDeep Learningの動向 • Wavenet • Google DeepMindが開発した自然な音声を生成するDNN • 既存の合成音声の多くは音声の断片を繋ぎ合わせている →音声の種類によってそれぞれのデータベースが必要 • Wavenetは音声の波形を直接生成するためデータベースはいらない • しかも、従来の手法よりも自然な音声を生成 • 未知の言語の音声や楽器で演奏した音楽を作成することも可能 • https://deepmind.com/blog/wavenet-generative-model-raw-audio/ 31
- 32. 最近のDeep Learningの動向 • Differentiable Neural Computers(DNC) • Google DeepMindが提案した外部メモリを持つニューラルネットワークモデル • 時系列処理を行なううえで、毎時刻の通常の外部入力に加えて外部メモリから読み出し たデータを入力 • 外部メモリを使うことで今まで扱えなかった複雑な情報処理が可能に →従来のニューラルネットでは特定のフレームに特化しないと難しかったタスクを解決 • http://qiita.com/yos1up/items/599ff75c876f6f94d249 • https://deepmind.com/blog/differentiable-neural-computers/ 32
- 33. 最近のDeep Learningの動向 • 3D-GAN(3D Generative Adversarial Network) • 入力された画像を元に3Dモデルを生成 • https://arxiv.org/pdf/1610.07584v1.pdf 33
- 34. 最近のDeep Learningの動向 • 入力されたモノクロ画像から色を予測してカラー化 • https://github.com/satoshiiizuka/siggraph2016_colorization 34
- 35. 最近のDeep Learningの動向 • 画像内のオブジェクトを抽出し、オブジェクトが何か分類する • https://github.com/facebookresearch/multipathnet 35
- 36. 最近のDeep Learningの動向 • DCGAN • https://arxiv.org/pdf/1511.06434v2.pdf • 画像生成技術 • ベクトル化した概念で演算を行い画像を生成することが可能 • パラメータzの差が意味ベクトルとなる 36 zの値域 Z3 Z1 サングラスベクトル Z2 女性ベクトル
- 38. デモ：画像の自動生成 • iGAN - ユーザが描いたガイド線を元に画像を生成 • http://www.creativeai.net/posts/yLomAt5GqaRrbkW9g/igan- interactive-image-generation-powered-by-gan 38
- 39. 最近のDeep Learningの動向 • DCGANの発展 • 静止画から動画を作成 • http://web.mit.edu/vondrick/tinyvideo/ 39
- 40. 最近のDeep Learningの動向 • DCGANの発展 • マルチモーダル変換 • http://web.mit.edu/vondrick/cmplaces_pami.pdf • 写真、イラスト、スケッチ、テキストなどを相互に変換 40
- 41. Deep Learningを実装するには？ • プログラム言語はPython • スクリプト言語で機械学習系ではよく使われている • 標準ライブラリが多く、数学系の計算が得意 • Deep Learningの主なフレームワーク • Caffe • Deep Learningのライブラリでは老舗 • 研究や論文で使われていることが多い • TensorFlow • Google製の分散行列計算ライブラリ（機械学習以外にも使えるらしい） • Chainer • Preferred Networks社（機械学習や人工知能系に特化した日本の企業）が開発し た日本産のライブラリ • 日本語の情報やサンプルコードが多い 41
- 42. 参考になりそうな資料 • Preferrd Instructure(PFI) - https://preferred.jp/ • Deep Learningや機械学習をメインにしている日本の会社 • 研究会などの資料をあげてくれている。最新の論文をサーベイするときにチェックしておくと 良いかもしれない • cvpaper.challenge - https://twitter.com/CVpaperChalleng • サーベイした論文をピックアップ • Qiita - https://qiita.com/ • DeepLearningとかライブラリ名とかで検索するといいかも • オンライン機械学習、深層学習（書籍） • PFIの中の人が書いた書籍。must-read! • Stack Overflow - http://stackoverflow.com/ • Python等様々なプログラミングのQ&Aサイト 42The last programming book you'll ever need
- 43. 参考になりそうな資料 • 資料作成で特に参考にしたもの • http://www.slideshare.net/pfi/deep-learning-22350063 • http://www.slideshare.net/beam2d/deep-learning-22544096 • http://www.slideshare.net/Takayosi/deep-learning-seminar • http://www.gdep.jp/seminar/20150526/DLF2015-01-MATSUO.pdf 43
- 44. Deep Learningの展望 • Deep Learningはあらゆる分野に波及していく • CVPR2015ではDeep Learning系の論文が4割だったがCVPR2016では8割に 増加 • Google BrainチームがAIを使った暗号技術の実験 • 他にも様々な分野でAIの導入が模索されている • キュウリの仕分け、物理実験、裁判官AI、株取引… • Differentiable Neural Computers(DNC) - 外部メモリをニューラルネット ワークに追加することで、特定のフレームに特化しないと難しいと思われた タスクを解決 →汎用性が向上しより多くの分野のタスクが解決できることが期待できる 44
- 45. Deep Learningの展望 • 現在のDeep Learningは過渡期であり進歩が著しく速い • 著作権の問題 • Deep Learningが作り出した成果物の著作権は誰のもの？ • アプリを使ったユーザ？アプリの制作者？学習データの作者？ • 学習効率を上げる蒸留 • 高度なNNの出力結果をよりシンプルなNNに再学習させる手法 →高度なNNとほぼ同等の性能をコンパクトなNNに簡単にコピーできてしまう 45 法整備が追いついていない
- 46. Deep Learningの展望 • オバマ大統領がAI未来戦略レポートを発表し、 MITメディアラボの所長とAIについて対談 • AIに仕事を奪われた人のために最低所得保障が必要？ • 米政府もAIに注目している 46
- 47. Deep Learningの展望 • 世界規模でAIが社会に与える影響を重要視 • G7情報通信大臣会合でAI開発、8原則を大筋合意 • AIの研究開発についての安全性の確保などの原則 • 人工知能技術戦略会議の設置 • 総務省・文部科学省・経済産業省がAI技術の研究開発において連携 • AI技術の研究開発と成果の社会実装を加速化させる • 若手研究者の支援や人材育成プログラムなどを計画 47 日本でも… 日本での今後のAI技術の発展に期待
Editor's Notes
- 近年の人工知能ブームの火付け役となったDeep Learningが大きな注目を集めております。 弊社の研究開発部でも少し前からDeep Learningに取り組み始めました。 本日はDeep Learning Abstractということで、Deep Learningの概要を説明させていただきたいと思います。
- 最初にDeep Learningの事例を幾つか紹介したいと思います。 まずはおそらく皆さんもご存知かと思われる、Google DeepMindが開発したコンピュータ囲碁プログラムAlphaGoです。 従来の囲碁プログラムは人間に勝利するまで10年かかるといわれていましたが、このAlphaGoは去年、ハンデ無しでプロ棋士に勝利するという快挙を成し遂げました。
- こちらは画像からキャプションを自動生成研究で、右の画像から生成されたキャプションが”Group people sitting at a table with a dinner”になります。このように画像内の物体を認識するだけではなく、関係性を考慮した文章を生成しています。 下の画像では左端の元画像から赤い髪という概念をマイナスして金髪という概念をプラスすることで金髪に変更した画像を生成しています。 このように指定した特徴を持つイラストを自動生成する技術も発表されています。
- DeepLearningは私たちの身近なところでも使われてきています。 自動車の運転補助ではカメラやセンサーからの物体認識に使われていますし、自動運転のハンドル操作もDeepLearningが行なっています。 iPhoneなどに搭載されているSiriは音声認識、文脈理解、音声合成などにDeepLearningが使われており、Googleでは様々なサービスでDeepLearningを活用しています。
- Microsoftがサービスを提供している会話ボット女子高生AI「りんな」はDeepLearningを用いた自然言語処理によりユーザと会話をしています。 りんなはサービス開始1ヶ月でユーザ数が130万人を超えたり、中国ではりんなのベースとなったXiaoiceと結婚したいという男性が現れたり、TVドラマ「世にも奇妙な物語」に出演したりと、ちょっとした社会現象になりました。
- 私たちの周りでも活用されてきているDeepLearningですがどのような歴史を持つのか説明したいと思います。 1943年、人間の脳細胞ニューロンシナプスをもとに数式モデル形式ニューロンが考案されました。
- この形式ニューロンをもとに1958年、史上初のニューラルネットワーク、パーセプトロンが開発されました。 これは学習することで入力されたデータを2つのクラスに分類するものであり、大きな注目を集め第1次AIブームをもたらしました。
- しかし、パーセプトロンについてXOR問題が指摘されました。パーセプトロンはこのように一本の直線を引くことで解決できる線形分離可能問題は解けるのですが、直線を引くだけでは解決できない線形分離不可能問題は解くことができませんでした。 そして現実に存在する多くの問題は線形分離不可能問題であったため、あまり使えないじゃないかということになりブームは急速に下火に、AIの冬の時代が到来しました。
- その後、1986年に誤差逆伝播法の開発により線形分離不可能問題も解けるようになると再び注目を集め、第2次AIブームが到来します。大きな期待がされたのですが実際やってみると思ったより精度が良くありませんでした。 というのも学習に必要なデータが不足していたり、マシンパワーの限界があったりといった原因がネックになったためでした。 期待を裏切る結果となり、再びAIの冬の時代に突入してしまいました。
- この冬の時代の間、人工知能から機械学習に移動する研究者が多数いました。 異なる分野でも同じ手法が使える、特定の対象に特化させることで高い性能が得られるといった特徴から機械学習が注目されたためです。 そういったなかで機械学習での特徴抽出のチューニングが盛んになった結果、特徴の設定が複雑化し各研究室の秘伝のタレのような状態になっていきました。 このように機械学習が盛り上がる一方で人工知能は、学会に論文を出しても「ニューラルネットは終わった技術」というレッテルを貼られてリジェクトされるなど厳しい状況でした。 それでも残っていた研究者たちは地道に研究を続けており、ネオコグニトロンや誤差逆伝播法による学習法の確立など、現在に至るDeepLearningの基礎が確立されていきましたが、一部でのみ注目される状況でした。
- 2000年代後半に計算機が発達し、大量のデータの訓練が可能になるとDeepNeuralNetと呼ばれるニューラルネットが出現し、このDeepNeuralNetで人の視覚野の働きに似た画像特徴抽出が実現したという発表がありました。 視覚野とは脳にある視覚情報の処理を行なう領域で、サルの脳の視覚野を示した右の図のようにV1、V2、V3というような階層構造になっており、この層が深くなるほど高次の情報が扱えるというものです。 ニューラルネットも階層構造になっており、これに似た働きを実現したという発表でした。 また、ニューラルネットはもともと脳の模倣であったことから、脳科学でわかったことをニューラルネットに応用するというように、脳科学の発展の恩恵を受けていました。 DeepLearningという言葉もこのあたりで登場しましたが、まだ一部の研究者のみが注目している状況でした。
- そんな状況が大きく変わったのが2010年代です。 画像認識コンテストでニューラルネットを用いた手法が2位に大差をつけて圧勝しました。しかも画像の専門家ではない研究者が達成したということで、機械学習界隈に衝撃が走りました。 さらに、GoogleがYoutubeの動画をニューラルネットに学習させたところ猫を認識するようになったという発表を行ないました。 このような衝撃的な事例により第3次AIブームが到来し、その火付け役となったDeepLearningが注目されるようになりました。
- DeepLearningは先ほどの説明の中でも出てきた機械学習の手法の一種なのですが、従来の機械学習との違いを説明します。 従来の機械学習では、まず人間が何を使って判別すれば良いのか教える必要がありました。 例えば下の画像のような入力画像が合った場合、人間の手で特徴抽出を行い、その特徴をベクトル表現に直してから学習器に渡すというように、学習するまでに事前準備が必要です。 特に抽出する特徴の設定は各領域の専門家による職人芸とまで言われるほど複雑化していました。 また、学習させた判別器は特定の条件やドメインに特化しており、有効な範囲が狭いという問題がありました。 例えば、昔タバコの自販機で顔認識による年齢判別がありましたが、顔をしわくちゃにすれば高い年齢と誤認識されていました。 ただ、計算が速いのでプリクラやカメラの顔検出など多少誤差があっても良いところには使われてきました。
- 一方DeepLearningでは判別に必要な特徴をニューラルネット自身が抽出するため、人間が特徴抽出したりベクトルに変換したりする手間が必要ありません。 また、特定の課題に特化しているわけではないため様々なタスクに利用でき、汎用性が高いという特徴があります。
- DeepLearningにはGoogleやMicrosoftなどといった大手企業も注目しており、研究所が作られるなど投資も盛んに行なわれています。さらに、会社の買収や研究者のヘッドハンティングなど人材の激しい奪い合いも勃発しています。
- こういった中で日本は正直遅れている状況です。冬の時代に多くの研究者が人工知能を離れて機械学習へ移ってしまったことが原因の一つとなっています。 しかし、人工知能専門の研究所を設置したり、研究者の育成の動きがあったりと最近では産学官で盛り返しつつあります。
- 盛り上がっているDeepLearning界隈ですが、幾つか問題も発生してきています。 まず一つ目はImageNet問題と呼ばれるものです。 DeepLearningの性能を上げるためには大量のデータが必要であり、そのような学習用データセットを作成するのは非常に大変な作業です。 そんな中でImageNetと呼ばれる画像データセットが登場したことでDeepLearningの研究が盛んになったのですが、みんなこのデータセットばかり使い始めたところ、ImageNetのデータセットだと精度が高いのに他のデータセットだと精度ががた落ちするというような現象が現れてきました。 研究段階であれば問題ありませんが、実用化するとなると汎用性から問題になるため、
- ImageNet以外のデータセットでも学習する必要があります。 Googleはデータセットを作成できるコンテンツを持っていますが、そのようなコンテンツを持っていないほかのところはどうすればよいのでしょうか？ ということで現在、データセットをどうやって作成するのかが重要になってきています。 考えられる手法としてはクラウドソーシングを使うものや、そもそもデータセットが必要ない手法で学習を行なうなどが挙げられます。 また、データセットに関連して、ドワンゴがニコニコ動画の動画IDとコメントデータを公開しており教師データとして使えるのではと注目されています。
- 二つ目の問題が計算資源の格差です。 DeepLearningは計算処理にとても時間がかかり、特に行列計算が多くなることから並列処理が得意なGPUがないと話にならないとまでいわれています。 繰り返しDeepLearningの実験を行なうにはGPUを搭載した高性能なマシンが必要になります。 Googleは数千台規模のサーバーを使ったり、Deep Learning専用のデバイスの開発をしたりしていますが、そのような十分な計算資源を持てるのは大企業に限られてきます。 そのため、計算資源を持たないところとのレベル差が大きくなることが問題視されています。
- では日本にはどのような計算資源があるのかというと、ドワンゴがDeepLearning専用のGPUサーバーファームを作成したり、さくらインターネットがDeepLearningなど向けのサービスの提供を開始したりしています。 東工大にはGPUを搭載したスーパーコンピュータTSUBAME2.5がありますし、スーパーコンピュータ向けのプロセッサの開発を行なっているPEZY Computingといった会社があります。また、Amazon EC2やGoogleのmachine learningといったクラウドサービスを活用するという手段もあります。
- 計算資源に関連して、GPUを開発しているNVIDIAはDeep Learning向けに様々なデバイスを開発しています。 車載用の自動運転開発キットや組み込み系のデバイス、モバイル向けのプロセッサなどがあります。 また、Deep LearningのライブラリTensorflowはiOSやAndroidでも動かせることから、スマートフォンでもDeep Learningを動かせる時代になっています。
- いくつか問題が起こっているDeepLearning界隈ですが、DeepLearning自身にも欠点があります。それは結果がどのように導き出されたのかわからない点です。 学習を行なったニューラルネットの内容は人間には理解できないものになっており、結果が出された過程がブラックボックス化してしまいます。 この例として、AlphaGoは今年3月にプロ棋士と対戦し4勝1敗という成績でしたが、負けた局では悪手を連発していました。そしてなぜこのような手を打ったのかAlphaGoの制作者も原因がわかりませんでした。
- ではこのようにブラックボックス化しているシステムを使用しても大丈夫なのでしょうか。 現在のDeepLearningではブラックボックス化しているため問題が起きても原因の特定が難しく、人命やインフラなど重要なタスクにはまだ使い辛いのが現状です。 この例として、テスラモーターズの自動運転で死亡事故があります。トレーラーの色によって誤認識したのが事故の原因ではと推測はされていますが、明確な答えはまだ出ていません。 こうした状況で将来的にブラックボックス化した内容を人間に理解できるように解析するDeepLearningが登場するのではと研究開発部では予想しております。
- このように欠点もあるDeepLearningですが、人間の補助という使い方があります。 例えばIBMが作成したコンピュータシステムWatsonは2000万件もの医学論文を学習した結果、医師にもわからなかった白血病患者の病気を特定し患者の命を救いました。 そして、最終的にWatsonの判断に従うと決定したのは人間の医師でした。 このように人間が最後の責任を持つような使い方であれば現在でも有効的に使うことができると思われます。
- このように様々な盛り上がりを見せるDeepLearningですが、弊社の研究開発部では、これまで人間には原因がわからなかった現象などについてDeepLearningを用いることで新たな特徴を発見するなど、人間に新しい知見をもたらし様々な技術の発展に貢献するのではないかと期待し注目しております。
- そしてDeepLearningついての現在の取り組みとして地震予測を行なっております。 従来の地震予測は統計的手法によるものですが、DeepLearningを用いることで人間にはわからなかった特徴を見つけ出し地震を予測できるのではないかと考えております。 そこで時系列予測を行なうPredNetと呼ばれるネットワークモデルに地震波のデータを学習させてみています。 こちらは東日本大震災あたりの日本全国の地震波のデータをもとに学習し熊本地震の地震波を10秒間先のものを予想した画像です。赤が地震波を表していますが、学習データが少ないこともあり上の正解の画像と比較しても精度はまだまだという状況です。
- ここからは最近のDeepLearningの動向として新しい技術や話題になったニュースなどを紹介させていただきます。 こちらは人間の代わりに物理実験を行なうAIで、今後ノーベル賞に匹敵するような新しい手法をAIが開発するのではと期待されており、もし実現したらシンギュラリティが早まるのではといわれています。
- 次は日本のキュウリ農家がDeepLearningを使ってキュウリ仕分け機を自作したという事例で、Googleが取材して紹介したり、農林水産省が視察にきたりと様々なところから注目を集めています。
- Google DeepMindが開発したWavenetは音声データベースを使わずに従来の合成音声よりも自然な音声を生成することができる技術で、未知の言語や楽器の音なども生成することができます。
- 同じくDeep Mindが提案した外部メモリを持つニューラルネットワークモデルDNCは外部メモリを使うことで今まで扱えなかった複雑な情報処理を可能にし、従来のニューラルネットでは難しかったタスクの解決を実現しています。
- 他にも入力画像をもとに3Dモデルを生成するものや、
- モノクロ画像のカラー化、
- オブジェクトの抽出と認識などといった技術が発表されています。
- DCGANは画像を自動生成する技術で、ベクトル化した概念で演算を行い画像を生成することが可能です。例えば、「サングラスをかけた男性」から「サングラスをかけていない男性」の概念をマイナスし「サングラスをかけていない女性」の概念をプラスすると「サングラスをかけた女性」の画像が生成されます。概念のベクトルはどんな画像を生成するか決定するパラメータzの差であり、例えば女性の画像を生成するパラメータZ2と男性の画像を生成するパラメータZ1の差をとることで女性という概念のベクトルを求めることができます。 DCGANに関する研究・開発は様々なものが行なわれており、その一つに
- 指定した特徴をもつ女の子のイラストを生成するというものがあります。こちらはデモがあるのでそちらをごらんいただきたいと思います。
- こちらも画像を自動で生成するものですが、こちらはユーザーが描いたガイド線に基づいて画像の生成を行ないます。 このようなDCGANによる画像の自動生成の用途としては、絵を描くことが苦手な人でもほしい画像を作ることができるといったものがあげられます。
- そういったDCGGANの発展系として、1枚の静止画から動画を生成する研究や
- 写真やイラスト、テキストといった別の媒体に相互に変換する研究などが行なわれています。 このような技術によって、例えば小説の文章から漫画やアニメを自動が生成できるような未来がくるのではないかと期待しております。
- DeepLearningの事例について幾つか紹介させていただきました。ではそういったDeepLearningを実際に動かしてみるにはどうすればよいのかですが、実装に用いるプログラム言語は機械学習系でよく使われているPythonが多く使われています。 また、DeepLearningに関する以下のようなライブラリもあるのでこちらを使うと良いと思います。
- 以下はDeepLearningに関して参考になりそうな資料になります。 興味を持った方は是非参照していただければと思います。
- 最後にDeepLearningの展望についてお話したいと思います。 今後、DeepLearningはあらゆる分野に波及していくことが予想されます。 コンピュータビジョンの国際学会ではDeepLearning系の論文が急増していますし、 GoogleがAIを使った暗号技術の実験を行い、傍受が難しい暗号化をAIができるようになったと発表しセキュリティの分野でもAIが注目されています。 他にも現時点で様々な分野でAIの導入が模索されています。 また先ほど紹介したDNCは特定のフレームに特化しないと難しいと思われたタスクを解決しており、汎用性が向上し多くの分野のタスクが解決できることが期待できます。
- Deep Learningは現在過渡期であり進歩が著しく速く、「ディープラーニングに関して、新しくクールな論文が発表される速度は、それを読める速度より速い」というスタンフォード大学の学生が言った言葉通りの状況となっています。しかし、進歩が速すぎて法整備が追いついていない現状があります。法的な問題の一つとして著作権について、Deep Learningが作成したものの著作権は誰のものなのかという問題や、高い性能のニューラルネットも簡単にコピーできてしまう手法があるためどのようにして自身が開発したニューラルネットの著作権を守ればよいかという問題などが挙げられています。 期待も大きい技術ではありますが影響が大きいことが予想される分、まだ多くの社会的な整備も必要となってくると思われます。
- この現状で、アメリカ政府がAIにおいての法整備も含めて様々な分野でのAIの可能性や課題などを幅広く網羅したAI未来戦略レポートを発表しました。 さらにオバマ大統領がMITメディアラボの所長とAIについて対談したことが話題になりました。 このようにアメリカ政府もAIに注目し、社会に与える影響への対応を検討しています。
- また、アメリカのみならずこのような動きは世界規模に広がっており、今年の4月に開催されたG7情報通信大臣会合でAIの研究開発についての8原則が提案され大筋合意されました。 AIについては出遅れた日本でも人工知能技術戦略会議の設置が進められており、今後の日本でのAI技術の発展が期待されます。 今回、Deep Learningの概要を説明させていただきましたが、各国が注目するほどの盛り上がりを見せるDeep Learningに興味を持っていただけたら幸いです。Deep Learningについてはアメリカが特に進んでいるというかGoogleが最強というような状況ですが、日本も取り残されないように盛り上がっていければと思います。弊社も微力ながら盛り上げに加わっていけるようがんばらせていただきます。
- 以上で発表を終わらせていただきます。ご清聴ありがとうございました。