２０１６年１１月６日深層学習（ディープラーニング）入門勉強会資料（浅川）Pythonキャリアカレッジ http://www.vantan-game.com/python/

1. 機械学習入門
浅川伸一asakawa@ieee.org
1. 定義
2. Q and A
3. 最速で理解するには
4. 前提となる知識
5. 簡単な歴史
6. 分類
7. 最近のAIの特徴
8. AIの進歩の５つの要因
9. 実装
1. 定義
(Definitions of machine learning: old and new)
1. アーサー・サミュエルArthur Samuel (1959):
機械学習とは，明示的にプログラムで指示せずにコンピュータに学習させる能力を研究する分野で
ある。
"field of study that gives computers the ability to learn without being explicitly programmed"
Arthr L. Samual(1901-1990) from [http://www.i-programmer.info/history/people/669-a-l-samuel-ai-and-
games-pioneer.html](http://www.i-programmer.info/history/people/669-a-l-samuel-ai-and-games-
pioneer.html)
1. トム・ミッチェルTom Mitchell (1999):
"A computer program is said to learn from experience E with respect to some task T and some
performance measure P, if its performance on T, as measured by P, improves with experience E."
1
http://www.vantan-game.com/python/

2. Tom Mitchell from [http://wamc.org/post/dr-tom-mitchell-carnegie-mellon-university-language-learning-
computer](http://wamc.org/post/dr-tom-mitchell-carnegie-mellon-university-language-learning-computer)
2. Q and A
1. 機械学習とニューラルネットワーク違うの？
2. 機械学習と人工知能は違うの？
3. ニューラルネットワークと人工知能は違うの？
4. 機械学習とニューラルネットワークと人工知能は関係は？
5. ディープラーニングとニューラルネットワークは違うの？
[https://leonardoaraujosantos.gitbooks.io/artificial-inteligence/content/chapter1.html]
(https://leonardoaraujosantos.gitbooks.io/artificial-inteligence/content/chapter1.html)
2

3. でも，統計学が新しい時代に...
[https://xkcd.com/882/](https://xkcd.com/882/)
3

4. But ASA(アメリカ統計学会) declared !
1. P-values can indicate how incompatible the data are with a specified st
atistical model.
2. P-values do not measure the probability that the studied hypothesis is
true, or the probability that the data were produced by random chance alo
ne.
3. Scientific conclusions and business or policy decisions should not be b
ased only on whether a p-value passes a specific threshold.
4. Proper inference requires full reporting and transparency.
5. A p-value, or statistical significance, does not measure the size of an
effect or the importance of a result.
6. By itself, a p-value does not provide a good measure of evidence regard
ing a model or hypothesis.
3. 最速で理解するには
1. 線形回帰linear regression
2. ロジスティック回帰logistic regression
3. 正則化regularization
4. 多層パーセプトロンmulti-layered perceptrons
5. 畳み込みニューラルネットワークconvolutional neural networks
6. リカレントニューラルネットワークrecurrent neural networks
7. 強化学習reinforcement learning
4. 前提となる知識
1. 初等解析学
2. 線形代数
3. 確率論
4. 統計学
5. プログラミング言語(C, C++, Python, java, ruby, shell scripts, javascript, Haskell, Scala, ...)
6. markdown, jeykll, GitHub,
7. Linux の基礎知識(Ubuntu 推奨，MacOS では不十分)
8. GPU (NVIDIA 一択)
9. GURU
5. 簡単な歴史
第一次ニューロブーム
1950 年代パーセプトロン
1960 年，ミンスキーとパパートの批判
第一次氷河期の到来
4

5. 第二次ニューロブーム
1986 年，PDP ブック，俗に言うバイブル，発表
1989 年，バプニック，サポートベクターマシン発表
第二次氷河期の到来
Authors: J.A. Anderson, A. Pellionisz, E. Rosenfeld (eds.) Title: Neurocomputing 2: Directions for
Research Reference: MIT Press, Cambridge (1990), Massachusetts
### ANNs are some kind of non-linear statistics for amateurs
第三次，今季!
2006 Hinton 2 つの論文を発表
2009 Hinton 音声認識で深層学習の成績が従来手法を上回る
NVIDIA のGPU を使って学習を加速する方法が始まる
2012 大規模画像認識コンテストで優勝
In [1]:
<div class="fig figcenter fighighlight">
<img src="./assets//ilsvrc2015_err.png" width="49%">
</div>
2013 ICML スタートarXiv.org に予め論文を投稿，誰でも読める，誰でも批判できる。著者はそれ
に答えなければならない。あっという間にトップカンファレンスとなる
2013 Mikolov word2vec を発表
2013 DeepMind DQN を発表
File "<ipython-input-1-f13640f5725a>", line 1
<div class="fig figcenter fighighlight">
^
SyntaxError: invalid syntax
5

6. In [2]:
%%HTML
<center>
<video width="38%" repeat controls>
<source src="./2015Mnih_DQN-Nature_Video1.mp4" type="video/mp4">
</video>
<video width="39%" repeat controls>
<source src="./2015Mnih_DQN-Nature_Video2.mp4" type="video/mp4">
</video>
</center>
===
DQNの結果
===
0:00 / 1:08 0:00 / 1:12
6

7. 2013 Word2Vec 発表
2014 機械翻訳で従来手法を上回る
2014 画像から文章を生成する技術が注目を浴びる
ICML で同時に４つの研究室から同じような実装が発表された，オープンソース＋GPU＋
arXiv.org
2015 画像生成技術が注目を浴びる
天安門前広場の夢(撮影は自民解放軍の兵士に依頼した)
2015 ディープラーニング，機械学習，ビッグデータあるいはその心理学，発刊
2015 人工知能学会が日本では「深層学習」と呼ぶことに決定する
2016 GAN が注目を浴びる
2016 アメリカ合州国大統領候補の一人の発言を模倣する「ディープトランプ」がツィッター上で
注目を集める
@DeepTrumpf (2016-)
2016 アルファ碁がリ・セドルを破る
7

8. アルファ碁 Natureより
2016 Pythonで実践する深層学習，発刊
6. 分類
学習方法
教師あり学習
教師なし学習
半教師あり学習
ニューラルネットワーク
畳み込みニューラルネットワークCNN
リカレントニューラルネットワークRNN
強化学習
7. 最近のAIの特徴
1. 畳み込みニューラルネットワーク
2. リカレントニューラルネットワーク
3. 強化学習
8. AIの進歩の５つの要因
1. 計算能力の向上(ムーアの法則，GPUs, ASICs),
2. データ爆発(e.g. ImageNet),
3. アルゴリズムの改善(e.g. バックプロパゲーション, CNN, LSTM), and
4. 基盤の整備(Linux, TCP/IP, Git, ROS, PR2, AWS, AMT, TensorFlow, etc.).
5. 情報共有(arXiv.org)
8

9. 9. 実装
1. Python
A. Caffe, Theano, Chainer, TensorFlow, Keras, and so on
2. MATLAB (octave)
3. Java
Excel R(H20) frameworks Python/Java C, C++,
frameworks Caffe, Chainer, Theano, ThensorFlow, Torch7, Keras, Laganza, ...
> > > > …
9