neural network introduction yapc asia tokyo
•
14 likes•7,842 views
Introduction about neural network background neuron, cortex, and algorithms.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to neural network introduction yapc asia tokyo
Similar to neural network introduction yapc asia tokyo (20)
More from Daichi Morifuji
More from Daichi Morifuji (16)
neural network introduction yapc asia tokyo
- 1. Deep Learning の前に 知っておいたほうがいいこと ∼目的・動作原理・構造∼ 1 YAPC::Asia Tokyo 2015 2015/08/21@東京ビッグサイト muddydixon
- 2. me 2 森藤 大地@muddydixon ニフティ9年目 モバイル・IoTビジネス部 JavaScript / Perl データ前処理 / データ解析 時系列予測 / データ可視化
- 3. 自己紹介 3 森藤 大地@muddydixon ニフティ9年目 モバイル・IoTビジネス部 JavaScript / Perl データ前処理 / データ解析 時系列予測 / データ可視化 IoT new
- 4. 自己紹介 4 森藤 大地@muddydixon ニフティ9年目 モバイル・IoTビジネス部 JavaScript / Perl データ前処理 / データ解析 時系列予測 / データ可視化 IoT new 危ない！ バズワードだ！
- 5. 5 あれ？
- 6. 自己紹介 6 森藤 大地@muddydixon ニフティ9年目 モバイル・IoTビジネス部 JavaScript / Perl データ前処理 / データ解析 時系列予測 / データ可視化 IoT new
- 7. 自己紹介 7 new 森藤 大地@muddydixon ニフティ9年目 モバイル・IoT・ ビッグデータビジネス部 JavaScript / Perl データ前処理 / データ解析 時系列予測 / データ可視化 IoT
- 8. 8 はい
- 10. 10
- 11. We are hiring! 11 大事なことなので2回いいます IoTのファームウェアを書いたり いろんなところとパートナーとして ものづくりできます 採用しています @muddydixon までお声がけください
- 14. 絶対にしません 14 おことわり
- 17. 17
- 18. 18
- 19. 19 白目
- 20. ~Todays Topics~ 神経細胞(ニューロン)の話 認知科学・脳科学との関係の話 Artificial Neuralnetworkの 歴史・原理・支えるアルゴリズム 20
- 21. 素朴な疑問が・・・ 21 ※ (2015/08/22 追記) その後、昼食時にchezouさんと歓談しました
- 22. My works about NeuralNetworks 22 語彙獲得のニュラルネットワークモデルの構 築と背景メカニズムの推定 ヒトは文法/語彙獲得の認知的機構 文法に基づく語彙のグラウンディング
- 23. My works about NeuralNetworks 23 Computer Simulations Psychological Experiments Neuro Science
- 24. My works about NeuralNetworks 24 6層ネットワーク 再帰的ニューラルネットワーク Elman Network 自己組織化マップ Self-organizing map 自然文(量子化された単語列)の提示 次単語の予測課題
- 25. My works about NeuralNetworks 25 「SV.」と「SVO.」ではSVの習得度が高い 文脈習得後は、新奇のO(目的語)を提示した 場合でもV(動詞)の情報を元に適切なカテゴ リの賦活を示す 文末の予測精度が最初から高い 語順がロバストな入力(e.g.英語)と語順が不 安定な入力(e.g.トルコ語)を比較すると、ロ バストのほうが学習にかかる時間が短い 言語発達のフィールドワークの結果にそぐっ ている
- 26. My works about NeuralNetworks 26 Symbol Grounding Word2Vec: 「単語」を「単語」で接地する 研究: 「単語」を「文脈」で接地する 主語: I/You 自動詞: run 他動詞: eat/drive 食物: apple/orange 乗物: car/airplane
- 28. 28
- 33. 人口ニューロン 33 前述の神経信号の伝達を簡略化し、 1) 前段の細胞の活動 シナプスにおける受容体によ る活動 2) 前段の活動に某かの関数を適用したものを伝達 xw σ(x) x0 x1 x2 y w0 w1 w2
- 34. History 34 1943: 形式ニューロン (pdf) 1958: パーセプトロン (pdf) 1969: 単純パーセプトロンの限界についての指摘 1982: 自己組織化マップ (pdf) 1982: ホップフィールドネットワーク 1985: ボルツマンマシン 1986: 制限ボルツマンマシン (pdf) 1986: 誤差逆伝搬法 (pdf) 1990: 再帰ニューラルネットワーク (pdf) 2006: Deep Belief Net (pdf)
- 49. Feed Forward Propagation 49 σ(s) にはシグモイドや双曲線正接が使われる 最近はRectified Linear Unitがよく使われるらしいです https://ja.wikipedia.org/wiki/活動電位
- 50. 50
- 54. Elman Network 54 1世代前の中間層の分散表現を入 力(文脈層)として、入力層ととも に学習を繰り返す 一方向への伝達経路である ため誤差逆伝搬法で学習可能 Copy Context Layer Input Layer Hidden Layer Output Layer
- 55. Jordan Network 55 1世代前の出力層の表現を入力(文 脈層)として、入力層とともに学 習を繰り返す 一方向への伝達経路である ため誤差逆伝搬法で学習可能 Copy Context Layer Input Layer Hidden Layer Output Layer
- 56. 次単語予測学習 56 次の入力を予測するような学習を行い、かつ、 文脈の情報を入力として利用することで、系 列からの特徴抽出を強いる 予測誤差をエンコードするニューロンの存在 の示唆 Copy Context Layer Input Layer Hidden Layer Output Layer
- 62. 62 input signals
- 66. (一般的な)DeepLearningとの違い 66 特徴抽出能力とし ては似通っている(情 報圧縮をしている ため) 空間的な順序=組 織化が異なってい る ここにSOMにワ ンチャンあるかも！
- 67. Closing