Submit Search
Upload
ニューラルチューリングマシン入門
•
60 likes
•
17,822 views
naoto moriyama
Follow
DeepMind社より発表されたNeural Turing Machineをまとめてみました
Read less
Read more
Technology
Report
Share
Report
Share
1 of 29
Download Now
Download to read offline
Recommended
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
深層学習の数理
深層学習の数理
Taiji Suzuki
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
強化学習 DQNからPPOまで
強化学習 DQNからPPOまで
harmonylab
強化学習その1
強化学習その1
nishio
強化学習における好奇心
強化学習における好奇心
Shota Imai
Word2vecの並列実行時の学習速度の改善
Word2vecの並列実行時の学習速度の改善
Naoaki Okazaki
More Related Content
What's hot
PILCO - 第一回高橋研究室モデルベース強化学習勉強会
PILCO - 第一回高橋研究室モデルベース強化学習勉強会
Shunichi Sekiguchi
【DL輪読会】Implicit Behavioral Cloning
【DL輪読会】Implicit Behavioral Cloning
Deep Learning JP
最適化超入門
最適化超入門
Takami Sato
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
小川 雄太郎
研究室における研究・実装ノウハウの共有
研究室における研究・実装ノウハウの共有
Naoaki Okazaki
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
Deep Learning JP
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
Deep Learning JP
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
Hiroshi Nakagawa
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Deep Learning JP
スペクトラルグラフ理論入門
スペクトラルグラフ理論入門
irrrrr
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
Deep Learning JP
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
Yusuke Uchida
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
西岡 賢一郎
合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点
Ichigaku Takigawa
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
Yoshitake Takebayashi
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
What's hot
(20)
PILCO - 第一回高橋研究室モデルベース強化学習勉強会
PILCO - 第一回高橋研究室モデルベース強化学習勉強会
【DL輪読会】Implicit Behavioral Cloning
【DL輪読会】Implicit Behavioral Cloning
最適化超入門
最適化超入門
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
研究室における研究・実装ノウハウの共有
研究室における研究・実装ノウハウの共有
深層生成モデルと世界モデル
深層生成モデルと世界モデル
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
全力解説!Transformer
全力解説!Transformer
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
スペクトラルグラフ理論入門
スペクトラルグラフ理論入門
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
Viewers also liked
Neural Turing Machines
Neural Turing Machines
Kato Yuzuru
機械学習を使ったハッキング手法
機械学習を使ったハッキング手法
Isao Takaesu
Neural Turing Machine Tutorial
Neural Turing Machine Tutorial
Mark Chang
Neural Turing Machines
Neural Turing Machines
Ilya Kuzovkin
Neural turing machine
Neural turing machine
tm_2648
Memory Networks, Neural Turing Machines, and Question Answering
Memory Networks, Neural Turing Machines, and Question Answering
Akram El-Korashy
Decoupled Neural Interfaces輪読資料
Decoupled Neural Interfaces輪読資料
Reiji Hatsugai
Neural Network と Universality について
Neural Network と Universality について
Kato Yuzuru
Differentiable neural conputers
Differentiable neural conputers
naoto moriyama
Duolingo.pptx
Duolingo.pptx
syou6162
GPUとSSDがPostgreSQLを加速する~クエリ処理スループット10GB/sへの挑戦~ [DB Tech Showcase Tokyo/2017]
GPUとSSDがPostgreSQLを加速する~クエリ処理スループット10GB/sへの挑戦~ [DB Tech Showcase Tokyo/2017]
Kohei KaiGai
深層リカレントニューラルネットワークを用いた日本語述語項構造解析
深層リカレントニューラルネットワークを用いた日本語述語項構造解析
Hiroki Ouchi
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
機械学習と深層学習の数理
機械学習と深層学習の数理
Ryo Nakamura
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
Viewers also liked
(15)
Neural Turing Machines
Neural Turing Machines
機械学習を使ったハッキング手法
機械学習を使ったハッキング手法
Neural Turing Machine Tutorial
Neural Turing Machine Tutorial
Neural Turing Machines
Neural Turing Machines
Neural turing machine
Neural turing machine
Memory Networks, Neural Turing Machines, and Question Answering
Memory Networks, Neural Turing Machines, and Question Answering
Decoupled Neural Interfaces輪読資料
Decoupled Neural Interfaces輪読資料
Neural Network と Universality について
Neural Network と Universality について
Differentiable neural conputers
Differentiable neural conputers
Duolingo.pptx
Duolingo.pptx
GPUとSSDがPostgreSQLを加速する~クエリ処理スループット10GB/sへの挑戦~ [DB Tech Showcase Tokyo/2017]
GPUとSSDがPostgreSQLを加速する~クエリ処理スループット10GB/sへの挑戦~ [DB Tech Showcase Tokyo/2017]
深層リカレントニューラルネットワークを用いた日本語述語項構造解析
深層リカレントニューラルネットワークを用いた日本語述語項構造解析
PRML第6章「カーネル法」
PRML第6章「カーネル法」
機械学習と深層学習の数理
機械学習と深層学習の数理
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
More from naoto moriyama
論文紹介: Differentiable reasoning over a virtual knowledge base
論文紹介: Differentiable reasoning over a virtual knowledge base
naoto moriyama
Dilated rnn
Dilated rnn
naoto moriyama
最近の自然言語処理
最近の自然言語処理
naoto moriyama
Deep forest
Deep forest
naoto moriyama
自然言語処理 Word2vec
自然言語処理 Word2vec
naoto moriyama
自然言語処理
自然言語処理
naoto moriyama
ニューラルネットワーク入門
ニューラルネットワーク入門
naoto moriyama
More from naoto moriyama
(7)
論文紹介: Differentiable reasoning over a virtual knowledge base
論文紹介: Differentiable reasoning over a virtual knowledge base
Dilated rnn
Dilated rnn
最近の自然言語処理
最近の自然言語処理
Deep forest
Deep forest
自然言語処理 Word2vec
自然言語処理 Word2vec
自然言語処理
自然言語処理
ニューラルネットワーク入門
ニューラルネットワーク入門
Recently uploaded
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
ssuser539845
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
Sadao Tokuyama
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
arts yokohama
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究 千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究 千坂知也
harmonylab
2024 04 minnanoito
2024 04 minnanoito
arts yokohama
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
Tetsuya Nihonmatsu
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
Industrial Technology Research Institute (ITRI)(工業技術研究院, 工研院)
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
arts yokohama
2024 03 CTEA
2024 03 CTEA
arts yokohama
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
Matsushita Laboratory
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
ssuser370dd7
Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...
Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...
yoshidakids7
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
Shumpei Kishi
Recently uploaded
(13)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究 千坂知也
【修士論文】代替出勤者の選定業務における依頼順決定方法に関する研究 千坂知也
2024 04 minnanoito
2024 04 minnanoito
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 03 CTEA
2024 03 CTEA
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...
Summary of "ChatDoctor: A Medical Chat Model Fine-Tuned on a Large Language M...
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
ニューラルチューリングマシン入門
2.
• 森山 直人(もりやま
なおと) • もともと中国国籍 ⇒ 帰化(国籍変更)して日本人に • 趣味でpythonを始める(仕事はエンジニアではない) • 勢いでディープラーニング始める(自然言語) • 最初からディープラーニングに入ったため、 統計的手法や確率論が弱い ←のんびりPRML
3.
• すべて個人の見解による内容であり、所属会社、団体の公式見解 ではありません • 概念理解を優先しているため、一部厳密の定義は割愛しています •
日本語表記と英語表記混在していますが、他意はありません (基本日本語だが、長くなるものは英語にしています)
4.
最近DeepMind社(Google)を始めとした機械学習領域の 先進企業が取り組んでいる外部メモリの概念を紹介します • ニューラルネットワークのおさらい(私の理解ベース) • Neural
Turing Machineの基本概念(論文ベース) • 外部メモリの可能性(私の見解) についてお話させて頂きます ※基本概要にとどめ、理論の証明や細かい実装は割愛します
5.
• 強化学習 • アテンション •
ベイジアンネット(グラフィカルモデル系) • 生成モデル • 同じ外部メモリの仲間で、Facebook社が精力的に 取り組んでいる「メモリーネットワーク」
6.
• ニューラルネットワークが画像分野の「パターン認識」問題で 良い成果をあげながらも、「推論」が求められる自然言語領域 ではまだまだ汎用的な手法が提案されていない • このあたりがニューラルネットワークの限界だろうと思ったが、 外部メモリの概念に触れ、突破口を感じた(個人感) •
すでにDeepMind社では、外部メモリを活用した論文がいくつ か発表されており、今後トレンドになると感じた!
7.
入力層 中間層 出力層 中間層(隠れ層)をもつ有向グラフ ■強み • 単調な非線形表現を積み重なることで、 複雑な非線形表現(合成関数)を獲得 • パターン認識問題が得意 ■弱み •
現在のデータだけでなく、過去の情報が必要な問 題は苦手 ⇒云わば現在のデータのみでは答えを導 けない推論(思考)問題を解くことが難しい
8.
入力層 中間層 出力層 (過去のデータが必要な)推論問題を解くために、 過去のデータも伝搬する仕組みを作る ■理想 • 過去の入力すべてに現在の入力を加えたネッ トワークを形成 ■現実 • LSTMの実装で、内部に過去の入力の 「状態」を保存(メモリセル) •
逆伝搬のコストが過剰に増えるため、実質 数ステップ分の学習しかできない
9.
• RNN(LSTM)の弱点は計算量と時間のみでなく、記憶を司る メモリセルのデータ構造にも課題がある • LSTMの学習では、メモリセルの更新は部分的でなく、 全体が更新されるため、表現力の幅は限定的 •
そこで求められるのは、 ①表現力の高いメモリ処理 ー必要に応じて必要な箇所のみを更新、取り出し ②多くの情報を蓄えるメモリ構造 ー大規模なデータを蓄積できるようにする
10.
• あえて堅苦しく言うと、ノイマン型のシステム構造上に、 ニューラルネットワークとチューリングマシンの「ヘッド」を 取り付けたようなもの • 構造は複雑だけどちゃんと微分可能!(学習できる) •
概要をつかむ程度であれば、チューリングマシンの理解は不要 ただ、ある程度理解があると腹落ちします!
11.
• RNN(LSTM)をコントロー ラーに据えて、ヘッド、メ モリと呼ばれる部品を取り 付けた構造 • LSTMのメモリセルを拡張 し、データの“細切れ”に分 けた(詳細後述) •
メモリの操作はチューリン グマシンのヘッドの動作に 近い 画像引用元:https://arxiv.org/pdf/1410.5401v2.pdf
12.
入力 出力 制御 演算 メモリ NeuralTuring Machine ノイマン型 コンピュータ 構造はノイマン型コンピュータに近い
13.
この部分は通常のRNN (LSTM) ヘッドは外部メモリに対し て、計算に使う部分の選定 や書き換えを行う 中央のコントローラー はヘッドの動作をコン トロール
14.
コントローラー :データの入出力を処理するインターフェース メモリ :RAMに似た働きを行うデータ格納スペース ヘッド
:メモリにデータを書き込んだり、読み込んだりする機能 ・・・・・・ ヘッド メモリ コントローラー ヘッドを操作 するための各 種パラメータ を発行 ヘッドがコント ローラーの情報 をもとにメモリ 読み込み、書き 込みを行う 計算時にヘッ ドを通じて必 要なメモリを 呼び出す
15.
2 1 2
7 4 020 4 0 0 2 1 311 2 4 4 1 0 022 3 3 0 0 0 054 ・・・ 0.2 0.3 0.1 0.1 ・・・ ヘッド メモリ ②メモリ位置 N ①各メモリのサイズ M ③時刻tにお ける各メモリ の重み 𝑊𝑡 N*Mの行列
16.
2 1 2
7 4 020 4 0 0 2 1 311 2 4 4 1 0 022 3 3 0 0 0 054 ・・・ 0.2 0.3 0.1 0.3 ・・・ ヘッド メモリ 位置 N ベクトルサイズ M重み 𝑊𝑡 • コントローラが使う情報をメモリ から算出する • 時刻tにおける重み𝑊𝑡を各メモリ 掛け合わせて、𝑟𝑡を算出 𝑟𝑡 ← 𝑖 𝑤𝑡(𝑖)𝑀𝑡(𝑖) ※ただし 𝑖 𝑤𝑡 𝑖 = 1, 0 ≤ 𝑤𝑡 𝑖 ≤ 1
17.
2 1 2
7 4 020 4 0 0 2 1 311 2 4 4 1 0 022 3 3 0 0 0 054 ・・・ 0.2 0.3 0.1 0.3 ・・・ ヘッド メモリ 位置 N ベクトルサイズ M重み 𝑊𝑡 LSTMのように、メモリを更新する この工程は②ステップに分かれる ① 情報削除 削除ベクトル𝑒𝑡が与えられる 𝑀𝑡 𝑖 ← 𝑀𝑡−1 𝑖 1 − 𝑤𝑡 𝑖 𝑒𝑡 ② 情報追加 追加ベクトル𝑎 𝑡が与えられる 𝑀𝑡 𝑖 ← 𝑀𝑡 𝑖 + 𝑤𝑡(𝑖)𝑎 𝑡 ~ ~
18.
• ヘッドによるメモリの操作はわかった • そのヘッドのパラメータ重み調整は直前のメモリ及び重みと コントローラから出力される5つのパラメータをもとに、 ④ステップで構成される (これけっこうややこしいです・・・)
19.
コントローラー Memory Key :
k -コントローラから与えられたベクトル Contents Addressing Parameter : β -ベクトル集中度調整 Interpolation Parameter : g -前のヘッド状態をどれくらい引き継ぐか Convolutional Shift Parameter : s -ヘッド内の数字の移動方向 Sharpening Parameter : γ -ベクトル集中度の調整
20.
画像引用元:https://arxiv.org/pdf/1410.5401v2.pdf ステップ① ステップ② ステップ③ ステップ④ 前ページの5つのパラメータと直前のメモリ、ヘッド重みを用いて ④ステップを通じて学習を行う
21.
コントローラーから与えられたベクトル𝑘 𝑡とメモリ内の 各ベクトルの類似度を計算し、その類似度をもとにヘッ ドの重みを初期化して𝑤𝑡 𝑐 を作る 𝑤𝑡 𝑐 ← exp(β 𝑡
𝐾 𝑘 𝑡,𝑀𝑡 𝑖 ) 𝑗 exp(β 𝑡 𝐾 𝑘 𝑡,𝑀𝑡 𝑖 ) , K u, v = 𝑢∙𝑣 | 𝑢 |∙| 𝑣 |
22.
Content Addressingで出力された𝑤𝑡 𝑐 と直前の重み𝑤𝑡−1 に対してパラメータgをかけ合わせ、𝑤𝑡 𝑔 を生成 ※LSTMでいうと入力ゲートのような働き 𝑤𝑡 𝑔 ← 𝑔𝑤𝑡 𝑐 +
(1 − 𝑔)𝑤𝑡−1
23.
Interpolationで出力された𝑤𝑡 𝑔 と方向パラメータ𝑠𝑡を計算 し、𝑤𝑡を生成 𝑤𝑡 ← 𝑖=0 𝑁−1 𝑤𝑡 𝑔 (𝑗)𝑠𝑡(𝑖 −
𝑗) ~ ~
24.
方向パラメータ𝑠𝑡は何をしているか ∟ヘッド内の重みベクトル 𝑤𝑡 𝑖 を左右に調整 ∟メモリ位置ごとの関係性を学習 0 0
1 2 2 左 中 右 1 0 0 𝑠𝑡は左右への移動量を示す 中は動かないことを示す 0 1 2 2 0 0 0 1 2 2 0.5 0 0.5 1 0.5 1 1.5 1 この場合は、単純に 左に1つ移動 各ベクトルが左右に 半分ずつ移動 ヘッド
25.
Convolutional Shiftで出力された𝑤𝑡に対して、集中度 パラメータ𝛾𝑡をかけ整形し、最終ヘッドの重み𝑤𝑡を生成 𝑤𝑡 ← 𝑤𝑡(𝑖)
𝛾𝑡 𝑗 𝑤𝑡(𝑗) 𝛾𝑡 ~ ~ ~
26.
• LSTMのような複雑な構造を持つが、各処理は異なる概念を 持つため、全体像のイメージが難しい • 一方、異なる概念の処理が多いことが、多彩な表現力を獲得 する側面もある •
逆伝搬の計算の流れはご想像におまかせします・・・
27.
画像引用元:http://awawfumin.blogspot.jp/2015/03/neural-turing-machines-implementation.html
28.
• 表現力の向上でLSTMでは成し得なかった‘本質的な記憶’を実現 • メモリを細切れにし、必要に応じて必要な箇所を変更、使用 することで、(通常のニューラルネットワークより)人間の脳に 近い処理が可能に •
Neural Turing Machineではまだメモリの操作が荒かったが、 直近ではより洗練された手法が開発されている (Differentiable neural computersなど) • ニューラルネットワークの可能性を広げる手法として期待できる
29.
• 仮想世界の謎解き冒険ファンタジーですが、 計算とは何か、思考とは何かを題材とする • オートマトンやチューリングマシンの概念を 奇跡的にわかりやすく解説 •
コンピュータサイエンス・自然言語処理に於 いて多くの気づきを与えてくれる • この本の素晴らしさを語るだけで、一つLTが できると思います
Download Now