Submit Search
Upload
機械学習プロフェッショナルシリーズ輪読会 #2 Chapter 5 「自己符号化器」 資料
•
77 likes
•
35,722 views
at grandpa
Follow
下記勉強会での資料になります。 http://ml-professional.connpass.com/event/16517/
Read less
Read more
Technology
Report
Share
Report
Share
1 of 219
Download now
Download to read offline
Recommended
PRML輪読#1
PRML輪読#1
matsuolab
幾何と機械学習: A Short Intro
幾何と機械学習: A Short Intro
Ichigaku Takigawa
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
パターン認識と機械学習入門
パターン認識と機械学習入門
Momoko Hayamizu
MCMC法
MCMC法
MatsuiRyo
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
Recommended
PRML輪読#1
PRML輪読#1
matsuolab
幾何と機械学習: A Short Intro
幾何と機械学習: A Short Intro
Ichigaku Takigawa
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
階層ベイズとWAIC
階層ベイズとWAIC
Hiroshi Shimizu
パターン認識と機械学習入門
パターン認識と機械学習入門
Momoko Hayamizu
MCMC法
MCMC法
MatsuiRyo
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
マルコフ連鎖モンテカルロ法入門-1
マルコフ連鎖モンテカルロ法入門-1
Nagi Teramo
DeepLearning 14章 自己符号化器
DeepLearning 14章 自己符号化器
hirono kawashima
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
Deep Learning JP
PRML輪読#2
PRML輪読#2
matsuolab
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
Koichi Hamada
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
Deep Learning JP
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
Chapter 8 ボルツマンマシン - 深層学習本読み会
Chapter 8 ボルツマンマシン - 深層学習本読み会
Taikai Takeda
Graphic Notes on Linear Algebra and Data Science
Graphic Notes on Linear Algebra and Data Science
Kenji Hiranabe
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
Hiroshi Nakagawa
[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第2章 線形代数
Deep Learning JP
非制約最小二乗密度比推定法 uLSIF を用いた外れ値検出
非制約最小二乗密度比推定法 uLSIF を用いた外れ値検出
hoxo_m
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
Deep Learning JP
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
Takashi Abe
全脳関西編(松尾)
全脳関西編(松尾)
Yutaka Matsuo
More Related Content
What's hot
マルコフ連鎖モンテカルロ法入門-1
マルコフ連鎖モンテカルロ法入門-1
Nagi Teramo
DeepLearning 14章 自己符号化器
DeepLearning 14章 自己符号化器
hirono kawashima
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
Deep Learning JP
PRML輪読#2
PRML輪読#2
matsuolab
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
Koichi Hamada
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
Deep Learning JP
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
Chapter 8 ボルツマンマシン - 深層学習本読み会
Chapter 8 ボルツマンマシン - 深層学習本読み会
Taikai Takeda
Graphic Notes on Linear Algebra and Data Science
Graphic Notes on Linear Algebra and Data Science
Kenji Hiranabe
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
Hiroshi Nakagawa
[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第2章 線形代数
Deep Learning JP
非制約最小二乗密度比推定法 uLSIF を用いた外れ値検出
非制約最小二乗密度比推定法 uLSIF を用いた外れ値検出
hoxo_m
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
takehikoihayashi
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
Deep Learning JP
What's hot
(20)
マルコフ連鎖モンテカルロ法入門-1
マルコフ連鎖モンテカルロ法入門-1
DeepLearning 14章 自己符号化器
DeepLearning 14章 自己符号化器
PRML第6章「カーネル法」
PRML第6章「カーネル法」
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
PRML輪読#2
PRML輪読#2
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
パターン認識と機械学習 (PRML) 第1章-「多項式曲線フィッティング」「確率論」
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
[DL輪読会]`強化学習のための状態表現学習 -より良い「世界モデル」の獲得に向けて-
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Chapter 8 ボルツマンマシン - 深層学習本読み会
Chapter 8 ボルツマンマシン - 深層学習本読み会
Graphic Notes on Linear Algebra and Data Science
Graphic Notes on Linear Algebra and Data Science
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
クラシックな機械学習入門:付録:よく使う線形代数の公式
クラシックな機械学習入門:付録:よく使う線形代数の公式
[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第2章 線形代数
非制約最小二乗密度比推定法 uLSIF を用いた外れ値検出
非制約最小二乗密度比推定法 uLSIF を用いた外れ値検出
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
相関と因果について考える:統計的因果推論、その(不)可能性の中心
相関と因果について考える:統計的因果推論、その(不)可能性の中心
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
Viewers also liked
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
Takashi Abe
全脳関西編(松尾)
全脳関西編(松尾)
Yutaka Matsuo
一般向けのDeep Learning
一般向けのDeep Learning
Preferred Networks
MIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearning
Takayoshi Yamashita
決定木学習
決定木学習
Mitsuo Shimohata
画像認識モデルを作るための鉄板レシピ
画像認識モデルを作るための鉄板レシピ
Takahiro Kubo
機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話
Ryota Kamoshida
Viewers also liked
(7)
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
多層NNの教師なし学習 コンピュータビジョン勉強会@関東 2014/5/26
全脳関西編(松尾)
全脳関西編(松尾)
一般向けのDeep Learning
一般向けのDeep Learning
MIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearning
決定木学習
決定木学習
画像認識モデルを作るための鉄板レシピ
画像認識モデルを作るための鉄板レシピ
機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話
More from at grandpa
Rubykaigiの歩き方
Rubykaigiの歩き方
at grandpa
Crystal 勉強会 #5 in 渋谷 発表資料
Crystal 勉強会 #5 in 渋谷 発表資料
at grandpa
Crystalを触り始めてから起こったこと
Crystalを触り始めてから起こったこと
at grandpa
東京 Crystal 勉強会 #4 in 渋谷 - イントロダクション
東京 Crystal 勉強会 #4 in 渋谷 - イントロダクション
at grandpa
基礎からのベイズ統計学 2章 勉強会資料
基礎からのベイズ統計学 2章 勉強会資料
at grandpa
機械学習プロフェッショナルシリーズ輪読会 #5 異常検知と変化検知 Chapter 1 & 2 資料
機械学習プロフェッショナルシリーズ輪読会 #5 異常検知と変化検知 Chapter 1 & 2 資料
at grandpa
はじめてのdocker
はじめてのdocker
at grandpa
More from at grandpa
(7)
Rubykaigiの歩き方
Rubykaigiの歩き方
Crystal 勉強会 #5 in 渋谷 発表資料
Crystal 勉強会 #5 in 渋谷 発表資料
Crystalを触り始めてから起こったこと
Crystalを触り始めてから起こったこと
東京 Crystal 勉強会 #4 in 渋谷 - イントロダクション
東京 Crystal 勉強会 #4 in 渋谷 - イントロダクション
基礎からのベイズ統計学 2章 勉強会資料
基礎からのベイズ統計学 2章 勉強会資料
機械学習プロフェッショナルシリーズ輪読会 #5 異常検知と変化検知 Chapter 1 & 2 資料
機械学習プロフェッショナルシリーズ輪読会 #5 異常検知と変化検知 Chapter 1 & 2 資料
はじめてのdocker
はじめてのdocker
Recently uploaded
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Recently uploaded
(10)
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
機械学習プロフェッショナルシリーズ輪読会 #2 Chapter 5 「自己符号化器」 資料
1.
自己符号化器 2015.07.01 @at_grandpa 深層学習 Chapter
5
2.
@at_grandpa ・カメラ / 写真 ・将棋 ・テニス
/ ランニング ・機械学習歴 一ヶ月程度
3.
注意 ✔自己符号化器を1mmも知らなかった人のまとめです ✔直感的な解釈が多いです ✔実装は間に合わなかったので後日やります(ホントか?...) ✔飛ばしているところもあります ✔本の流れから脱する場合があります ✔間違っていたらご指摘ください 本のページ p55
4.
注意 ✔自己符号化器を1mmも知らなかった人のまとめです ✔直感的な解釈が多いです ✔実装は間に合わなかったので後日やります(ホントか?...) ✔飛ばしているところもあります ✔本の流れから脱する場合があります ✔間違っていたらご指摘ください 本のページ p55 「本のどの部分を言っているんだ?」と疑問に思ったら、 右下のページ数を参考にしてください
5.
本のページ 深層学習 機械学習プロフェッショナルシリーズ Deep Learning p55 Chapter
5 自己符号化器 の内容です p55
6.
本のページ p55
7.
本のページ p55 概要 自己符号化器とはなんだろう
8.
本のページ 自己符号化器とは p55
9.
本のページ 自己符号化器とは p55 以下の2つのことが行えるものです
10.
本のページ 自己符号化器とは ・訓練データ群からデータの基礎となる「特徴」を得る ① データを良く表す「特徴」を獲得 p55 以下の2つのことが行えるものです
11.
本のページ 自己符号化器とは ② ディープネットの事前学習 ・上手く学習できるような初期値を得る ・訓練データ群からデータの基礎となる「特徴」を得る ① データを良く表す「特徴」を獲得 p55 以下の2つのことが行えるものです
12.
本のページ 自己符号化器とは ② ディープネットの事前学習 ・上手く学習できるような初期値を得る ・訓練データ群からデータの基礎となる「特徴」を得る ① データを良く表す「特徴」を獲得 p55 以下の2つのことが行えるものです 他にも使い道はありそうですが…
13.
本のページ 今までのニューラルネットとの違い p56
14.
本のページ 今まで見てきたニューラルネット p56
15.
本のページ 今まで見てきたニューラルネット x1 x2 x3 x4 入力 p56
16.
本のページ 今まで見てきたニューラルネット x1 x2 x3 x4 入力 u1 u2 u3 ユニット p56
17.
本のページ 今まで見てきたニューラルネット x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット p56
18.
本のページ 今まで見てきたニューラルネット x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット f 活性化関数 p56
19.
本のページ 今まで見てきたニューラルネット x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 出力 f 活性化関数 p56
20.
本のページ 今まで見てきたニューラルネット x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 出力 f 活性化関数 p56
21.
本のページ 今まで見てきたニューラルネット x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 出力 目標出力との誤差を測る d1 d2 d3 目標出力 f 活性化関数 p56
22.
本のページ 今まで見てきたニューラルネット x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 出力 目標出力との誤差を測る d1 d2 d3 目標出力 f 活性化関数 誤差が小さくなるように重みを更新 p56
23.
本のページ 自己符号化器 p56
24.
本のページ 自己符号化器 x1 x2 x3 x4 入力 p56
25.
本のページ 自己符号化器 x1 x2 x3 x4 入力 u1 u2 u3 ユニット p56
26.
本のページ 自己符号化器 x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット p56
27.
本のページ 自己符号化器 x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット f 活性化関数 p56
28.
本のページ 自己符号化器 x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 f 活性化関数 p56
29.
本のページ 自己符号化器 x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 f 活性化関数 ここまでは同じ p56
30.
本のページ 自己符号化器 x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 f 活性化関数 p56
31.
本のページ 自己符号化器 x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 f 活性化関数 入力と同じ個数のユニット p56
32.
本のページ 自己符号化器 x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 w1j w2j w4j w3j b ~ ~ ~ ~ ~ f 活性化関数 入力と同じ個数のユニット p56
33.
本のページ 自己符号化器 x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 f ~ w1j w2j w4j w3j b ~ ~ ~ ~ ~ f 活性化関数 入力と同じ個数のユニット p56
34.
本のページ 自己符号化器 x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 1 2 3 x x x x4 ^ ^ ^ ^ f ~ w1j w2j w4j w3j b ~ ~ ~ ~ ~ f 活性化関数 入力と同じ個数のユニット p56
35.
本のページ 自己符号化器 x1 x2 x3 x4 入力 w1i w2i w3i b バイアス 重み u1 u2 u3 ユニット y1 y2 y3 1 2 3 x x x x4 ^ ^ ^ ^ f ~ w1j w2j w4j w3j b ~ ~ ~ ~ ~ f 活性化関数 入力と同じ個数のユニット 入力と出力の誤差が最小になるよう学習する! p56
36.
本のページ 自己符号化器 p56
37.
本のページ 自己符号化器 符号化 符号 復号化 元に戻す入力 p56
38.
本のページ 自己符号化器 符号化 符号 復号化 元に戻す入力 これを満たす重みwを学習する p56
39.
本のページ p57
40.
本のページ なんでこんなことするの? 元に戻して何がおいしいの? 「5.2 ネットワークの設計」は 手法の説明なので飛ばします p57
41.
本のページ 自己符号化器のおいしい部分 ② ディープネットの事前学習 ・上手く学習できるような初期値を得る ・訓練データ群からデータの基礎となる「特徴」を得る ① データを良く表す「特徴」を獲得 p58
42.
本のページ 自己符号化器のおいしい部分 今はここに注目! ② ディープネットの事前学習 ・上手く学習できるような初期値を得る ・訓練データ群からデータの基礎となる「特徴」を得る ① データを良く表す「特徴」を獲得 p58
43.
本のページ 特徴の獲得 データを良く表す「特徴」って何? p58
44.
本のページ 特徴の獲得 データを良く表す「特徴」って何? 同じデータを より少ない次元で表したとき、 その少ない次元の基底ベクトル p58
45.
本のページ 特徴の獲得 データを良く表す「特徴」って何? 同じデータを より少ない次元で表したとき、 その少ない次元の基底ベクトル わかりづらい… p58
46.
本のページ 特徴の獲得 データを良く表す「特徴」って何? 同じデータを より少ない次元で表したとき、 その少ない次元の基底ベクトル わかりづらい… 次元を落とす ということ ひと言でいうと p58
47.
本のページ 特徴とはどの部分か p58
48.
本のページ 特徴とはどの部分か この「重み」と「バイアス」を「特徴」という 自己符号化器が学習によって決定する部分 p58
49.
本のページ 特徴とは なぜこれが特徴なのか p58
50.
本のページ 特徴とは なぜこれが特徴なのか yの計算は、重み行列Wとxの積から始まりますが、 これはWの各行ベクトルとxの内積の計算であって、 そこでは入力xにWの各行ベクトル表す成分が どれだけ含まれているかを取り出していると言えます。 引用(p58中段) → 音読しましょう p58
51.
本のページ 特徴とは なぜこれが特徴なのか yの計算は、重み行列Wとxの積から始まりますが、 これはWの各行ベクトルとxの内積の計算であって、 そこでは入力xにWの各行ベクトル表す成分が どれだけ含まれているかを取り出していると言えます。 引用(p58中段) → 音読しましょう 元の基底ベクトル 元の基底ベクトル 入 力 x p58
52.
本のページ 特徴とは なぜこれが特徴なのか yの計算は、重み行列Wとxの積から始まりますが、 これはWの各行ベクトルとxの内積の計算であって、 そこでは入力xにWの各行ベクトル表す成分が どれだけ含まれているかを取り出していると言えます。 引用(p58中段) → 音読しましょう 元の基底ベクトル 元の基底ベクトル 入 力 x 基 底 ベ ク ト ル W2 基底ベクトルW1 p58
53.
本のページ 特徴とは なぜこれが特徴なのか yの計算は、重み行列Wとxの積から始まりますが、 これはWの各行ベクトルとxの内積の計算であって、 そこでは入力xにWの各行ベクトル表す成分が どれだけ含まれているかを取り出していると言えます。 引用(p58中段) → 音読しましょう 元の基底ベクトル 元の基底ベクトル 入 力 x 基 底 ベ ク ト ル W2 基底ベクトルW1 y2-倍 y1-倍 p58
54.
本のページ 特徴とは なぜこれが特徴なのか yの計算は、重み行列Wとxの積から始まりますが、 これはWの各行ベクトルとxの内積の計算であって、 そこでは入力xにWの各行ベクトル表す成分が どれだけ含まれているかを取り出していると言えます。 引用(p58中段) → 音読しましょう 元の基底ベクトルの空間ではなく、 Wの行ベクトルを基底ベクトルとした空間でxを見て、 その空間での各成分が
y である 符号化することで見る空間が変わる 元の基底ベクトル 元の基底ベクトル 入 力 x 基 底 ベ ク ト ル W2 基底ベクトルW1 y2-倍 y1-倍 p58
55.
本のページ 次元を落とす p58
56.
本のページ 次元を落とす さらに注目するのは p58
57.
本のページ 次元を落とす 次元の数 = ユニットの数 さらに注目するのは p58
58.
本のページ 次元を落とす 次元の数 = ユニットの数 さらに注目するのは 入力は4次元 p58
59.
本のページ 次元を落とす 次元の数 = ユニットの数 さらに注目するのは 入力は4次元 符号化したあとは3次元 p58
60.
本のページ 次元を落とす 次元の数 = ユニットの数 さらに注目するのは 入力は4次元 符号化したあとは3次元 符号化した空間では データ表現の次元が減っている! p58
61.
本のページ 軽くまとめ p58
62.
本のページ 軽くまとめ ・自己符号化器の学習で得られた重み行列Wを特徴という 元の基底ベクトル 元の基底ベクトル 入 力 x 基 底 ベ ク ト ル W2 基底ベクトルW1 y2-倍 y1-倍 p58
63.
本のページ 軽くまとめ ・自己符号化器の学習で得られた重み行列Wを特徴という 元の基底ベクトル 元の基底ベクトル 入 力 x 基 底 ベ ク ト ル W2 基底ベクトルW1 y2-倍 y1-倍 ・特徴とは、新しい空間の基底ベクトルである p58
64.
本のページ 軽くまとめ ・自己符号化器の学習で得られた重み行列Wを特徴という 元の基底ベクトル 元の基底ベクトル 入 力 x 基 底 ベ ク ト ル W2 基底ベクトルW1 y2-倍 y1-倍 ・特徴とは、新しい空間の基底ベクトルである あるデータを、 より少ない次元で表せるのは、 非常に有用なこと ・その新しい空間は、元の空間よりも次元が少ない p58
65.
本のページ p57
66.
本のページ p57 どうしてそんなことできるの? なぜ次元を落とした空間での表現が可能なのか
67.
本のページ 直感的な独自解釈 p**
68.
本のページ 直感的な独自解釈 ① 高次元データを入力 ① p**
69.
本のページ 直感的な独自解釈 ① 高次元データを入力 ① ② 強制的に低次元空間に変換(符号化) ② p**
70.
本のページ 直感的な独自解釈 ① 高次元データを入力 ① ② 強制的に低次元空間に変換(符号化) ② ③
元の高次元に戻す ③ p**
71.
本のページ 直感的な独自解釈 ① 高次元データを入力 ① ② 強制的に低次元空間に変換(符号化) ② ③
元の高次元に戻す ③ ④ 同じ入力に復号 ④ p**
72.
本のページ 直感的な独自解釈 ① 高次元データを入力 ① ② 強制的に低次元空間に変換(符号化) ② ③
元の高次元に戻す ③ ④ 同じ入力に復号 ④ 強制的に1度低次元データに落とす層を通過させ、 その上でパラメータを学習させる。 すると、この流れを満たすパラメータが得られる。 そのパラメータは復元可能な低次元データへ変換するための パラメータを与える。 p**
73.
本のページ 直感的な独自解釈 ① 高次元データを入力 ① ② 強制的に低次元空間に変換(符号化) ② ③
元の高次元に戻す ③ ④ 同じ入力に復号 ④ 強制的に1度低次元データに落とす層を通過させ、 その上でパラメータを学習させる。 すると、この流れを満たすパラメータが得られる。 そのパラメータは復元可能な低次元データへ変換するための パラメータを与える。 ここ p**
74.
本のページ p60
75.
本のページ これは「主成分分析」と違うのか? 似たようなこと聞いたことあるけど… p60
76.
本のページ はい、同じです p60
77.
本のページ 主成分分析との関係 p61
78.
本のページ 主成分分析との関係 ・学習の結果得られる重み行列Wは、 主成分分析で得られる結果と実質的に同じ(p61中段) - 重み行列Wは主成分分析で得られる固有ベクトルが並んだ形 p61
79.
本のページ 主成分分析との関係 ・学習の結果得られる重み行列Wは、 主成分分析で得られる結果と実質的に同じ(p61中段) - 重み行列Wは主成分分析で得られる固有ベクトルが並んだ形 ・中間ユニット数が入力ユニット数よりも少ない場合に限る! - 中間ユニットの数が多い場合は期待した結果が得られない p61
80.
本のページ 自己符号化器(まとめ) p**
81.
本のページ 自己符号化器(まとめ) ・自己符号化器の一つの機能 → 特徴を得る p**
82.
本のページ 自己符号化器(まとめ) ・自己符号化器の一つの機能 → 特徴を得る 元の基底ベクトル 元の基底ベクトル 入 力 x 基 底 ベ ク ト ル W2 基底ベクトルW1 y2-倍
y1-倍 ・特徴とは、少ない次元でデータを表現できる空間の 基底ベクトルのこと p**
83.
本のページ 自己符号化器(まとめ) ・自己符号化器の一つの機能 → 特徴を得る ・強制的に次元が落とされる環境で学習することで 次元を落とすためのパラメータ(特徴)が得られる 元の基底ベクトル 元の基底ベクトル 入 力 x 基 底 ベ ク ト ル W2 基底ベクトルW1 y2-倍
y1-倍 ・特徴とは、少ない次元でデータを表現できる空間の 基底ベクトルのこと p**
84.
本のページ 自己符号化器(まとめ) ・自己符号化器の一つの機能 → 特徴を得る ・強制的に次元が落とされる環境で学習することで 次元を落とすためのパラメータ(特徴)が得られる 元の基底ベクトル 元の基底ベクトル 入 力 x 基 底 ベ ク ト ル W2 基底ベクトルW1 y2-倍
y1-倍 ・特徴とは、少ない次元でデータを表現できる空間の 基底ベクトルのこと ・実質的には主成分分析と同じ p**
85.
本のページ p62
86.
本のページ スパース正則化 もう少し自己符号化器をレベルアップさせます p62
87.
本のページ スパース正則化とは p62
88.
本のページ スパース正則化とは いくつかの中間ユニットの出力をゼロにする そうなるように学習するようテコ入れする p62
89.
本のページ スパース正則化とは 0 0 いくつかの中間ユニットの出力をゼロにする そうなるように学習するようテコ入れする p62
90.
本のページ 何が利点? p62
91.
本のページ 何が利点? 符号化後の空間において多数の成分がゼロである利点 p62
92.
本のページ 何が利点? ・符号化後のデータを使えば計算が簡単 ・符号化することでデータ圧縮が可能 符号化後の空間において多数の成分がゼロである利点 p62
93.
本のページ 何が利点? ・符号化後のデータを使えば計算が簡単 ・符号化することでデータ圧縮が可能 符号化後の空間において多数の成分がゼロである利点 ニューラルネットに特化した利点 p62
94.
本のページ 何が利点? ・符号化後のデータを使えば計算が簡単 ・符号化することでデータ圧縮が可能 符号化後の空間において多数の成分がゼロである利点 ニューラルネットに特化した利点 ・中間層のユニット数が多くても大丈夫 - 入力層のユニット数より多くても意味のあるデータが取れる - これを「過完備な表現」という p62
95.
本のページ どうやって学習するの? p63
96.
本のページ どうやって学習するの? 誤差関数に 正則化項 を加えて最小化する p63
97.
本のページ どうやって学習するの? 誤差関数に 正則化項 を加えて最小化する p63
98.
本のページ どうやって学習するの? 誤差関数に 正則化項 を加えて最小化する 正則化の強さ パラメータとして設定する p63
99.
本のページ どうやって学習するの? 誤差関数に 正則化項 を加えて最小化する 平均活性度の目標値 パラメータとして設定する 正則化の強さ パラメータとして設定する p63
100.
本のページ どうやって学習するの? 誤差関数に 正則化項 を加えて最小化する 平均活性度の目標値 パラメータとして設定する ユニット
j の平均活性度 全訓練データの活性度の平均 正則化の強さ パラメータとして設定する p63
101.
本のページ どうやって学習するの? 誤差関数に 正則化項 を加えて最小化する p63
102.
本のページ どうやって学習するの? 誤差関数に 正則化項 を加えて最小化する ①
小さな ρ を設定する → 平均活性度をゼロに向かわせるため ② 中間層の各ユニットの平均活性度が ρ に近づく ③ その中で誤差 E が最小になるように w が決定される ④ 活性化するユニットはどれでも良い 学習手順 p63
103.
本のページ 正則化項について カルバック・ライブラー・ダイバージェンス p64
104.
本のページ 正則化項について カルバック・ライブラー・ダイバージェンス ρ = 0.3 p64
105.
本のページ 正則化項について カルバック・ライブラー・ダイバージェンス ・目標値から遠いと値が大きい ・目標値に近いと値が小さい ・誤差関数を最小化していくので、 KLの値が小さくなる方向に進む 平均活性度 ρ が
ρ に近づく^ ρ = 0.3 p64
106.
本のページ p66
107.
本のページ スパース正則化の効果 「5.4.3 最適化」は逆伝播法の計算方法なので 詳細は本書に譲ります p66
108.
本のページ 変更するパラメータ p66
109.
本のページ 変更するパラメータ 正則化の強さ p66
110.
本のページ 変更するパラメータ 正則化の強さ ① β =
0.0 : 正則化効果なし ② β = 0.1 : 適度な正則化効果 ③ β = 3.0 : 正則化効果強すぎ これらについて見ていく p66
111.
本のページ パラメータによる違い p67 の 4枚の図を見ながらだとわかりやすいです p67
112.
本のページ パラメータによる違い p67 の 4枚の図を見ながらだとわかりやすいです ①
β = 0.0 : 正則化効果なし ・全ての基底ベクトルWを無理やり用いて符号化する - 圧縮や計算効率などの恩恵を受けられない p67
113.
本のページ パラメータによる違い p67 の 4枚の図を見ながらだとわかりやすいです ①
β = 0.0 : 正則化効果なし ・全ての基底ベクトルWを無理やり用いて符号化する - 圧縮や計算効率などの恩恵を受けられない ② β = 0.1 : 適度な正則化効果 ・基底ベクトルそれぞれが役割を果たし、 いくつかだけを用いて符号化する - 低次元データを上手く生成できる p67
114.
本のページ パラメータによる違い p67 の 4枚の図を見ながらだとわかりやすいです ①
β = 0.0 : 正則化効果なし ・全ての基底ベクトルWを無理やり用いて符号化する - 圧縮や計算効率などの恩恵を受けられない ② β = 0.1 : 適度な正則化効果 ・基底ベクトルそれぞれが役割を果たし、 いくつかだけを用いて符号化する - 低次元データを上手く生成できる ③ β = 3.0 : 正則化効果強すぎ ・それぞれの基底ベクトルが「ただそれだけ」で データを表現しようとする - 微妙な変化などを吸収できない p67
115.
本のページ スパース正則化(まとめ) p**
116.
本のページ スパース正則化(まとめ) ・利点は計算量の削減やデータ圧縮 p**
117.
本のページ スパース正則化(まとめ) ・利点は計算量の削減やデータ圧縮 ・中間層の出力をいくつかゼロにする p**
118.
本のページ スパース正則化(まとめ) ・利点は計算量の削減やデータ圧縮 ・中間層の出力をいくつかゼロにする ・誤差関数に正則化項を加えて最小化する p**
119.
本のページ スパース正則化(まとめ) ・利点は計算量の削減やデータ圧縮 ・中間層の出力をいくつかゼロにする ・誤差関数に正則化項を加えて最小化する ・正則化の強さパラメータを変更することで結果が変わる p**
120.
本のページ p67
121.
本のページ 白色化 より学習しやすいデータへ変換 p67
122.
本のページ 白色化とは p68
123.
本のページ 白色化とは データの偏りを除去する 良い特徴を学習できるようになる p68
124.
本のページ 白色化とは データの偏りを除去する 良い特徴を学習できるようになる 訓練データの成分間の相関を無くす p68
125.
本のページ 白色化とは データの偏りを除去する 良い特徴を学習できるようになる 訓練データの成分間の相関を無くす 共分散行列を対角化する! p68
126.
本のページ 共分散行列の対角化 p68
127.
本のページ 共分散行列の対角化 ( )x3 x7 x3とx7に相関があれば ここは非ゼロ p68
128.
本のページ 共分散行列の対角化 ( ) p68
129.
本のページ 共分散行列の対角化 ( )0 0 各成分での相関がない → 対角成分以外がゼロ p68
130.
本のページ 共分散行列の対角化 ( )0 0 各成分での相関がない → 対角成分以外がゼロ 訓練データxにある行列Pをかけると 共分散行列が対角行列になるとする その行列Pをみつける アプローチとしては… p68
131.
本のページ p68
132.
本のページ 1ステップずつ見ていきます p68
133.
本のページ 白色化に向けて p68
134.
本のページ 白色化に向けて ① ある行列Pを用いて各訓練データを変換 nは訓練データ番号 (n
= 1 … N) p68
135.
本のページ 白色化に向けて ① ある行列Pを用いて各訓練データを変換 nは訓練データ番号 (n
= 1 … N) ② uの共分散行列を考える これが対角行列になるように行列Pを決める! p68
136.
本のページ 白色化に向けて p68
137.
本のページ ③ 目標対角行列を単位行列とする 白色化に向けて p68
138.
本のページ ③ 目標対角行列を単位行列とする ④ Pの満たすべき式が得られる を代入して得られる 白色化に向けて p68
139.
本のページ 白色化に向けて p69
140.
本のページ ⑤ 右辺のΦXについて考える これについて考える 白色化に向けて p69
141.
本のページ ⑤ 右辺のΦXについて考える これについて考える ⑥ ΦXを固有ベクトルと固有値を用いて分解 固有値を対角に持つ対角行列 固有ベクトルを列ベクトルとする行列 白色化に向けて p69
142.
本のページ 白色化に向けて p69
143.
本のページ ⑦ ΦXの逆行列を考える 直交行列の特性を利用して算出 白色化に向けて p69
144.
本のページ ⑦ ΦXの逆行列を考える 直交行列の特性を利用して算出 ⑧ Pが満たすべき式に代入しPを求める }
Q:Pと同サイズの直交行列 D-1/2 :対角成分を-1/2乗した対角行列 白色化に向けて p69
145.
本のページ 白色化に向けて p69
146.
本のページ ⑨ 行列Pを再考 ・行列Pを訓練データxnに作用させ、 白色化データを得て、それを学習に使用 - 共分散行列が対角行列になるデータが得られる ・行列Qの自由度の分、行列Pの解がある -
Q=I だったら、それもPの解のひとつ 白色化に向けて p69
147.
本のページ ⑨ 行列Pを再考 ・行列Pを訓練データxnに作用させ、 白色化データを得て、それを学習に使用 - 共分散行列が対角行列になるデータが得られる ・行列Qの自由度の分、行列Pの解がある -
Q=I だったら、それもPの解のひとつ PCA白色化 共分散行列の固有ベクトルを使用することから (PCA: 主成分分析) という 白色化に向けて p69
148.
本のページ 白色化に向けて p69
149.
本のページ ⑩ 行列Pを対称行列に制限する ・Q=E で得られる -
こうするとP=PT となる(対称行列) 白色化に向けて p69
150.
本のページ ZCA白色化 対称であること(ゼロ位相である)から (ZCA: ゼロ位相) という ⑩ 行列Pを対称行列に制限する ・Q=E
で得られる - こうするとP=PT となる(対称行列) 白色化に向けて p69
151.
本のページ 白色化に向けて p69
152.
本のページ ⑪ 特定の成分の分散がとても小さい時 D-1/2 の計算が問題になる時がある εを導入して解決! 例えば 10^-6
などを与える 白色化に向けて p69
153.
本のページ 白色化に向けて p70
154.
本のページ 白色化に向けて ⑫ PCAとZCAの特徴 PCA白色化 ZCA白色化 高周波成分が強調され、元のデータの構造は見られない 境界が強調され、エッジ部分が残っている p70
155.
本のページ 白色化に向けて ⑫ PCAとZCAの特徴 PCA白色化 ZCA白色化 高周波成分が強調され、元のデータの構造は見られない 境界が強調され、エッジ部分が残っている 白色化の手法によって様々 上手く学習できる場合とできない場合があり いろいろ試してみないとわからない ※PCAとZCAの詳細な違いは本書に譲ります p70
156.
本のページ 白色化(まとめ) p**
157.
本のページ 白色化(まとめ) ・訓練データに偏りがあると上手く学習できないので、 訓練データの各要素の分散をゼロにする p**
158.
本のページ 白色化(まとめ) ・訓練データに偏りがあると上手く学習できないので、 訓練データの各要素の分散をゼロにする ・共分散行列が対角行列になるように行列Pで変換する p**
159.
本のページ 白色化(まとめ) ・訓練データに偏りがあると上手く学習できないので、 訓練データの各要素の分散をゼロにする ・共分散行列が対角行列になるように行列Pで変換する ・対角化の方法によって白色化の結果も変わる p**
160.
本のページ p72
161.
本のページ ディープネットの事前学習 より学習しやすい初期値を獲得 p72
162.
本のページ ② ディープネットの事前学習 ・上手く学習できるような初期値を得る ・訓練データ群からデータの基礎となる「特徴」を得る ① データを良く表す「特徴」を獲得 自己符号化器のおいしい部分 p72
163.
本のページ 次はここに注目! ② ディープネットの事前学習 ・上手く学習できるような初期値を得る ・訓練データ群からデータの基礎となる「特徴」を得る ① データを良く表す「特徴」を獲得 自己符号化器のおいしい部分 p72
164.
本のページ ディープネットの事前学習 p72
165.
本のページ ディープネットの事前学習 多層の順伝播型ネットワークは学習が難しい p72
166.
本のページ ディープネットの事前学習 多層の順伝播型ネットワークは学習が難しい 初期値を上手く選定 すれば学習がうまくいく! p72
167.
本のページ ディープネットの事前学習 多層の順伝播型ネットワークは学習が難しい 初期値を上手く選定 すれば学習がうまくいく! 自己符号化器を用いて初期値を決定する これが基本的な方法 p72
168.
本のページ 自己符号化器を用いた事前学習 w(2) w(3) w(4) この多層ディープネットの各初期値
w(2) ,w(3) ,w(4) を決定する あるディープネットの例 → 何らかの学習を行いたい (画像判別器など) p72
169.
本のページ w(2) w(3) w(4) 自己符号化器を用いた事前学習 【目的】 重みwの初期値を決定する p73
170.
本のページ w(2) w(3) w(4) 自己符号化器を用いた事前学習 ①
各層を分解する 【目的】 重みwの初期値を決定する p73
171.
本のページ w(2) w(3) w(4) 自己符号化器を用いた事前学習 ①
各層を分解する w(2) w(3) w(4) 【目的】 重みwの初期値を決定する p73
172.
本のページ w(2) w(3) w(4) 自己符号化器を用いた事前学習 ①
各層を分解する w(2) w(3) w(4) {xn} 訓練データ ② 自己符号化器を構成し 訓練データ{xn}から 重みw(2) を学習する 【目的】 重みwの初期値を決定する p73
173.
本のページ w(2) w(3) w(4) 自己符号化器を用いた事前学習 ①
各層を分解する w(2) w(3) w(4) {xn} 訓練データ ② 自己符号化器を構成し 訓練データ{xn}から 重みw(2) を学習する w(2) 学習済みw(2) を初期値に! 【目的】 重みwの初期値を決定する p73
174.
本のページ w(2) w(3) w(4) 自己符号化器を用いた事前学習 ①
各層を分解する w(2) w(3) w(4) {xn} 訓練データ ② 自己符号化器を構成し 訓練データ{xn}から 重みw(2) を学習する w(2) 学習済みw(2) を初期値に! 【目的】 重みwの初期値を決定する p73
175.
本のページ w(2) w(3) w(4) 自己符号化器を用いた事前学習 ①
各層を分解する w(2) w(3) w(4) {zn (2) } ③ 学習したw(2) をセットし 訓練データ{xn}を通し 出力{zn (2) }を得る {xn} 訓練データ ② 自己符号化器を構成し 訓練データ{xn}から 重みw(2) を学習する w(2) 学習済みw(2) を初期値に! 【目的】 重みwの初期値を決定する p73
176.
本のページ w(2) w(3) w(4) 自己符号化器を用いた事前学習 ①
各層を分解する w(2) w(3) w(4) {zn (2) } ③ 学習したw(2) をセットし 訓練データ{xn}を通し 出力{zn (2) }を得る {xn} 訓練データ ② 自己符号化器を構成し 訓練データ{xn}から 重みw(2) を学習する ④ 自己符号化器を構成し 直前の{zn (2) }を訓練データとし 重みw(3) を学習する w(2) 学習済みw(2) を初期値に! 【目的】 重みwの初期値を決定する p73
177.
本のページ w(2) w(3) w(4) 自己符号化器を用いた事前学習 ①
各層を分解する w(2) w(3) w(4) {zn (2) } ③ 学習したw(2) をセットし 訓練データ{xn}を通し 出力{zn (2) }を得る {xn} 訓練データ ② 自己符号化器を構成し 訓練データ{xn}から 重みw(2) を学習する ④ 自己符号化器を構成し 直前の{zn (2) }を訓練データとし 重みw(3) を学習する w(2) 学習済みw(2) を初期値に! 学習済みw(3) を初期値に! w(3) 【目的】 重みwの初期値を決定する p73
178.
本のページ w(2) w(3) w(4) 自己符号化器を用いた事前学習 ①
各層を分解する w(2) w(3) w(4) {zn (2) } ③ 学習したw(2) をセットし 訓練データ{xn}を通し 出力{zn (2) }を得る {xn} 訓練データ ② 自己符号化器を構成し 訓練データ{xn}から 重みw(2) を学習する ④ 自己符号化器を構成し 直前の{zn (2) }を訓練データとし 重みw(3) を学習する w(2) 学習済みw(2) を初期値に! 学習済みw(3) を初期値に! w(3) 【目的】 重みwの初期値を決定する p73
179.
本のページ w(2) w(3) w(4) 自己符号化器を用いた事前学習 ①
各層を分解する w(2) w(3) w(4) {zn (2) } ③ 学習したw(2) をセットし 訓練データ{xn}を通し 出力{zn (2) }を得る {xn} 訓練データ ② 自己符号化器を構成し 訓練データ{xn}から 重みw(2) を学習する ④ 自己符号化器を構成し 直前の{zn (2) }を訓練データとし 重みw(3) を学習する w(2) 学習済みw(2) を初期値に! 学習済みw(3) を初期値に! w(3) {zn (3) } {zn (4) } ⑤ 繰り返し w(4) 【目的】 重みwの初期値を決定する p73
180.
本のページ 自己符号化器を用いた事前学習 初期値が決まったので元のディープネットに戻り 本来の目的である教師あり学習(画像判別器の学習など)を行う w(2) w(3) w(4) p73
181.
本のページ 自己符号化器を用いた事前学習 初期値が決まったので元のディープネットに戻り 本来の目的である教師あり学習(画像判別器の学習など)を行う w(2) w(3) w(4) その前に「出力層」を1層追加する 出力層の活性化関数は適切に選ぶ w(5) ランダムに初期化 p73
182.
本のページ 自己符号化器を用いた事前学習 w(2) w(3) w(4) 出力層の活性化関数は適切に選ぶ w(5) ランダムに初期化 p74
183.
本のページ 自己符号化器を用いた事前学習 学習がより上手くすすむ! w(2) w(3) w(4) 出力層の活性化関数は適切に選ぶ w(5) ランダムに初期化 p74
184.
本のページ 良い学習できる初期値を得ることができた p74
185.
本のページ 良い学習できる初期値を得ることができた 事前学習には 他にもまだポイントがある p74
186.
本のページ その他のポイント p74
187.
本のページ その他のポイント ・特徴抽出器としての役割 - 初期値を学習済みのネットワークを利用 - 出力層を追加せず
{zn (4) } をxの特徴量みなす p74
188.
本のページ その他のポイント ・特徴抽出器としての役割 - 初期値を学習済みのネットワークを利用 - 出力層を追加せず
{zn (4) } をxの特徴量みなす ・学習がうまくいくのは経験則 - 理論的になぜそうなるのかはわかっていない - データの広がりをうまく捉えているから…? p74
189.
本のページ ディープネットの事前学習(まとめ) p**
190.
本のページ ディープネットの事前学習(まとめ) ・自己符号化器を用いて各層の初期値を得る p**
191.
本のページ ディープネットの事前学習(まとめ) ・自己符号化器を用いて各層の初期値を得る ・そうすると、本来の目的の教師あり学習がうまくいく p**
192.
本のページ ディープネットの事前学習(まとめ) ・自己符号化器を用いて各層の初期値を得る ・そうすると、本来の目的の教師あり学習がうまくいく ・うまくいくのは経験則 p**
193.
本のページ p74
194.
本のページ その他の自己符号化器 更に拡張した自己符号化器が存在する p74
195.
本のページ 多層自己符号化器 p74
196.
本のページ 多層自己符号化器 w(2) x 単層ネットワーク p74
197.
本のページ 多層自己符号化器 w(2) x 単層ネットワーク w’(2) x ^ 自己符号化器 p74
198.
本のページ 多層自己符号化器 w(2) x 単層ネットワーク w’(2) x ^ 自己符号化器 w(2) w(3) w(4) x 多層ネットワーク p74
199.
本のページ 多層自己符号化器 w(2) x 単層ネットワーク w’(2) x ^ 自己符号化器 w(2) w(3) w(4) x 多層ネットワーク w’(4)
w’(3) w’(2) x ^ 多層自己符号化器 p74
200.
本のページ 多層自己符号化器 w(2) x 単層ネットワーク w’(2) x ^ 自己符号化器 w(2) w(3) w(4) x 多層ネットワーク w’(4)
w’(3) w’(2) x ^ 多層自己符号化器 学習は簡単じゃない! 本書では詳しく解説されず → 割愛 p74
201.
本のページ デノイジング自己符号化器 p74
202.
本のページ デノイジング自己符号化器 その前に 制約ボルツマンマシン(RBM) について述べます p74
203.
本のページ デノイジング自己符号化器 その前に 制約ボルツマンマシン(RBM) について述べます ・用途や使い方は自己符号化器とほぼ同じ ・最適化の手順には確率的な要素がある ・自己符号化器よりも性能が少し上 p74
204.
本のページ デノイジング自己符号化器 その前に 制約ボルツマンマシン(RBM) について述べます ・用途や使い方は自己符号化器とほぼ同じ ・最適化の手順には確率的な要素がある ・自己符号化器よりも性能が少し上 このままじゃ悔しい自己符号化器! p74
205.
本のページ デノイジング自己符号化器 その前に 制約ボルツマンマシン(RBM) について述べます ・用途や使い方は自己符号化器とほぼ同じ ・最適化の手順には確率的な要素がある ・自己符号化器よりも性能が少し上 このままじゃ悔しい自己符号化器! デノイジング自己符号化器
の登場 p74
206.
本のページ デノイジング自己符号化器 ・自己符号化器の拡張 ・ネットワークの構造自体は自己符号化器と全く同じ ・以下の方法で学習する p76
207.
本のページ デノイジング自己符号化器 ・自己符号化器の拡張 ・ネットワークの構造自体は自己符号化器と全く同じ ・以下の方法で学習する ① 訓練データにランダムノイズを足す ② ノイズの乗ったデータで符号化と復号化を行う ③
出力をノイズの乗る前のデータと比較する 入力の訓練データには ノイズを入れるが、 出力との誤差比較には ノイズの入っていない 訓練データを用いる p76
208.
本のページ デノイジング自己符号化器 p76
209.
本のページ デノイジング自己符号化器 入力を再現するだけでなく ノイズを除去する 効果が期待されている 最終的にRBMと同程度の性能が報告されている p76
210.
本のページ その他の自己符号化器(まとめ) p**
211.
本のページ その他の自己符号化器(まとめ) ・多層自己符号化器は学習が難しい w(2) w(3) w(4) x w’(4)
w’(3) w’(2) x ^ p**
212.
本のページ その他の自己符号化器(まとめ) ・多層自己符号化器は学習が難しい w(2) w(3) w(4) x w’(4)
w’(3) w’(2) x ^ ・デノイジング自己符号化器はノイズ除去効果に期待 - RBMと同程度の性能を誇る p**
213.
214.
全体まとめ あともう少しです
215.
全体まとめ 自己符号化器 ・特徴の獲得 ・良い学習ができる初期値の獲得 スパース正則化 ・計算量削減 ・データ量削減 白色化 ・良い学習のための前処理 事前学習 ・良い学習のための初期値獲得
216.
217.
今回の内容は「知識」としての内容なので 他の資料や論文を読む際の手助けになればと思います 実際に実務で利用できるようにするには まだまだいろんな知識・経験が必要だと思います
218.
219.
よりよい自己符号化器ライフを! ご清聴ありがとうございました
Download now