Recommended
More Related Content
What's hot
What's hot (20)
More from okku apot
Recently uploaded
Recently uploaded (11)
深層学習(講談社)のまとめ 第３章
- 1. ３． 確率的勾配降下法
- 2. ３章概要 順伝搬型ネットワークの学習 → 誤差関数を最小化すること その方法として誤差関数の傾き（勾配）を用いる↓ 勾配降下法：訓練データをまとめて一括で学習（バッチ学習） 確率的勾配降下法：訓練データを個別に逐次学習 一括だと学習が早い（計算量が少ない）けど ↓ 確率的勾配降下法の方が、局所極小解に陥りにくいなど、メリットたくさん ので、確率的勾配降下法を使うのが一般的 → 計算量の問題から、間をとったミニバッチ学習が人気
- 3. ３章概要 正則化の手法 → １．重みに制約をつける ex. 重み減衰 ２．使うユニットを制約する：ドロップアウト さらに、性能を上げる様々な工夫が↓ データの正規化・学習係数の決定・モメンタム・データ拡張 複数ネットの平均・重みの初期値・サンプルの順序 →でも… 学習しすぎて性能が下がることも：過学習 正則化：重みの自由度に制約を設ける 対策
- 4. ・勾配降下法 順伝搬型ネットワークの教師あり学習では誤差関数𝐸 𝒘 の最小化が目標。 ↓ それを実現する簡単な方法として、誤差関数の勾配を用いるのが勾配降下法。 勾配とは 勾配降下法は重みを負の勾配方向（−𝛻𝐸 ）に少し動かしていくことを 繰り返して最小値を求めていく方法。 式で表すと 𝒘 (𝑡) が今の重み、 𝒘 (𝑡+1) が更新後の重み、𝜀は動かす量 ３． 確率的勾配降下法 𝛻𝐸 ≡ 𝜕𝐸 𝜕𝒘 = 𝜕𝐸 𝜕𝑤1 , ⋯ , 𝜕𝐸 𝜕𝑤 𝑀 𝑇 𝒘 (𝑡+𝟏) = 𝒘 (𝑡) − 𝜀𝛻𝐸
- 5. 𝜀は更新量を決めるパラメータで、学習係数と呼ぶ。 ※学習係数は小さすぎると計算量が増え、大きいとtの増加に従って十分に減少しない ※勾配降下法より、ニュートン法など他の手法が使えるならそちらを優先すべき ３． 確率的勾配降下法 ・確率的勾配降下法（Stochastic Gradient Descent） 勾配降下法では訓練サンプル 𝑛 = 1, … , 𝑁に対して誤差関数 を最小化するように勾配を計算していた。（バッチ学習という） 対して、各サンプルの誤差を用いて更新するのが確率的勾配降下法 E 𝒘 = � 𝐸 𝑛(𝒘) 𝑁 𝑛=1 サンプル１個毎の誤差
- 6. 確率的勾配降下法はバッチ学習より優れた点がある ・ 訓練データに冗長性があっても効率を向上できる ・ 局所的な極小解に陥りにくい …など ニューラルネットの学習は計算量が多いので、並列処理をしたい １つずつではなく、少数のサンプル集合単位で更新を行う。 この集合をミニバッチという。このとき、t回目の更新時の誤差関数は 𝐸𝑡 𝒘 = 1 𝑁𝑡 � 𝐸 𝑛(𝒘) 𝑛∈𝐷𝑡 𝐷𝑡はミニバッチ、𝑁𝑡はミニバッチのサイズである ※ミニバッチのサイズは大きすぎると確率的勾配降下法のメリットを失う ３． 確率的勾配降下法
- 8. ・過学習の緩和 過学習は、局所解に陥った状況である。これはネットワークの自由度（主に重みの数） が高いほど可能性が高くなるが、自由度を下げるのは表現能力を下げることに なるので、自由度に制約をつける（正則化）が過学習への対策として挙げられる。 １． 重みの制約 重み（自由度）に何らかの制約をつける方法。 例えば、重み減衰。これは、誤差関数に重みの二乗和（二乗ノルム）を というように加えることで、重みの大きさに比例した速さで減衰するように なり、重みの小さいものが選ばれやすくなる。 ※ バイアスには重み減衰は一般に適用しない ほかに、入力側の重みに上限をつける重み上限という方法もある。 上記の不等式を満たさない場合、重みに１以下の定数をかけて調整する � 𝑤2 𝑗𝑗 < 𝑐 𝑖 𝐸𝑡 𝒘 = 1 𝑁𝑡 � 𝐸 𝑛(𝒘) 𝑛∈𝐷𝑡 + 𝜆 2 𝒘 𝟐 ３． 確率的勾配降下法
- 9. ２． ドロップアウト ネットワークの各ユニットを確率的に無効化する方法。自由度を強制的に 制限することで過学習を避ける。 学習時に、各ユニットを確率pで選んで無効化し、残されたユニットの ネットワークで今まで通り重みを更新する。このユニット選出は重み更新の 度に行う。ユニットの選出確率は各層で異なっていても良い。 学習後の推論時には、すべてのユニットを用いるがその際ドロップアウトを 適用した層のユニットの出力（または重み）は一律に選出確率 p 倍する。 ドロップアウトは一部無効化したネットワークの平均をとる処理とも言える。 ※複数ネットワークの平均をとることは推論性能の向上に繋がる ※ドロップアウトはその優れた性能と、実装が容易であることからネットワーク の一部を無効化する手法においてはおおむね優れた手法である。 ３． 確率的勾配降下法
- 10. ・汎化性能向上の様々な工夫 １．データの正規化（標準化） 訓練データの偏りを無くすための変換処理の一つ。各サンプルに線形処理を施して 各成分の平均や分散を揃える。各サンプルを𝒙 𝑛 = (𝑥 𝑛𝑛, … , 𝑥 𝑛𝑛, … ) とすると、 として各サンプルの平均が０になるようにしその後、各成分の標準偏差 𝜎𝑖 で 𝑥 𝑛𝑛 ← 𝑥 𝑛𝑛 − 𝑥𝑖� 𝜎𝑖 と割り算することで各成分の平均０、分散１になるように変換する。 ※分散を揃えない場合や、正則化以外の前処理も多々ある。 ２．データの拡張 訓練サンプルの足りない時に、手持ちのサンプルデータに何らかの処理を加えて 「水増し」する手法。サンプルのばらつきが予想できるとき特に有効。 𝑥 𝑛𝑛 ← 𝑥 𝑛𝑛 − 𝑥𝑖� ３． 確率的勾配降下法
- 11. ３．複数ネットの平均 複数の異なるネットワークに同じ入力を与えた時の平均をとる手法。 モデル平均と呼ばれる考え方。各ネットワークは同じ問題を解くために 訓練されたものであるが、初期値や構造などを変えたものを用いる。 ４．学習係数の決定法 学習係数は手動で決めることが多い。決め方としては以下が多い。 １． 初期は大きく設定し、学習が進むほど小さくしていく ２． 各層ごとに別の係数を決める 自動で決める方法で一般的なのはAdaGradである。 誤差関数の勾配を𝛻𝐸𝑡 ≡ 𝒈 𝑡とし、更新量が−𝜀𝑔𝑡,𝑖であった部分を − 𝜀 ∑ 𝑔2 𝑡′,𝑖 𝑡 𝑡′=1 𝑔𝑡,𝑖 とする手法。直感的には稀に表れる成分を重視してパラメータを更新する ことになる。 ３． 確率的勾配降下法
- 12. ５．モメンタム 前回の重みの修正量を更新時に加算することで、勾配降下法の収束性能を 向上する方法。ミニバッチ t の更新は 𝒘 (𝑡+1) = 𝒘 (𝑡) − 𝜀𝛻𝐸𝑡 + 𝜇∆𝒘(𝑡−1) と表せる。𝜇 は加算の割合を制御するハイパーパラメータ。学習効率が悪くなる、 深い谷状で谷底の高低差の少ない誤差関数であっても効率が向上する。 ６．重みの初期値 学習開始時の重みの初期値は平均０、標準偏差 σ のガウス分布から生成するのが 一般的。（バイアスは初期値０が一般的） 標準偏差は大きくしすぎると初期の学習は速く進むが、誤差関数の減少が早く 停止してしまう傾向にある。標準偏差は活性化関数を踏まえ、ユニットへの 総入力が丁度よい分散を持つように決定するのがよいとされる。 ※他にも事前学習によって初期値を決定する方法もある。 ３． 確率的勾配降下法