Recommended
More Related Content
Featured
Featured (20)
Deeplearning3
- 2. 自己紹介 氏名 渡辺春希 Twitter @haruaya0423 広島市立大学3年知能工学科 出身 静岡 趣味 ポケモン、シャニマス 最近の出来事 ランドロスが辛い。 ラブライブのアニメが来週で終わる。 TOEICの結果が楽しみ
- 4. 勾配降下法の問題点 ・実装は簡単だが、数値微分では計算に時間が掛かる。 lim ℎ→0 𝑓 𝑥 + ℎ − 𝑓(𝑥) ℎ そのため、パラメータの勾配を効率よく求める必要がある。 その方法が誤差逆伝播法である。 今回は計算グラフで説明する。
- 12. リンゴの例で考える。 リンゴの個数 × × 消費税 100 200 220 2.2 1.1 1 1.1 200 2 110 つまり、リンゴの値段が１増えたら支払金額に2.2の大きさで影響する。 個数なら110の大きさで影響する。消費税は200の大きさで影響する。
- 13. 活性化関数の逆伝播 ReLUの場合 𝑑𝑦 𝑑𝑥 =1(x>0),0(x≦0) となる。 Xが0よりも大きければ上流の値を 流す。 0以下ならば、逆伝播はストップする。 ReLUでは値が更新されない可能性がある。 X>0 X≦0 relu relu X y X y 0𝑑𝐿 𝑑𝑦 𝑑𝐿 𝑑𝑦 𝑑𝐿 𝑑𝑦
- 15. ステップ1 x -1 -x exp 1 ＋ exp(-x) 1+exp(-x) / y 𝑑𝐿 𝑑𝑦 － 𝑑𝐿 𝑑𝑦 𝑦2 y= 1 𝑥 をxで微分すると－ 1 𝑥2となる。つまり、 𝑑𝑦 𝑑𝑥 = −𝑦2を乗算する。 × x -1 -x exp 1 ＋ exp(-x) 1+exp(-x) / y 𝑑𝐿 𝑑𝑦 － 𝑑𝐿 𝑑𝑦 𝑦2 × ステップ2 加算ノードはそのまま。つまり変化なし。 － 𝑑𝐿 𝑑𝑦 𝑦2
- 16. ステップ３ y=exp(x)をxで微分するとexp(x)となる。つまり、 𝑑𝑦 𝑑𝑥 =exp(x)を乗算する。 x -1 -x exp 1 ＋ exp(-x) 1+exp(-x) / y 𝑑𝐿 𝑑𝑦 － 𝑑𝐿 𝑑𝑦 𝑦2 × － 𝑑𝐿 𝑑𝑦 𝑦2 x -1 -x exp 1 ＋ exp(-x) 1+exp(-x) / y 𝑑𝐿 𝑑𝑦 － 𝑑𝐿 𝑑𝑦 𝑦2 × － 𝑑𝐿 𝑑𝑦 𝑦2 － 𝑑𝐿 𝑑𝑦 𝑦2exp(-x) ステップ４ 乗算ノードは順伝播の値をひっくり返して乗算。 － 𝑑𝐿 𝑑𝑦 𝑦2exp(-x) 𝑑𝐿 𝑑𝑦 𝑦2exp(-x)
- 17. よってSigmoidの逆伝播は x y sigmoid 𝑑𝐿 𝑑𝑦 𝑑𝐿 𝑑𝑦 𝑦2exp(-x) 簡略化するとこんな感じ。 更に 𝑑𝐿 𝑑𝑦 𝑦2exp(-x)は 整理することが出来る。 𝑑𝐿 𝑑𝑦 𝑦2exp(-x)= 𝑑𝐿 𝑑𝑦 1 (1+exp −𝑥 )2exp(-x) = 𝑑𝐿 𝑑𝑦 1 1+exp(−𝑥) exp(−𝑥) 1+exp(−𝑥) = 𝑑𝐿 𝑑𝑦 y(1-y) よってsigmoidは順伝播の出力のみで計算できる。