Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Upcoming SlideShare
What to Upload to SlideShare
Next

1

Share

PRMU201902 Presentation document

深層学習に関する (個人的な)取り組みの紹介

Related Books

Free with a 30 day trial from Scribd

See all

PRMU201902 Presentation document

  1. 1. 田中正行 PRMU研究会2019/02 深層学習に関する (個人的な)取り組みの紹介
  2. 2. 概要 1 1.mgq (Minimal Gram task Queue) 2.train1000 (Train with small samples) 3.WiG (Weighted Sigmoid Gate Unit) (便利な)シンプルタスクキュー (練習用)小サンプル学習 新しい活性化関数 https://github.com/likesilkto/mgqueue http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/train1000/ http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/WiG/
  3. 3. タスクキューと深層学習 2 時間 18:00 20:00 22:00 00:00 02:00 04:00 06:00 08:00 10:00 GPU0 GPU1 Task0 Task1 Task2 Task3 (少ない)GPU資源を効率的に活 用したい 処理終了後,すぐに次の処理を行 いたい!
  4. 4. mgq (Minimal Gram task Queue) 3 https://github.com/likesilkto/mgqueue % pip install git+https://github.com/likesilkto/mgqueue インストール: python application タスク追加: % mgq queue_name ad ‘python train1.py’ % mgq queue_name ad ‘python train2.py’ スタート: % mgq queue_name start % mgq queue_name start –gmail [@マークより前のgmail アカウント] タスク追加: % mgq queue_name ad ‘python train3.py’
  5. 5. Train1000 project 4 http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/train1000/ Cifar-10, 100 学習データ数: 50,000枚 テストデータ数:10,000枚 GPUを使って学習に数時間かかる いろいろ試すには時間がかかるし, 初学者の練習には大変 少数データから学習できるのか? 1,000個の少数データから、 どれくらい性能が出せるのか? #train1000
  6. 6. Train1000 project 5 http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/train1000/ #train1000 mnist 100 samples x 10 classes = 1,000 samples Test Acc.: 0.9786 fashion_mnist 100 samples x 10 classes = 1,000 samples Test Acc.: 0.8159 cifar-10 100 samples x 10 classes = 1,000 samples Test Acc.: 0.5295 cifar-100 10 samples x 100 classes = 1,000 samples Test Acc.: 0.1676
  7. 7. 概要 6 1.mgq (Minimal Gram task Queue) 2.train1000 (Train with small samples) 3.WiG (Weighted Sigmoid Gate Unit) (便利な)シンプルタスクキュー (練習用)小サンプル学習 新しい活性化関数 https://github.com/likesilkto/mgqueue http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/train1000/ http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/WiG/
  8. 8. Activation Functions for DNNs Input x Activation function Weight Output y Conv. Activation function Input x Output y Activation functions Sigmoid tanh ReLU 𝜎𝜎 𝑥𝑥 = 1 1 + 𝑒𝑒−𝑥𝑥 max(𝑥𝑥, 0)
  9. 9. Advanced Activation Functions ReLU max(𝑥𝑥, 0) � 𝑥𝑥 (𝑥𝑥 ≥ 0) 𝛼𝛼𝛼𝛼 (𝑥𝑥 < 0) Leaky ReLU Parametric ReLU swish, SiL 𝑥𝑥 𝜎𝜎 𝑤𝑤𝑤𝑤 + 𝑏𝑏 Existing activation functions are element-wise function. Dying ReLU: Dead ReLU units always return zero.
  10. 10. WiG: Weighted Sigmoid Gate (Proposed) Existing activation functions are element-wise function. Sigmoid Gated Network can be used as activation function. Weight Activation function Weight Activation networkunit Proposed WiG (Weighted sigmoid gate unit) W × Wg WiG activation unit It is compatible to existing activation functions. It includes the ReLU. Sigmoid W Wg × My recommendation is: You can improve the network performance just by replacing the ReLU by the proposed WiG.
  11. 11. WiG: Three-state 10 𝒚𝒚 = 𝜎𝜎 𝑾𝑾𝒈𝒈 𝒙𝒙 + 𝒃𝒃𝒈𝒈 ⊗ (𝑾𝑾𝑾𝑾 + 𝒃𝒃) 人の網膜細胞 オン中心型受容野 オフ中心型受容野 中心が明るいほど 大きな出力 中心が暗いほど 大きな出力 反応なし ⊗ 反応の大きさ閾値制御 (符号付の) 反応の大きさ制御 閾値制御 独立に制御できる (かもしれない) Uchida, Coupled convolution layer for convolutional neural network, 2018
  12. 12. WiG: 側抑制 11 脳の測抑制 WiGは測抑制を実現できる! 測抑制 ニューロンの空間分布 大きな反応の周辺のニューロンの 反応が抑制される 𝒚𝒚 = 𝜎𝜎 𝑾𝑾𝒈𝒈 𝒙𝒙 + 𝒃𝒃𝒈𝒈 ⊗ (𝑾𝑾𝑾𝑾 + 𝒃𝒃) ⊗ 反応の大きさ閾値制御 要素独立の活性化関数 測抑制は実現不可能 測抑制を実現するWgを簡単に設計可能
  13. 13. WiG with sparseness constraint 12 𝒚𝒚 = 𝜎𝜎 𝑾𝑾𝒈𝒈 𝒙𝒙 + 𝒃𝒃𝒈𝒈 ⊗ (𝑾𝑾𝑾𝑾 + 𝒃𝒃) スパースネス: yの非ゼロ要素が少ない スパースネス拘束: 𝜎𝜎 𝑾𝑾𝒈𝒈 𝒙𝒙 + 𝒃𝒃𝒈𝒈 1
  14. 14. WiG  ReLU 13 𝒚𝒚 = 𝜎𝜎 𝑾𝑾𝒈𝒈 𝒙𝒙 + 𝒃𝒃𝒈𝒈 ⊗ (𝑾𝑾𝑾𝑾 + 𝒃𝒃) 𝑦𝑦 = 𝜎𝜎(𝛼𝛼𝛼𝛼) × 𝑥𝑥 𝑦𝑦 = 𝜎𝜎(𝛼𝛼𝛼𝛼) 𝛼𝛼 → ∞ 𝑦𝑦 = � 0 (𝑥𝑥 < 0) 1 (𝑥𝑥 ≥ 0) 𝑦𝑦 = 𝜎𝜎(𝛼𝛼𝛼𝛼) × 𝑥𝑥 𝛼𝛼 → ∞ 𝑦𝑦 = max(0, 𝑥𝑥) WiGはReLUを再現できる! 既存ネットワークのReLUをWiGに置き換えて, 高性能化できる!(かも)
  15. 15. Experimental Validations Object recognition Average accuracy Image denoising The reproduction code is available http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/WiG/
  16. 16. まとめ 15 1.mgq (Minimal Gram task Queue) 2.train1000 (Train with small samples) 3.WiG (Weighted Sigmoid Gate Unit) (便利な)シンプルタスクキュー (練習用)小サンプル学習 新しい活性化関数 https://github.com/likesilkto/mgqueue http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/train1000/ http://www.ok.sc.e.titech.ac.jp/~mtanaka/proj/WiG/
  • yasutomo57jp

    Mar. 1, 2019

深層学習に関する (個人的な)取り組みの紹介

Views

Total views

666

On Slideshare

0

From embeds

0

Number of embeds

50

Actions

Downloads

0

Shares

0

Comments

0

Likes

1

×