1. Extreme Learning Machine
Yoshiaki Sakakura (@a2ki)
2013.04.17.社内教育資料
1DENSO IT Laboratory, INC.

2. Extreme Learning Machine(ELM)とは
• 学習が早く、ロバストなNeural Network
– SinC関数
2DENSO IT Laboratory, INC.
http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/Fariselli2/ELM‐Workshop‐NUS.pdfより抜粋

3. Extreme Learning Machine(ELM)とは
• 学習が早く、ロバストなNeural Network
– Real World Regression Problem
学習時間[sec]
RMSE
3DENSO IT Laboratory, INC.
http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/Fariselli2/ELM‐Workshop‐NUS.pdfより抜粋
Ｃ実装より早い
著者は些末な問題だと言っている…。

4. Extreme Learning Machine(ELM)とは
• 学習が早く、ロバストなNeural Network
– Real World Very Large Complex Application
4DENSO IT Laboratory, INC.
http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/Fariselli2/ELM‐Workshop‐NUS.pdfより抜粋

5. 目次
• NN と ELM の比較
– Single Layer Feed‐forward Networks（SLFNs）を例に説明
• ELM の利点
– 学習速度とロバスト性以外にも
5DENSO IT Laboratory, INC.

6. NN : モデル構成
1 d・・・
L1 i ・・・・・・
出力層
隠れ層
入力層
出力層
Output
, ,
隠れ層
Output
,
∈
∈
, ,
隠れ層
Output
活性化
関数
6DENSO IT Laboratory, INC.

7. NN : 学習
, , argmax
, ,
, ∈ 1, … ,
入力
コスト関数
出力
（学習データ）
最適パラメータ
1 d・・・
L1 i ・・・・・・
出力層
隠れ層
入力層
,
∈
∈
7DENSO IT Laboratory, INC.

8. ELM : モデル構成
出力層
Output
, ,
隠れ層
Output
, ,
隠れ層
Output
活性化
関数1 d・・・
L1 i ・・・・・・
出力層
隠れ層
入力層
,
∈
∈
8DENSO IT Laboratory, INC.

9. ELM : 学習
, ∈ 1, … ,学習データ
活性化関数
隠れノード数
Given
STEP : 1
, 1, … , をランダムに生成
STEP : 2
隠れ層の出力行列 を生成
, , ⋯ , ,
⋮ ⋱ ⋮
, , ⋯ , ,
STEP : 3
β の解 β を求める
β , : 疑似逆行列
β ⋮⋮
1 d・・・
L1 i ・・・・・・
出力層
隠れ層
入力層
,
∈
∈
9DENSO IT Laboratory, INC.
STEP : 4
STEP1,3で得られた , , 1, … , を
最適パラメータとする

10. 理論的後ろだて
【NN（SLFNs）による関数近似の性質】
十分大きなLをとれば、任意の関数を近似可能
【ELM（SLNFs）による関数近似の性質】
十分大きなL、有界・非定数・区分連続な活性化関をとれば、
ランダムに生成された(a,b)によって任意の関数を近似可能
（βは学習）
10DENSO IT Laboratory, INC.
http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/Fariselli2/ELM‐Workshop‐NUS.pdfより抜粋

11. ELMの利点
• 学習がはやい
– 疑似逆行列1発（イテレートがない）
• ロバストな解が求まる
– 求めるパラメータが少ない
• 最適解が求まる
– だって、疑似逆行列1発
• 初期値に依存しない、Local Minimumが無い
• 多様な活性化関数が利用できる
– 有界、非定数、区分連続
• 微分できなくてもよい
• 決定するパラメータが少ない
– 隠れノード数Lだけ
• 普通のNNは、隠れノード数Lに加え、学習率η、収束判定値ε
– その後の研究では、0～Lの間で”最適な”ノード数を決定
11DENSO IT Laboratory, INC.

12. ちなみに
• v.s.Deep Learning（たぶんConvolutionなし？）
DENSO IT Laboratory, INC. 12
http://www.ntu.edu.sg/home/egbhuang/pdf/ELM‐General.pdfより抜粋

13. というわけで
• みなさん、おためしあれ
13DENSO IT Laboratory, INC.

14. 参考資料
• Extreme Learning Machine ポータルサイト
– http://www.ntu.edu.sg/home/egbhuang/
– 各論文、ソースコードあります
• Workshop on Machine Learning for BioMedical Infomatics での講演資料
– http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/
Fariselli2/ELM‐Workshop‐NUS.pdf
• MS Researchでの講演資料
– http://research.microsoft.com/apps/video/dl.aspx?id=144113
– ビデオもあるよ
• G.‐B. Huang, et al., “Universal Approximation Using Incremental Networks with Random Hidden
Computational Nodes”, IEEE Transactions on Neural Networks, vol. 17, no. 4, pp. 879‐892, 2006.
• G.‐B. Huang, et al., “Extreme Learning Machine: Theory and Applications,” Neurocomputing, vol. 70, pp.
489‐501, 2006.
14DENSO IT Laboratory, INC.