SlideShare a Scribd company logo
1 of 26
Download to read offline
Think Globally, Act Locally: A Deep Neural Network
Approach to High-Dimensional Time Series
Forecasting
Rajat Sen *1, Hsiang-Fu Yu *1, and Inderjit Dhillon *2
*1 Amazon, *2 Amazon and UT Austin
さえない (@saeeeeru)
1. Motivation
2. Time-series Forecasting
3. Problem Setting
4. Proposed Approach
a. Matrix Factorization
b. Temporal Convolutional Network
c. LeveledInit : Initialization
d. DeepGLO : training, prediction
5. Experiments
Agenda
2

1. Motivation
2. Time-series Forecasting
3. Problem Setting
4. Proposed Approach
a. Matrix Factorization
b. Temporal Convolutional Network
c. LeveledInit : Initialization
d. DeepGLO : training, prediction
5. Experiments
Agenda
3

1. Motivation
● 論文のモチベーション :
○ RNNやLSTMは単一の時系列のみへ適用
■ するケースが多い 、convLSTM等あるが ...
○ 時系列の前処理問題
○ (多分)Amazon SageMaker で提供するモデルの高性能化
■ DeepAR@ICML17 // stacked LSTMを尤度最大化に向けて学習
4

1. Motivation
2. Time-series Forecasting
3. Problem Setting
4. Proposed Approach
a. Matrix Factorization
b. Temporal Convolutional Network
c. LeveledInit : Initialization
d. DeepGLO : training, prediction
5. Experiments
Agenda
5

2. Time-series Forecasting
時系列モデル学習において考慮するべきポイント
非定常過程

周期変動
週、月
トレンド
長期的な傾向
外部変数
環境要因
データの差
分

定常過程

平均が一定
6

2. Time-series Forecasting
時系列モデル
出典:
未来を予測するビッグデータの
解析手法と「SARIMAモデル」
- DeepAge
➕ 状態空間モデル
➕ VARモデル
➕ HMM
➕ Prophet
➕ RNN (LSTM, GRU)
➕ DeepAR
➕ ...
7

1. Motivation
2. Time-series Forecasting
3. Problem Setting
4. Proposed Approach
a. Matrix Factorization
b. Temporal Convolutional Network
c. LeveledInit : Initialization
d. DeepGLO : training, prediction
5. Experiments
Agenda
8

3. Problem Setting
❏ Given : n個の時系列データの集合
❏ Goal : 数ステップ先の n個の時系列データの予測
- 例 ) Electricity Dataset (n=370) // 各家庭の電力消費量
9

n
t
1. Motivation
2. Time-series Forecasting
3. Problem Setting
4. Proposed Approach
a. Matrix Factorization
b. Temporal Convolutional Network
c. LeveledInit : Initialization
d. DeepGLO : training, prediction
5. Experiments
Agenda
10

4. Proposed Approach
a. Matrix Factorization
b. Temporal Convolutional Network
c. LeveledInint // Initialization
d. DeepGLO // training, prediction
11

参考リンク:
github repo : DeepGLO
- docstringは少なめ
- open dataのdownloadスクリプト有
- (しかしながらtimestampはない .npy)
- (期間指定や前処理がされていそう)
- issueを立てて質問をしたが流されたDeepGLO : Overall
4. Proposed Approach
a. Matrix Factorization
- レコメンド等の特徴抽出に使われる次元削減のための方法
- 代表的なもの : SVD(特異値分解)、NMF(非負値因子分解)
12

Given Multiple
Time-series
Re-Scale
Factor
Global Temporal
Factor
4. Proposed Approach
b. Temporal Convolutional Network
= multi-layered NN comprised 1D Convolutional layers
論文 : 「An Empirical Evaluation of Generic convolutional and recurrent networks for sequence modeling」
❏ RNNのようにsequentialにfeedせずに
学習・評価が可能
❏ RNNのように部分的な計算結果を保持しな
くてよいため、使用メモリを削減
❏ 畳み込み演算により、
時系列方向の部分的な情報を学習
13

4. Proposed Approach
❏ カーネルサイズを k とすると、
TCNの各層のフィルターの重みを
1/k に、バイアスは ゼロ に初期化
➢ TCNの構造上、
過去数ステップの平均値を
初めから予測することができる
(移動平均 + 自己回帰)
c. LeveledInint : Initialization
LocalModel(TCN) クラスの初期化メソッド
14

4. DeepGLO
① Matrix Factorization
行列分解による特徴抽出
② Global TCN
MFで得られるXからGlobalに予測
③ Local TCN
過去のoriginalシーケンス、
Globalな予測、外部変数を共変量
として学習・最終的な予測値を算出
15
d. DeepGLO // training models
① 行列分解 X と F の更新
DeepGLO クラスの学習メソッド
(全体)
② Global TCNの更新
16
③ Local TCNの更新
d. DeepGLO // training factors
17

DeepGLO クラスの学習メソッド
(Matrix Factorization)
d. DeepGLO // training Global TCN
18

DeepGLO クラスの学習メソッド
(時系列特徴 Xの予測モデル)
d. DeepGLO // training Local TCN
19

DeepGLO クラスの学習メソッド
(最終予測モデル)
1. Motivation
2. Time-series Forecasting
3. Problem Setting
4. Proposed Approach
a. Matrix Factorization
b. Temporal Convolutional Network
c. LeveledInit : Initialization
d. DeepGLO : training, prediction
5. Experiments
Agenda
20

5. Experiments
❏ 実験に使用したデータセット
electricity
家庭の電力消費量 [/hour]
traffic
道路の交通量 [/hour]
wiki :
記事のアクセス数 [/day]
PeMSD7(M)
≒ traffic [/5min]
21

PeMSD7
5. Experiments
❏ 評価指標
- MAPE : Mean Average Percentage Error
= 平均絶対誤差率 // 予測範囲の絶対誤差率の平均 [%]
- WAPE : Weighted Average Percentage Error
= 加重平均絶対誤差率 // 絶対誤差率に加重平均をかける
- SMAPE : Symmetric Mean Average Percentage Error
= 対象平均絶対誤差率 // 絶対誤差率の分母を予測と実測の平均に
22

参照リンク:
● MAPE(平均絶対パーセント誤差、平均絶対誤差率)
とは ~Wikipedia翻訳~
5. Experiments
❏ 比較手法
- LSTM
- Prophet // Facebook提供の予測アルゴリズム
- DeepAR // Amazon Forecastでも提供中の予測アルゴリズム
- TCN (no LeveledInit) // 初期化メソッド適用なし
- TRMF (retrained)
- SVD + TCN // 特異値分解 + TCNによるXの予測
- Local TCN (LeveledInit)
- Global TCN-MF // DeepGLO - Local TCN
23

5. Experiments
実験結果 (WAPE / MAPE / SMAPE)
● 実験① // 正規化等の前処理なしに、高精度な予測が可能
● 実験② // spatioなデータに対して、GCNより高性能
24

Time-series Forecasting <- DeepGLO
時系列モデル学習において考慮するべきポイント
非定常過程

周期変動
週、月
トレンド
長期的な傾向
外部変数
環境要因
データの差
分

定常過程

平均が一定
25

+α : 多変量
LeveledInit
LocalTCN
Matrix
Factorization
Covariance
EoF
26


More Related Content

What's hot

[第2版]Python機械学習プログラミング 第15章
[第2版]Python機械学習プログラミング 第15章[第2版]Python機械学習プログラミング 第15章
[第2版]Python機械学習プログラミング 第15章Haruki Eguchi
 
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochiDeep learning勉強会20121214ochi
Deep learning勉強会20121214ochiOhsawa Goodfellow
 
自然言語処理のためのDeep Learning
自然言語処理のためのDeep Learning自然言語処理のためのDeep Learning
自然言語処理のためのDeep LearningYuta Kikuchi
 
現在のDNNにおける未解決問題
現在のDNNにおける未解決問題現在のDNNにおける未解決問題
現在のDNNにおける未解決問題Daisuke Okanohara
 
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)Takuma Yagi
 
[第2版]Python機械学習プログラミング 第13章
[第2版]Python機械学習プログラミング 第13章[第2版]Python機械学習プログラミング 第13章
[第2版]Python機械学習プログラミング 第13章Haruki Eguchi
 
Rabbit challenge dnn_day3-4
Rabbit challenge dnn_day3-4Rabbit challenge dnn_day3-4
Rabbit challenge dnn_day3-4TakumaYamauchi1
 
[読会]P qk means-_ billion-scale clustering for product-quantized codes
[読会]P qk means-_ billion-scale clustering for product-quantized codes[読会]P qk means-_ billion-scale clustering for product-quantized codes
[読会]P qk means-_ billion-scale clustering for product-quantized codesshima o
 
論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural Networks論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural NetworksSeiya Tokui
 
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1Len Matsuyama
 
0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)MasanoriSuganuma
 
BMS Molecular Translation 3rd place solution
BMS Molecular Translation 3rd place solutionBMS Molecular Translation 3rd place solution
BMS Molecular Translation 3rd place solutionKazuki Fujikawa
 
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
[DL輪読会]Xception: Deep Learning with Depthwise Separable ConvolutionsDeep Learning JP
 
Disconnected Recurrent Neural Networks for Text Categorization
Disconnected Recurrent Neural Networks for Text CategorizationDisconnected Recurrent Neural Networks for Text Categorization
Disconnected Recurrent Neural Networks for Text Categorizationharmonylab
 
Hybrid computing using a neural network with dynamic external memory
Hybrid computing using a neural network with dynamic external memoryHybrid computing using a neural network with dynamic external memory
Hybrid computing using a neural network with dynamic external memorypoppyuri
 
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場Daisuke Yoneoka
 
確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案__106__
 
Implement for Deep Learning of RBM Network in C.
Implement for Deep Learning of  RBM Network in C.Implement for Deep Learning of  RBM Network in C.
Implement for Deep Learning of RBM Network in C.Masato Nakai
 

What's hot (20)

[第2版]Python機械学習プログラミング 第15章
[第2版]Python機械学習プログラミング 第15章[第2版]Python機械学習プログラミング 第15章
[第2版]Python機械学習プログラミング 第15章
 
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochiDeep learning勉強会20121214ochi
Deep learning勉強会20121214ochi
 
自然言語処理のためのDeep Learning
自然言語処理のためのDeep Learning自然言語処理のためのDeep Learning
自然言語処理のためのDeep Learning
 
現在のDNNにおける未解決問題
現在のDNNにおける未解決問題現在のDNNにおける未解決問題
現在のDNNにおける未解決問題
 
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
 
[第2版]Python機械学習プログラミング 第13章
[第2版]Python機械学習プログラミング 第13章[第2版]Python機械学習プログラミング 第13章
[第2版]Python機械学習プログラミング 第13章
 
Rabbit challenge dnn_day3-4
Rabbit challenge dnn_day3-4Rabbit challenge dnn_day3-4
Rabbit challenge dnn_day3-4
 
[読会]P qk means-_ billion-scale clustering for product-quantized codes
[読会]P qk means-_ billion-scale clustering for product-quantized codes[読会]P qk means-_ billion-scale clustering for product-quantized codes
[読会]P qk means-_ billion-scale clustering for product-quantized codes
 
論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural Networks論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural Networks
 
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
 
Chap.7 pp.553~556
Chap.7 pp.553~556Chap.7 pp.553~556
Chap.7 pp.553~556
 
0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)0から理解するニューラルネットアーキテクチャサーチ(NAS)
0から理解するニューラルネットアーキテクチャサーチ(NAS)
 
BMS Molecular Translation 3rd place solution
BMS Molecular Translation 3rd place solutionBMS Molecular Translation 3rd place solution
BMS Molecular Translation 3rd place solution
 
Paper: seq2seq 20190320
Paper: seq2seq 20190320Paper: seq2seq 20190320
Paper: seq2seq 20190320
 
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
[DL輪読会]Xception: Deep Learning with Depthwise Separable Convolutions
 
Disconnected Recurrent Neural Networks for Text Categorization
Disconnected Recurrent Neural Networks for Text CategorizationDisconnected Recurrent Neural Networks for Text Categorization
Disconnected Recurrent Neural Networks for Text Categorization
 
Hybrid computing using a neural network with dynamic external memory
Hybrid computing using a neural network with dynamic external memoryHybrid computing using a neural network with dynamic external memory
Hybrid computing using a neural network with dynamic external memory
 
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場
 
確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案確率的深層学習における中間層の改良と高性能学習法の提案
確率的深層学習における中間層の改良と高性能学習法の提案
 
Implement for Deep Learning of RBM Network in C.
Implement for Deep Learning of  RBM Network in C.Implement for Deep Learning of  RBM Network in C.
Implement for Deep Learning of RBM Network in C.
 

Similar to NIPS2019 Amazon「think globally, act locally : a deep neural network approach to high-dimensional time series forecasting」

attention_is_all_you_need_nips17_論文紹介
attention_is_all_you_need_nips17_論文紹介attention_is_all_you_need_nips17_論文紹介
attention_is_all_you_need_nips17_論文紹介Masayoshi Kondo
 
Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Mo...
Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Mo...Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Mo...
Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Mo...Satoru Katsumata
 
畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向Yusuke Uchida
 
Image net classification with Deep Convolutional Neural Networks
Image net classification with Deep Convolutional Neural NetworksImage net classification with Deep Convolutional Neural Networks
Image net classification with Deep Convolutional Neural NetworksShingo Horiuchi
 
深層学習フレームワーク Chainerとその進化
深層学習フレームワークChainerとその進化深層学習フレームワークChainerとその進化
深層学習フレームワーク Chainerとその進化Yuya Unno
 
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Ohsawa Goodfellow
 
PyTorch, PixyzによるGenerative Query Networkの実装
PyTorch, PixyzによるGenerative Query Networkの実装PyTorch, PixyzによるGenerative Query Networkの実装
PyTorch, PixyzによるGenerative Query Networkの実装Shohei Taniguchi
 
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Seiya Tokui
 
A dual stage attention-based recurrent neural network for time series prediction
A dual stage attention-based recurrent neural network for time series predictionA dual stage attention-based recurrent neural network for time series prediction
A dual stage attention-based recurrent neural network for time series predictionOgushi Masaya
 
Cvim saisentan-6-4-tomoaki
Cvim saisentan-6-4-tomoakiCvim saisentan-6-4-tomoaki
Cvim saisentan-6-4-tomoakitomoaki0705
 
Nested RNSを用いたディープニューラルネットワークのFPGA実装
Nested RNSを用いたディープニューラルネットワークのFPGA実装Nested RNSを用いたディープニューラルネットワークのFPGA実装
Nested RNSを用いたディープニューラルネットワークのFPGA実装Hiroki Nakahara
 
[DLHacks]Fast and Accurate Entity Recognition with Iterated Dilated Convoluti...
[DLHacks]Fast and Accurate Entity Recognition with Iterated Dilated Convoluti...[DLHacks]Fast and Accurate Entity Recognition with Iterated Dilated Convoluti...
[DLHacks]Fast and Accurate Entity Recognition with Iterated Dilated Convoluti...Deep Learning JP
 
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolutioncvpaper. challenge
 
文献紹介:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
文献紹介:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale文献紹介:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
文献紹介:An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleToru Tamaki
 
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDTScan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDTKitsukawa Yuki
 
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness:In Search of Robust Architectures againstAdversar...When NAS Meets Robustness:In Search of Robust Architectures againstAdversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...MasanoriSuganuma
 
[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey
[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey
[DL輪読会]CNN - based Density Estimation and CrowdCounting A SurveyDeep Learning JP
 
R-CNNの原理とここ数年の流れ
R-CNNの原理とここ数年の流れR-CNNの原理とここ数年の流れ
R-CNNの原理とここ数年の流れKazuki Motohashi
 
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?Deep Learning JP
 

Similar to NIPS2019 Amazon「think globally, act locally : a deep neural network approach to high-dimensional time series forecasting」 (20)

attention_is_all_you_need_nips17_論文紹介
attention_is_all_you_need_nips17_論文紹介attention_is_all_you_need_nips17_論文紹介
attention_is_all_you_need_nips17_論文紹介
 
Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Mo...
Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Mo...Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Mo...
Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Mo...
 
畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向畳み込みニューラルネットワークの研究動向
畳み込みニューラルネットワークの研究動向
 
Image net classification with Deep Convolutional Neural Networks
Image net classification with Deep Convolutional Neural NetworksImage net classification with Deep Convolutional Neural Networks
Image net classification with Deep Convolutional Neural Networks
 
深層学習フレームワーク Chainerとその進化
深層学習フレームワークChainerとその進化深層学習フレームワークChainerとその進化
深層学習フレームワーク Chainerとその進化
 
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
 
PyTorch, PixyzによるGenerative Query Networkの実装
PyTorch, PixyzによるGenerative Query Networkの実装PyTorch, PixyzによるGenerative Query Networkの実装
PyTorch, PixyzによるGenerative Query Networkの実装
 
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
 
A dual stage attention-based recurrent neural network for time series prediction
A dual stage attention-based recurrent neural network for time series predictionA dual stage attention-based recurrent neural network for time series prediction
A dual stage attention-based recurrent neural network for time series prediction
 
Cvim saisentan-6-4-tomoaki
Cvim saisentan-6-4-tomoakiCvim saisentan-6-4-tomoaki
Cvim saisentan-6-4-tomoaki
 
Nested RNSを用いたディープニューラルネットワークのFPGA実装
Nested RNSを用いたディープニューラルネットワークのFPGA実装Nested RNSを用いたディープニューラルネットワークのFPGA実装
Nested RNSを用いたディープニューラルネットワークのFPGA実装
 
DeepCas
DeepCasDeepCas
DeepCas
 
[DLHacks]Fast and Accurate Entity Recognition with Iterated Dilated Convoluti...
[DLHacks]Fast and Accurate Entity Recognition with Iterated Dilated Convoluti...[DLHacks]Fast and Accurate Entity Recognition with Iterated Dilated Convoluti...
[DLHacks]Fast and Accurate Entity Recognition with Iterated Dilated Convoluti...
 
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
【CVPR 2019】Second-order Attention Network for Single Image Super-Resolution
 
文献紹介:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
文献紹介:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale文献紹介:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
文献紹介:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
 
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDTScan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
 
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
When NAS Meets Robustness:In Search of Robust Architectures againstAdversar...When NAS Meets Robustness:In Search of Robust Architectures againstAdversar...
When NAS Meets Robustness: In Search of Robust Architectures against Adversar...
 
[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey
[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey
[DL輪読会]CNN - based Density Estimation and CrowdCounting A Survey
 
R-CNNの原理とここ数年の流れ
R-CNNの原理とここ数年の流れR-CNNの原理とここ数年の流れ
R-CNNの原理とここ数年の流れ
 
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
 

More from SaeruYamamuro

フォーメーションを自動で検知する
フォーメーションを自動で検知するフォーメーションを自動で検知する
フォーメーションを自動で検知するSaeruYamamuro
 
サッカーにおけるトラッキングデータの取得と分析と可視化
サッカーにおけるトラッキングデータの取得と分析と可視化サッカーにおけるトラッキングデータの取得と分析と可視化
サッカーにおけるトラッキングデータの取得と分析と可視化SaeruYamamuro
 
KDD2018 DiDi 「large-scale order dispatch in on-demand ride-hailing platforms:...
KDD2018 DiDi 「large-scale order dispatch in on-demand ride-hailing platforms:...KDD2018 DiDi 「large-scale order dispatch in on-demand ride-hailing platforms:...
KDD2018 DiDi 「large-scale order dispatch in on-demand ride-hailing platforms:...SaeruYamamuro
 
サラーがリバプールにくれたもの
サラーがリバプールにくれたものサラーがリバプールにくれたもの
サラーがリバプールにくれたものSaeruYamamuro
 
平成30年度 UNIVAS 事業報告
平成30年度 UNIVAS 事業報告平成30年度 UNIVAS 事業報告
平成30年度 UNIVAS 事業報告SaeruYamamuro
 
ボール保持力・奪取力マップから見るロシアW杯2018
ボール保持力・奪取力マップから見るロシアW杯2018ボール保持力・奪取力マップから見るロシアW杯2018
ボール保持力・奪取力マップから見るロシアW杯2018SaeruYamamuro
 

More from SaeruYamamuro (6)

フォーメーションを自動で検知する
フォーメーションを自動で検知するフォーメーションを自動で検知する
フォーメーションを自動で検知する
 
サッカーにおけるトラッキングデータの取得と分析と可視化
サッカーにおけるトラッキングデータの取得と分析と可視化サッカーにおけるトラッキングデータの取得と分析と可視化
サッカーにおけるトラッキングデータの取得と分析と可視化
 
KDD2018 DiDi 「large-scale order dispatch in on-demand ride-hailing platforms:...
KDD2018 DiDi 「large-scale order dispatch in on-demand ride-hailing platforms:...KDD2018 DiDi 「large-scale order dispatch in on-demand ride-hailing platforms:...
KDD2018 DiDi 「large-scale order dispatch in on-demand ride-hailing platforms:...
 
サラーがリバプールにくれたもの
サラーがリバプールにくれたものサラーがリバプールにくれたもの
サラーがリバプールにくれたもの
 
平成30年度 UNIVAS 事業報告
平成30年度 UNIVAS 事業報告平成30年度 UNIVAS 事業報告
平成30年度 UNIVAS 事業報告
 
ボール保持力・奪取力マップから見るロシアW杯2018
ボール保持力・奪取力マップから見るロシアW杯2018ボール保持力・奪取力マップから見るロシアW杯2018
ボール保持力・奪取力マップから見るロシアW杯2018
 

NIPS2019 Amazon「think globally, act locally : a deep neural network approach to high-dimensional time series forecasting」

  • 1. Think Globally, Act Locally: A Deep Neural Network Approach to High-Dimensional Time Series Forecasting Rajat Sen *1, Hsiang-Fu Yu *1, and Inderjit Dhillon *2 *1 Amazon, *2 Amazon and UT Austin さえない (@saeeeeru)
  • 2. 1. Motivation 2. Time-series Forecasting 3. Problem Setting 4. Proposed Approach a. Matrix Factorization b. Temporal Convolutional Network c. LeveledInit : Initialization d. DeepGLO : training, prediction 5. Experiments Agenda 2

  • 3. 1. Motivation 2. Time-series Forecasting 3. Problem Setting 4. Proposed Approach a. Matrix Factorization b. Temporal Convolutional Network c. LeveledInit : Initialization d. DeepGLO : training, prediction 5. Experiments Agenda 3

  • 4. 1. Motivation ● 論文のモチベーション : ○ RNNやLSTMは単一の時系列のみへ適用 ■ するケースが多い 、convLSTM等あるが ... ○ 時系列の前処理問題 ○ (多分)Amazon SageMaker で提供するモデルの高性能化 ■ DeepAR@ICML17 // stacked LSTMを尤度最大化に向けて学習 4

  • 5. 1. Motivation 2. Time-series Forecasting 3. Problem Setting 4. Proposed Approach a. Matrix Factorization b. Temporal Convolutional Network c. LeveledInit : Initialization d. DeepGLO : training, prediction 5. Experiments Agenda 5

  • 7. 2. Time-series Forecasting 時系列モデル 出典: 未来を予測するビッグデータの 解析手法と「SARIMAモデル」 - DeepAge ➕ 状態空間モデル ➕ VARモデル ➕ HMM ➕ Prophet ➕ RNN (LSTM, GRU) ➕ DeepAR ➕ ... 7

  • 8. 1. Motivation 2. Time-series Forecasting 3. Problem Setting 4. Proposed Approach a. Matrix Factorization b. Temporal Convolutional Network c. LeveledInit : Initialization d. DeepGLO : training, prediction 5. Experiments Agenda 8

  • 9. 3. Problem Setting ❏ Given : n個の時系列データの集合 ❏ Goal : 数ステップ先の n個の時系列データの予測 - 例 ) Electricity Dataset (n=370) // 各家庭の電力消費量 9
 n t
  • 10. 1. Motivation 2. Time-series Forecasting 3. Problem Setting 4. Proposed Approach a. Matrix Factorization b. Temporal Convolutional Network c. LeveledInit : Initialization d. DeepGLO : training, prediction 5. Experiments Agenda 10

  • 11. 4. Proposed Approach a. Matrix Factorization b. Temporal Convolutional Network c. LeveledInint // Initialization d. DeepGLO // training, prediction 11
 参考リンク: github repo : DeepGLO - docstringは少なめ - open dataのdownloadスクリプト有 - (しかしながらtimestampはない .npy) - (期間指定や前処理がされていそう) - issueを立てて質問をしたが流されたDeepGLO : Overall
  • 12. 4. Proposed Approach a. Matrix Factorization - レコメンド等の特徴抽出に使われる次元削減のための方法 - 代表的なもの : SVD(特異値分解)、NMF(非負値因子分解) 12
 Given Multiple Time-series Re-Scale Factor Global Temporal Factor
  • 13. 4. Proposed Approach b. Temporal Convolutional Network = multi-layered NN comprised 1D Convolutional layers 論文 : 「An Empirical Evaluation of Generic convolutional and recurrent networks for sequence modeling」 ❏ RNNのようにsequentialにfeedせずに 学習・評価が可能 ❏ RNNのように部分的な計算結果を保持しな くてよいため、使用メモリを削減 ❏ 畳み込み演算により、 時系列方向の部分的な情報を学習 13

  • 14. 4. Proposed Approach ❏ カーネルサイズを k とすると、 TCNの各層のフィルターの重みを 1/k に、バイアスは ゼロ に初期化 ➢ TCNの構造上、 過去数ステップの平均値を 初めから予測することができる (移動平均 + 自己回帰) c. LeveledInint : Initialization LocalModel(TCN) クラスの初期化メソッド 14

  • 15. 4. DeepGLO ① Matrix Factorization 行列分解による特徴抽出 ② Global TCN MFで得られるXからGlobalに予測 ③ Local TCN 過去のoriginalシーケンス、 Globalな予測、外部変数を共変量 として学習・最終的な予測値を算出 15
  • 16. d. DeepGLO // training models ① 行列分解 X と F の更新 DeepGLO クラスの学習メソッド (全体) ② Global TCNの更新 16
③ Local TCNの更新
  • 17. d. DeepGLO // training factors 17
 DeepGLO クラスの学習メソッド (Matrix Factorization)
  • 18. d. DeepGLO // training Global TCN 18
 DeepGLO クラスの学習メソッド (時系列特徴 Xの予測モデル)
  • 19. d. DeepGLO // training Local TCN 19
 DeepGLO クラスの学習メソッド (最終予測モデル)
  • 20. 1. Motivation 2. Time-series Forecasting 3. Problem Setting 4. Proposed Approach a. Matrix Factorization b. Temporal Convolutional Network c. LeveledInit : Initialization d. DeepGLO : training, prediction 5. Experiments Agenda 20

  • 21. 5. Experiments ❏ 実験に使用したデータセット electricity 家庭の電力消費量 [/hour] traffic 道路の交通量 [/hour] wiki : 記事のアクセス数 [/day] PeMSD7(M) ≒ traffic [/5min] 21
 PeMSD7
  • 22. 5. Experiments ❏ 評価指標 - MAPE : Mean Average Percentage Error = 平均絶対誤差率 // 予測範囲の絶対誤差率の平均 [%] - WAPE : Weighted Average Percentage Error = 加重平均絶対誤差率 // 絶対誤差率に加重平均をかける - SMAPE : Symmetric Mean Average Percentage Error = 対象平均絶対誤差率 // 絶対誤差率の分母を予測と実測の平均に 22
 参照リンク: ● MAPE(平均絶対パーセント誤差、平均絶対誤差率) とは ~Wikipedia翻訳~
  • 23. 5. Experiments ❏ 比較手法 - LSTM - Prophet // Facebook提供の予測アルゴリズム - DeepAR // Amazon Forecastでも提供中の予測アルゴリズム - TCN (no LeveledInit) // 初期化メソッド適用なし - TRMF (retrained) - SVD + TCN // 特異値分解 + TCNによるXの予測 - Local TCN (LeveledInit) - Global TCN-MF // DeepGLO - Local TCN 23

  • 24. 5. Experiments 実験結果 (WAPE / MAPE / SMAPE) ● 実験① // 正規化等の前処理なしに、高精度な予測が可能 ● 実験② // spatioなデータに対して、GCNより高性能 24

  • 25. Time-series Forecasting <- DeepGLO 時系列モデル学習において考慮するべきポイント 非定常過程
 周期変動 週、月 トレンド 長期的な傾向 外部変数 環境要因 データの差 分
 定常過程
 平均が一定 25
 +α : 多変量 LeveledInit LocalTCN Matrix Factorization Covariance