Submit Search
Upload
異常検知と変化検知 7章方向データの異常検知
•
Download as PPTX, PDF
•
10 likes
•
3,876 views
智文 中野
Follow
機械学習プロフェッショナルシリーズ輪読会
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 19
Download now
Recommended
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
最適化超入門
最適化超入門
Takami Sato
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
joisino
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
Shunji Umetani
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
Megagon Labs
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
nlab_utokyo
Recommended
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
最適化超入門
最適化超入門
Takami Sato
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
joisino
組合せ最適化入門:線形計画から整数計画まで
組合せ最適化入門:線形計画から整数計画まで
Shunji Umetani
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
GiNZAで始める日本語依存構造解析 〜CaboCha, UDPipe, Stanford NLPとの比較〜
Megagon Labs
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
nlab_utokyo
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
音声感情認識の分野動向と実用化に向けたNTTの取り組み
音声感情認識の分野動向と実用化に向けたNTTの取り組み
Atsushi_Ando
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
[DL輪読会]Diffusion-based Voice Conversion with Fast Maximum Likelihood Samplin...
[DL輪読会]Diffusion-based Voice Conversion with Fast Maximum Likelihood Samplin...
Deep Learning JP
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
Deep Learning JP
数式からみるWord2Vec
数式からみるWord2Vec
Okamoto Laboratory, The University of Electro-Communications
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
Koichiro Mori
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
Deep Learning JP
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
Cosine Based Softmax による Metric Learning が上手くいく理由
Cosine Based Softmax による Metric Learning が上手くいく理由
tancoro
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
深層学習の数理
深層学習の数理
Taiji Suzuki
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
スパース性に基づく機械学習 2章 データからの学習
スパース性に基づく機械学習 2章 データからの学習
hagino 3000
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
智文 中野
ロケーションエンジンの紹介
ロケーションエンジンの紹介
智文 中野
More Related Content
What's hot
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
音声感情認識の分野動向と実用化に向けたNTTの取り組み
音声感情認識の分野動向と実用化に向けたNTTの取り組み
Atsushi_Ando
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
[DL輪読会]Diffusion-based Voice Conversion with Fast Maximum Likelihood Samplin...
[DL輪読会]Diffusion-based Voice Conversion with Fast Maximum Likelihood Samplin...
Deep Learning JP
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
Deep Learning JP
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
Deep Learning JP
数式からみるWord2Vec
数式からみるWord2Vec
Okamoto Laboratory, The University of Electro-Communications
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
Koichiro Mori
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
Deep Learning JP
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
Cosine Based Softmax による Metric Learning が上手くいく理由
Cosine Based Softmax による Metric Learning が上手くいく理由
tancoro
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
深層学習の数理
深層学習の数理
Taiji Suzuki
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
スパース性に基づく機械学習 2章 データからの学習
スパース性に基づく機械学習 2章 データからの学習
hagino 3000
What's hot
(20)
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
音声感情認識の分野動向と実用化に向けたNTTの取り組み
音声感情認識の分野動向と実用化に向けたNTTの取り組み
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
[DL輪読会]Diffusion-based Voice Conversion with Fast Maximum Likelihood Samplin...
[DL輪読会]Diffusion-based Voice Conversion with Fast Maximum Likelihood Samplin...
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
数式からみるWord2Vec
数式からみるWord2Vec
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Cosine Based Softmax による Metric Learning が上手くいく理由
Cosine Based Softmax による Metric Learning が上手くいく理由
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
深層学習の数理
深層学習の数理
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
スパース性に基づく機械学習 2章 データからの学習
スパース性に基づく機械学習 2章 データからの学習
More from 智文 中野
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
智文 中野
ロケーションエンジンの紹介
ロケーションエンジンの紹介
智文 中野
ロバストモーメント法による超母数推定の語彙出現率への応用
ロバストモーメント法による超母数推定の語彙出現率への応用
智文 中野
モーメント法に基づく超パラメータのロバスト推定
モーメント法に基づく超パラメータのロバスト推定
智文 中野
Wilson score intervalを使った信頼区間の応用
Wilson score intervalを使った信頼区間の応用
智文 中野
6章 最適腕識別とA/Bテスト
6章 最適腕識別とA/Bテスト
智文 中野
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
智文 中野
ノンパラメトリックベイズ4章クラスタリング
ノンパラメトリックベイズ4章クラスタリング
智文 中野
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
智文 中野
More from 智文 中野
(9)
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ポアソン分布を仮定した 少頻度の信頼区間と経験ベイズ 〜大標本中の少頻度の信頼区間〜
ロケーションエンジンの紹介
ロケーションエンジンの紹介
ロバストモーメント法による超母数推定の語彙出現率への応用
ロバストモーメント法による超母数推定の語彙出現率への応用
モーメント法に基づく超パラメータのロバスト推定
モーメント法に基づく超パラメータのロバスト推定
Wilson score intervalを使った信頼区間の応用
Wilson score intervalを使った信頼区間の応用
6章 最適腕識別とA/Bテスト
6章 最適腕識別とA/Bテスト
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
ベルヌーイ分布における超パラメータ推定のための経験ベイズ法
ノンパラメトリックベイズ4章クラスタリング
ノンパラメトリックベイズ4章クラスタリング
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
ブートストラップ手法を用いた学習不用語の除去(言語と統計2015)
異常検知と変化検知 7章方向データの異常検知
1.
異常検知と変化検知 7章 方向データの 異常検知 担当 株式会社VOYAGE
GROUP 中野智文 2015/11/04 機械学習プロフェッショナルシリーズ輪読会
2.
扱うデータ 距離が1
3.
補足スライド:方向データ • 自然言語処理のよくありそうなパターン • 文書の語彙をbag
of wordsにして • それを更にTF-IDFで重み付け • それらさらに重み合計1に正規化 • 次元圧縮行列(これがミソ)を使って、ベクトル化 • ベクトル化されたものを距離1で正規化 • これを使って分類や最近傍法を行う
4.
補足スライド:方向データ 1で正規化されているので 1で正規化されているので 正規化されていれば(方向データは)cosでも距離でも同じ意味となる cos類似度の場合: ユークリッド距離の場合:
5.
球体の上の正規分布?
6.
フォンミーゼス・フィッシャー分布 平均方向 集中度 第一種変形ベッセル関数 (7.1) (7.2)
7.
フォンミーゼス・フィッシャー分布 (疑問1) 一周(3.14)したら0にもどるはず… πが最小値なのでは? (疑問2)
確率密度分布は全部合計したら、1になるはず。しかしそ のようには見えない…
8.
7.2 平均方向の最尤推定 ただし (7.3)
9.
最尤推定 を制約にラグランジュの未定乗数法にて
10.
ただし (7.4) これを解くと、
11.
より を使って 最後に その解き方
12.
方向データの異常度とその確率分布 (7.5) (1) 最尤推定量 の確率分布 (2)
の確率分布が必要。
13.
(1) を とみなす。
14.
置換積分 デルタ関数の基本性質(2.20) ↑
より sinθ cosθ 式(2.19) ※おそらく誤植なので勝手に修正しています
15.
定期式(2.10)より、自由度M-1、スケール因子1/(2κ)のカイ二乗分布 a<<1 より次のように近似
16.
定理7.1 (方向データの異常度の確率分布) のとき、κが十分大きければ、近似的に (7.6)
17.
7.4 積率法にいよるカイ二乗分布の当てはめ • カイ二乗分布に従うことは分かったが、パラメータは分からない。 •
積率法(モーメント法)による当てはめ
18.
これから (7.8) (7.9) (7.7)
19.
7.5 補足:フォンミーゼスフィッシャー分布の 性質 あまりこの章が興味なさそうなので、省略
Editor's Notes
\cos(\bm{x}, \bm{y}) = \frac{\bm{x}\cdot\bm{y}}{|\bm{x}||\bm{y}|} \cos(\bm{x}, \bm{y}) = \bm{x}\cdot\bm{y} (\bm{x}-\bm{y})^2 = |\bm{x}|^2+2\bm{x}\cdot\bm{y}+|\bm{y}|^2 (\bm{x}-\bm{y})^2 = 2\bm{x}\cdot\bm{y} + 2
\mathcal{M}(\bm{x} | \bm{\mu}, \kappa) = \frac{\kappa^{M/2-1}}{ (2\pi)^{M/2} I_{M/2-1}(\kappa)}\exp(\kappa \bm{\mu}^{\top} \bm{x} ) I_{\alpha}(\kappa) = \frac{2^{-\alpha}\kappa^{-\alpha}}{\sqrt{\pi} \Gamma(\alpha + (1/2))}\int_0^{\phi}d\phi \sin^{2\alpha}\phi e^{\kappa \cos \phi}
L(\bm{\mu}, \kappa | \mathcal{D}) = \ln \prod_{n=1}^{N}c_{M}(\kappa) e^{\kappa \bm{\mu}^{\top} \bm{x}^{(n)}} = \sum_{n=1}^{N} \bigg( \ln c_{M}(\kappa) + \kappa \bm{\mu}^{\top} \bm{x}^{(n)} \bigg) c_{M}(\kappa) = \frac{\kappa^{M/2-1}}{ (2\pi)^{M/2} I_{M/2-1}(\kappa)}
L(\bm{\mu}, \kappa | \mathcal{D}) = \sum_{n=1}^{N} \bigg( \ln c_{M}(\kappa) + \kappa \bm{\mu}^{\top} \bm{x}^{(n)} \bigg) \bm{\mu}^{\top}\bm{\mu} = 1 0 = \frac{\partial}{\partial \bm{\mu}} \bigg\{ L(\bm{\mu}, \kappa | \mathcal{D}) - \lambda \bm{\mu}^{\top} \bm{\mu} \bigg\} = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu}
0 = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu} \hat{\bm{\mu}}=\frac{\bm{m}}{\sqrt{\bm{m}^{\top} \bm{m}}} \bm{m} = \frac{1}{N}\sum_{n=1}^{N}\bm{x}^{(n)}
0 = \kappa \sum_{n=1}^{N} \bm{x}^{(n)} - 2 \lambda \bm{\mu} \bm{m} = \frac{1}{N}\sum_{n=1}^{N}\bm{x}^{(n)} \frac{\kappa \bm{m}}{2 \bm{\mu}} = \lambda \bm{\mu}^{\top}\bm{\mu} = 1 \frac{\kappa^2 \bm{m}^{\top}\bm{m}}{2^2 } = \lambda^2 \frac{\kappa \sqrt{\bm{m}^{\top}\bm{m}}}{2 } = \lambda \hat{\bm{\mu}}=\frac{\bm{m}}{\sqrt{\bm{m}^{\top} \bm{m}}}
a(\bm{x}') = 1 - \hat{\bm{\mu}}^{\top}\bm{x}' \hat{\bm{\mu}}^{\top}\bm{x}'
q(z) = \int_{-\infty}^{\infty}d\bm{x}\delta(z-f(x_{1},...,x_{M}))p(x_{1},...,x_{M}) p(a) =\int_{S_M}d\bm{x}\delta(a-(1-\hat{\bm{\mu}}^{\top}\bm{x}))c_{M}(\kappa)\exp(\kappa \hat{\bm{\mu}}^{\top} \bm{x}) p(a) \propto \int_{0}^{\pi}d\theta_1 \sin^{M-2}\theta_1 \delta(a-(1-\cos \theta_1))\exp(\kappa \cos \theta_1) q(z) = \int_{-\infty}^{\infty}dx\delta(x-b)f(x)=f(b) p(a) \propto (2a-a^2)^{(M-3)/2}\exp(\kappa (1-a))
p(a) \propto (2a-a^2)^{(M-3)/2}\exp(\kappa (1-a)) p(a) \propto a^{(M-1)/2-1}\exp(-\kappa a)
\bm{x'} \sim \mathcal{M}(\bm{\mu},\kappa) 1-\bm{\mu}^{\top}\bm{x'} \sim \chi ^2\bigg(M-1,\frac{1}{2\kappa}\bigg)
\langle a \rangle = \int_{0}^{\infty} da \ a \chi^2(a|m,s) = ms \langle a^2 \rangle = \int_{0}^{\infty} da \ a^2 \chi^2(a|m,s) = m(m+2)s^2 \langle a \rangle \approx \frac{1}{N}\sum_{n=1}^{N} a^{(n)} \langle a^2 \rangle \approx \frac{1}{N}\sum_{n=1}^{N} (a^{(n)})^2 \hat{m}_{\mbox{mo}} = \frac{2\langle a \rangle ^2}{\langle a^2 \rangle - {\langle a \rangle}^2} \hat{s}_{\mbox{mo}} = \frac{\langle a^2 \rangle - {\langle a \rangle}^2}{2\langle a \rangle ^2}
Download now