Submit Search
Upload
機械学習を用いた異常検知入門
•
Download as PPTX, PDF
•
59 likes
•
38,396 views
michiaki ito
Follow
oscセミナー発表資料です。誤字は気にしないでください。 口頭で説明を足したところがあるため、曖昧な説明となっている箇所があったりします、ごめんなさい。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 83
Download now
Recommended
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
Deep Learning JP
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
深層学習の数理
深層学習の数理
Taiji Suzuki
Recommended
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
Deep Learning JP
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
深層学習の数理
深層学習の数理
Taiji Suzuki
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
Ichigaku Takigawa
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
joisino
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Deep Learning JP
Active Learning の基礎と最近の研究
Active Learning の基礎と最近の研究
Fumihiko Takahashi
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
パターン認識 第10章 決定木
パターン認識 第10章 決定木
Miyoshi Yuya
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
Koichiro Mori
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
Naoya Chiba
スパースモデリング入門
スパースモデリング入門
Hideo Terada
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
Tomoki Hayashi
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Hiroyuki Masuda
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Shohei Hido
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Shohei Hido
More Related Content
What's hot
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
Ichigaku Takigawa
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
Tatsuya Yokota
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
joisino
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Deep Learning JP
Active Learning の基礎と最近の研究
Active Learning の基礎と最近の研究
Fumihiko Takahashi
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
Satoshi Hara
パターン認識 第10章 決定木
パターン認識 第10章 決定木
Miyoshi Yuya
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
Koichiro Mori
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
Naoya Chiba
スパースモデリング入門
スパースモデリング入門
Hideo Terada
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
Tomoki Hayashi
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Hiroyuki Masuda
What's hot
(20)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
2014 3 13(テンソル分解の基礎)
2014 3 13(テンソル分解の基礎)
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Active Learning の基礎と最近の研究
Active Learning の基礎と最近の研究
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
機械学習モデルの判断根拠の説明
機械学習モデルの判断根拠の説明
パターン認識 第10章 決定木
パターン認識 第10章 決定木
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
スパースモデリング入門
スパースモデリング入門
Visualizing Data Using t-SNE
Visualizing Data Using t-SNE
失敗から学ぶ機械学習応用
失敗から学ぶ機械学習応用
Viewers also liked
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Shohei Hido
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
Shohei Hido
時系列分析による異常検知入門
時系列分析による異常検知入門
Yohei Sato
外れ値
外れ値
Shintaro Fukushima
Anomaly detection in deep learning
Anomaly detection in deep learning
Adam Gibson
学位論文の書き方メモ (Tips for writing thesis)
学位論文の書き方メモ (Tips for writing thesis)
Nobuyuki Umetani
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Preferred Networks
【Zansa】物理学はWebデータ分析に使えるか
【Zansa】物理学はWebデータ分析に使えるか
Zansa
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3
Masakazu Sano
機械学習によるリモートネットワークの異常検知
機械学習によるリモートネットワークの異常検知
cloretsblack
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
hagino 3000
Wireshark だけに頼らない! パケット解析ツールの紹介
Wireshark だけに頼らない! パケット解析ツールの紹介
morihisa
Strata Beijing 2017: Jumpy, a python interface for nd4j
Strata Beijing 2017: Jumpy, a python interface for nd4j
Adam Gibson
Tokyo r15 異常検知入門
Tokyo r15 異常検知入門
Yohei Sato
20140213 web×マス広告の統合分析第3部_公開用
20140213 web×マス広告の統合分析第3部_公開用
Cyberagent
[R勉強会][データマイニング] R言語による時系列分析
[R勉強会][データマイニング] R言語による時系列分析
Koichi Hamada
KDD2014_study
KDD2014_study
正志 坪坂
Kobe.r勉強会資料
Kobe.r勉強会資料
kobexr
IoTでAzureのサービス利用~専門知識なしで始める超入門~
IoTでAzureのサービス利用~専門知識なしで始める超入門~
Kousuke Takada
Kansai Azure Azure Overview & Update 20140926
Kansai Azure Azure Overview & Update 20140926
Ayako Omori
Viewers also liked
(20)
FIT2012招待講演「異常検知技術のビジネス応用最前線」
FIT2012招待講演「異常検知技術のビジネス応用最前線」
Jubatus Casual Talks #2 異常検知入門
Jubatus Casual Talks #2 異常検知入門
時系列分析による異常検知入門
時系列分析による異常検知入門
外れ値
外れ値
Anomaly detection in deep learning
Anomaly detection in deep learning
学位論文の書き方メモ (Tips for writing thesis)
学位論文の書き方メモ (Tips for writing thesis)
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
【Zansa】物理学はWebデータ分析に使えるか
【Zansa】物理学はWebデータ分析に使えるか
Sano web広告最適化20131018v3
Sano web広告最適化20131018v3
機械学習によるリモートネットワークの異常検知
機械学習によるリモートネットワークの異常検知
異常検知と変化検知 9章 部分空間法による変化点検知
異常検知と変化検知 9章 部分空間法による変化点検知
Wireshark だけに頼らない! パケット解析ツールの紹介
Wireshark だけに頼らない! パケット解析ツールの紹介
Strata Beijing 2017: Jumpy, a python interface for nd4j
Strata Beijing 2017: Jumpy, a python interface for nd4j
Tokyo r15 異常検知入門
Tokyo r15 異常検知入門
20140213 web×マス広告の統合分析第3部_公開用
20140213 web×マス広告の統合分析第3部_公開用
[R勉強会][データマイニング] R言語による時系列分析
[R勉強会][データマイニング] R言語による時系列分析
KDD2014_study
KDD2014_study
Kobe.r勉強会資料
Kobe.r勉強会資料
IoTでAzureのサービス利用~専門知識なしで始める超入門~
IoTでAzureのサービス利用~専門知識なしで始める超入門~
Kansai Azure Azure Overview & Update 20140926
Kansai Azure Azure Overview & Update 20140926
Similar to 機械学習を用いた異常検知入門
地方のIT勉強会と産・学・官との連携 (せきゅぽろ)
地方のIT勉強会と産・学・官との連携 (せきゅぽろ)
Panda Yamaki
LT for my university
LT for my university
ssusera1f3c6
CHiLOが拓く大学教育の未来
CHiLOが拓く大学教育の未来
Hori Masumi
ICTSCって知ってますか?_さくらの夕べ 仙台
ICTSCって知ってますか?_さくらの夕べ 仙台
Yuuki Kadowaki
大阪市南港ATC イメディオ IoT・ M2Mセミナ資料(web公開用)
大阪市南港ATC イメディオ IoT・ M2Mセミナ資料(web公開用)
Yukio Kubo
情報セキュリティ講習会2016
情報セキュリティ講習会2016
Naoki Kato
Icpcのすゝめ
Icpcのすゝめ
nrkt
OSC Kyoto CTF Seminar
OSC Kyoto CTF Seminar
pinksawtooth
岐阜スーパーものづくり講座:第8回
岐阜スーパーものづくり講座:第8回
Shigeru Kobayashi
IoT Technologies
IoT Technologies
Yuta Takahashi
[セキュリティ・キャンプフォーラム 2014] 卒業生プレゼンテーション 『私とセキュリティと過去と未来』
[セキュリティ・キャンプフォーラム 2014] 卒業生プレゼンテーション 『私とセキュリティと過去と未来』
Asuka Nakajima
Ict委員会の開発力について
Ict委員会の開発力について
Yuta Hinokuma
PTAのIT機器と予算の話(公開用)
PTAのIT機器と予算の話(公開用)
はなずきん Hana
【Tokyowebmining】open compute project
【Tokyowebmining】open compute project
Junichiro Tani
2014年10月江戸前セキュリティ勉強会資料 -セキュリティ技術者になるには-
2014年10月江戸前セキュリティ勉強会資料 -セキュリティ技術者になるには-
Asuka Nakajima
WordPressで行う継続的インテグレーション入門編
WordPressで行う継続的インテグレーション入門編
Hiroshi Urabe
制御システムのための検知と監視
制御システムのための検知と監視
Mocke Tech
第六回コンテナ型仮想化情報交換会_LinuxContainerLivemigrationCRIU
第六回コンテナ型仮想化情報交換会_LinuxContainerLivemigrationCRIU
Kengo Okitsu
どこでも安全に使えるIoTを目指して ~さくらインターネットのIoTへの取り組み~
どこでも安全に使えるIoTを目指して ~さくらインターネットのIoTへの取り組み~
法林浩之
公的個人認証Ict2009
公的個人認証Ict2009
Kurume Institute of Technology
Similar to 機械学習を用いた異常検知入門
(20)
地方のIT勉強会と産・学・官との連携 (せきゅぽろ)
地方のIT勉強会と産・学・官との連携 (せきゅぽろ)
LT for my university
LT for my university
CHiLOが拓く大学教育の未来
CHiLOが拓く大学教育の未来
ICTSCって知ってますか?_さくらの夕べ 仙台
ICTSCって知ってますか?_さくらの夕べ 仙台
大阪市南港ATC イメディオ IoT・ M2Mセミナ資料(web公開用)
大阪市南港ATC イメディオ IoT・ M2Mセミナ資料(web公開用)
情報セキュリティ講習会2016
情報セキュリティ講習会2016
Icpcのすゝめ
Icpcのすゝめ
OSC Kyoto CTF Seminar
OSC Kyoto CTF Seminar
岐阜スーパーものづくり講座:第8回
岐阜スーパーものづくり講座:第8回
IoT Technologies
IoT Technologies
[セキュリティ・キャンプフォーラム 2014] 卒業生プレゼンテーション 『私とセキュリティと過去と未来』
[セキュリティ・キャンプフォーラム 2014] 卒業生プレゼンテーション 『私とセキュリティと過去と未来』
Ict委員会の開発力について
Ict委員会の開発力について
PTAのIT機器と予算の話(公開用)
PTAのIT機器と予算の話(公開用)
【Tokyowebmining】open compute project
【Tokyowebmining】open compute project
2014年10月江戸前セキュリティ勉強会資料 -セキュリティ技術者になるには-
2014年10月江戸前セキュリティ勉強会資料 -セキュリティ技術者になるには-
WordPressで行う継続的インテグレーション入門編
WordPressで行う継続的インテグレーション入門編
制御システムのための検知と監視
制御システムのための検知と監視
第六回コンテナ型仮想化情報交換会_LinuxContainerLivemigrationCRIU
第六回コンテナ型仮想化情報交換会_LinuxContainerLivemigrationCRIU
どこでも安全に使えるIoTを目指して ~さくらインターネットのIoTへの取り組み~
どこでも安全に使えるIoTを目指して ~さくらインターネットのIoTへの取り組み~
公的個人認証Ict2009
公的個人認証Ict2009
More from michiaki ito
Introduction of Xgboost
Introduction of Xgboost
michiaki ito
Character Level Convolutional Neural Networkによる悪性文字列検知手法
Character Level Convolutional Neural Networkによる悪性文字列検知手法
michiaki ito
機械学習×セキュリティ
機械学習×セキュリティ
michiaki ito
迷惑メールフィルタの作り方
迷惑メールフィルタの作り方
michiaki ito
トラコン問題解説
トラコン問題解説
michiaki ito
12/28Kogcoder
12/28Kogcoder
michiaki ito
グループワーク3-A
グループワーク3-A
michiaki ito
サイドチャネル攻撃講義成果報告
サイドチャネル攻撃講義成果報告
michiaki ito
More from michiaki ito
(8)
Introduction of Xgboost
Introduction of Xgboost
Character Level Convolutional Neural Networkによる悪性文字列検知手法
Character Level Convolutional Neural Networkによる悪性文字列検知手法
機械学習×セキュリティ
機械学習×セキュリティ
迷惑メールフィルタの作り方
迷惑メールフィルタの作り方
トラコン問題解説
トラコン問題解説
12/28Kogcoder
12/28Kogcoder
グループワーク3-A
グループワーク3-A
サイドチャネル攻撃講義成果報告
サイドチャネル攻撃講義成果報告
Recently uploaded
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Recently uploaded
(9)
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
機械学習を用いた異常検知入門
1.
機械学習を用いた 異常検知入門 セキュリティキャンプ2015全国大会終了生 伊東 道明
2.
自己紹介 • 伊東 道明 •
法政大学 理工学部 3年 • Cpaw 代表 • ICTSC 運営 • セキュリティキャンプ2015修了生 • 某社でお仕事のお手伝い中 2
3.
自己紹介 • 分野:ML/インフラ/セキュリティなど • エディタ:emacs/sublimetext •
言語:python • 最近やってること:SDN/Webサーバー開発 • 趣味:自転車始めました 3
4.
セキュリティキャンプの紹介 • IPAが主催しているセキュリティ合宿 • タダでご飯が食べられる! •
業界の有名人に会える! • もちろん楽しい講義もたくさん! • 22歳以下の学生は是非! 4
5.
Cpawの紹介 • IT団体 • 面白そうなことをお金の限りやる •
LT大会、CTF、競プロなども • 主に工学院大学、法政大学で活動 • 202教室で「走るIoT自動販売機」や 「CpawCTFサイト」などを展示中 5
6.
アジェンダ 1. 機械学習について 2. セキュリティについて 3.
K-meansを使った異常検知 4. Spectral clusteringの提案 5. Deep learningの提案 6. まとめ 6
7.
7 機械学習について
8.
機械学習とは • 人間が自然に行っている学習能力を、コ ンピュータで実現しようとする技術。 • 様々なデータをコンピュータに反復学習 させ、データに潜在的なパターンを見つ け出す。 8
9.
機械学習の主な目的 • 未来予測 • クラス分類 •
クラスタリング • などなど… 9
10.
1.未来予測 • 今までのデータから、未来のデータの値 を予測する。 • 線形回帰やランダムフォレストなど。 10
11.
未来予測の例 • 来客者数の予測 • 機械故障率の予測 •
売上高や株価の予測 11
12.
2.クラス分類 • データを幾つかの結果に分類する。 • SVM、ニューラルネットワークなど。 12
13.
クラス分類の例 • 手書き文字認識 • 植物病害診断 •
Webページのジャンル分類 13
14.
3.クラスタリング • 大量のデータを、任意のクラスタに分け る。 • K-means法、Ward法など。 14
15.
クラスタリングの例 • 広告のクリック数情報によるユーザの 傾向分析 − アドテクに応用可能 •
レコメンドシステム 15
16.
16 異常検知について
17.
異常検知とは • データの中で異常なデータを検出する。 17
18.
異常検知例 • 外れ値検出 • 変化検知 18
19.
異常検知の既存手法例 • K-meansによる異常検知 − IDSなど •
単純ベイズ法による異常検知 − 迷惑メールフィルタなど 19
20.
20 セキュリティについて
21.
セキュリティの重要性 • 近年、IoT化などが進み、セキュリティの 重要性が高まっている。 • 攻撃手法が日々進化してきており、防御 が難しくなりつつある。 21
22.
機械学習を用いた防御手法 • シグネチャによるパターンマッチングな どの対策では対策が追いつかず不十分な ときも… • 機械学習を用いた対策が有効? 22
23.
機械学習を用いる利点(例) • ICMPパケットに長い文字列をくっつけて 送るとシェルを奪える脆弱性が見つかっ たとする。 23
24.
機械学習を用いる利点(例) • シグネチャ型などの防御手法では異常を 検知できず、攻撃を受けてしまう。 • 機械学習を用いた防御手法なら、未知の 攻撃でも異常と判断し、防ぐことができ る可能性がある。 24
25.
ここまでのまとめ • 機械学習が様々な分野で活躍している。 • サイバー攻撃の攻撃力が年々増している。 •
セキュリティに機械学習を活用すること で、防御力が上がる可能性がある。 25
26.
26 ここから具体例
27.
27 K-meansを用いて 異常を検知する
28.
28 K-meansについて
29.
K-means • とても単純なクラスタリング手法 • 日本語ではK平均法と呼ぶ 29
30.
K-means • 以下のようにデータがある 30特徴x 特徴y
31.
K-means • クラスタの中心点をランダムに決める 31特徴x 特徴y
32.
K-means • 各点を一番近い中心点のクラスタに所属させる 32特徴x 特徴y
33.
K-means • クラスタの中心点(重心)を更新する 33特徴x 特徴y
34.
K-means • 各点を一番近い中心点のクラスタに所属させる 34特徴x 特徴y
35.
K-means • これを繰り返し、変化がなくなればクラスタリング終了 35特徴x 特徴y
36.
K-meansで異常検知 36特徴x 特徴y 異常なクラスタ とする
37.
K-meansで異常検知 37特徴x 特徴y 新しいデータ
38.
K-meansで異常検知 38特徴x 特徴y 距離が一番近い クラスタ
39.
K-meansで異常検知 39特徴x 特徴y 異常なデータ!
40.
40 実際にやってみた
41.
K-meansによる攻撃検知 • K-meansによる異常検知で攻撃パケット を検知してみた。 • 使用したデータセット: kddcup99
dataset − 22種類の攻撃パケット+通常パケットのデータセット − データ数は約50万 41
42.
K-meansによる攻撃検知 1. パケットデータに前処理をかける。 2. K-meansによりクラスタリングする。 3.
精度を求める。 42
43.
学習データの前処理 • それぞれの特徴は0か1の2値であったり、 4桁以上の大きな値である場合もある。 − ポート番号やフラグの値など •
そのまま学習した場合、K-meansをかけ るときに各次元の距離尺度が異なる。 43
44.
イメージ図 44 10 0 100
45.
イメージ図 45 10 0 100 縦軸でデータがばらついていても 無視されてしまう
46.
学習データの前処理 • 距離尺度を一定にするため、学習データ への前処理が必要不可欠。 • 正規化、Normalizing •
今回は、各特徴の偏差値を出した。 46
47.
Normalization手順① • 特徴xの平均μを以下の式で求める。 47
48.
Normalization手順② • 特徴xの標準偏差σを以下の式で求める。 48
49.
Normalization手順③ • 特徴xの各データの偏差値Tを以下の式で 求める。 49
50.
学習データの前処理 • 標準偏差が0の特徴が2つ現れた。 • すべての要素が0であったため、学習デー タから外した。 50
51.
データの学習 • Pythonにて実装。 • 前処理のコードと学習時のコードは以下 に置いてあります。 https://github.com/palloc/Clustering-samples 51
52.
学習結果 前処理を行わずにK-meansによる攻撃 パケットの検知をした結果: • Accuracy(精度) =
71.059% • False-positive(誤検知) = 6.021% • False-negative(見逃し) = 22.92% 52
53.
学習結果 前処理を行い、K-meansによる攻撃パケッ トの検知をした結果: • Accuracy(精度) =
80.295% • False-positive(誤検知) = 19.364% • False-negative(見逃し) = 0.34% 53
54.
精度について • Accuracy − 全体の精度。高いほど良い。 •
False positive − 正常なパケットを異常とする。 − 低いほど実運用しやすい。 • Flase negative − 異常な(攻撃)パケットを正常とする。 − 低くないと使い物にならない。 54
55.
学習結果 • 攻撃パケットの見逃し率が0.34%ととても 良い結果を得られた。 • だが、実運用で用いるには誤検知率が 19%とやや高く、改善したい。 55
56.
なぜ誤検知率が高いのか • K-meansは、線形分離可能な問題に対し ては強いが、線形分離不可能なものに関 してはあまり強くない。 56
57.
線形分離可能とは 57 異常デー タ 特徴x 特徴y 通常デー タ
58.
線形分離可能とは 58特徴x 特徴y 1直線で分けられる
59.
実際のデータ例 59特徴x 特徴y
60.
実際のデータ例 60特徴x 特徴y 線形分離不可能なので、 誤検知が多くなってしまう。
61.
線形分離不可能なら? • 線形分離可能な空間に写像する。 • K-means以外の手法を考える。 61
62.
実際のデータ例 62 X Y S T 元の空間 写像後の空間
63.
実際のデータ例 63 X Y S T 元の空間 写像後の空間 線形分離可能に!
64.
今回写像に用いる手法 • Spectral Clustering 64
65.
Spectral Clustering • トポロジ的アプローチを取るクラスタ リング手法。 •
今回は最もベースとなるアルゴリズム のみを紹介。 ※数学要素が強いので、意味については省略 65
66.
Spectral Clustering 1. 各データをn次元の空間の点と見立てる。 例)2次元の場合 66 データ1 データ2 データ3
67.
Spectral Clustering 2. 各データのユークリッド距離を行列W とする。 67
68.
Spectral Clustering 3. Wの行ごとの和を求め、対角成分にした 行列(他の要素は0)をDとする。 68
69.
Spectral Clustering 4. graph-Laplacianと呼ばれる行列Lを、 以下のように求める。 69
70.
Spectral Clustering 5. Lの固有ベクトルViをクラスタ数mだけ 求める。(固有ベクトルの求め方は省略) 70 …
71.
Spectral Clustering 6. Viを連結する。 71 …
72.
Spectral Clustering 7. 行ごとに一つのデータの特徴とみなし、 クラスタリングを行う。 72 これがデータ1 の特徴
73.
Spectral Clustering • 特徴として、次元数がクラスタ数mに圧縮 されていることが分かる。 •
精度あがりそうじゃない? 73
74.
線形分離不可能なら? • 線形分離可能な空間に写像する。 • クラスタリング以外の手法を考える。 74
75.
クラスタリング以外の手法 ディープラーニング流行ってるし ディープラーニングやろうぜ! by某友人 75
76.
Deep learningの検討 • 日本語では深層学習。 •
「ニューラルネットワーク」と呼ばれる 人間の脳の仕組みをコンピュータで再現 するモデルを用いた機械学習のこと。 76
77.
Deep learningの検討 77特徴x 特徴y K-means
78.
Deep learningの検討 78特徴x 特徴y Deep Learning ※イメージ
79.
Deep learningの検討 • 時間がないので詳しいアルゴリズムの 説明は省略。 •
Pythonによる深層学習入門記事を書いて いるので参考にしてください。 http://palloc.hateblo.jp/entry/2016/08/02/213847 79
80.
Deep learningの検討 • 異常検知に用いる際の懸念点 −
精度がでても、処理がブラックボックスなため結果 の意味を持たせることが難しい。 − 環境ごとに最適なモデルを作るのにとても時間が掛 かるため、ハードルが高め。 − 過学習などが懸念される 80
81.
他の手法 • サポートベクターマシン • 近傍法 •
などなど多数… 81
82.
まとめ • K-meansで割と実用的な精度が出た。 • Spectral
Clusteringを用いると別空間へ 写像するのでさらに精度が上がりそう。 • Deep learningを使うには越えるべき壁が いくつかある。 • 他にもたくさん異常検知手法がある。 82
83.
参考文献(面白いです) • A Tutorial
on Spectral Clustering http://www.cs.cmu.edu/~aarti/Class/10701/readings/Luxburg06_TR.pdf • Anomary Detection in Deep Learning http://www.slideshare.net/agibsonccc/anomaly-detection-in-deep-learning- 62473913 83
Editor's Notes
本当はLabel スプレッディングなどの手法がありますがとりあえず決め打ちということで
Download now