Submit Search
Upload
Scikit learnで学ぶ機械学習入門
•
166 likes
•
98,176 views
Takami Sato
Follow
勉強会で話した、Scikit-learnの入門資料です。speakerdecでも共有しましたが、slideshare一本化のためこちらにも上げます
Read less
Read more
Technology
Report
Share
Report
Share
1 of 37
Download now
Download to read offline
Recommended
CV分野におけるサーベイ方法
CV分野におけるサーベイ方法
Hirokatsu Kataoka
視覚と対話の融合研究
視覚と対話の融合研究
Yoshitaka Ushiku
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
西岡 賢一郎
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Teppei Kurita
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
Preferred Networks
研究室における研究・実装ノウハウの共有
研究室における研究・実装ノウハウの共有
Naoaki Okazaki
画像キャプションの自動生成
画像キャプションの自動生成
Yoshitaka Ushiku
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
Recommended
CV分野におけるサーベイ方法
CV分野におけるサーベイ方法
Hirokatsu Kataoka
視覚と対話の融合研究
視覚と対話の融合研究
Yoshitaka Ushiku
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
西岡 賢一郎
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Teppei Kurita
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
最新リリース:Optuna V3の全て - 2022/12/10 Optuna Meetup #2
Preferred Networks
研究室における研究・実装ノウハウの共有
研究室における研究・実装ノウハウの共有
Naoaki Okazaki
画像キャプションの自動生成
画像キャプションの自動生成
Yoshitaka Ushiku
Triplet Loss 徹底解説
Triplet Loss 徹底解説
tancoro
大学3年生の僕に伝えたいことをつらつらと
大学3年生の僕に伝えたいことをつらつらと
Toshinori Sato
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
機械学習と主成分分析
機械学習と主成分分析
Katsuhiro Morishita
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
Takuya Akiba
「ランダムフォレスト回帰」のハイパーパラメーター
「ランダムフォレスト回帰」のハイパーパラメーター
Jun Umezawa
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
NLP2023 緊急パネル:ChatGPTで自然言語処理は終わるのか? 説明スライド
NLP2023 緊急パネル:ChatGPTで自然言語処理は終わるのか? 説明スライド
JunSuzuki21
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
Semantic segmentation
Semantic segmentation
Takuya Minagawa
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
小川 雄太郎
Surveyから始まる研究者への道 - Stand on the shoulders of giants -
Surveyから始まる研究者への道 - Stand on the shoulders of giants -
諒介 荒木
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点
Ichigaku Takigawa
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification
Deep Learning JP
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
nlab_utokyo
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
グラフデータ分析 入門編
グラフデータ分析 入門編
順也 山口
python-twitterを用いたTwitterデータ収集
python-twitterを用いたTwitterデータ収集
Hikaru Takemura
10分でわかるPythonの開発環境
10分でわかるPythonの開発環境
Hisao Soyama
More Related Content
What's hot
大学3年生の僕に伝えたいことをつらつらと
大学3年生の僕に伝えたいことをつらつらと
Toshinori Sato
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
Yamato OKAMOTO
機械学習と主成分分析
機械学習と主成分分析
Katsuhiro Morishita
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
Takuya Akiba
「ランダムフォレスト回帰」のハイパーパラメーター
「ランダムフォレスト回帰」のハイパーパラメーター
Jun Umezawa
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
ryosuke-kojima
NLP2023 緊急パネル:ChatGPTで自然言語処理は終わるのか? 説明スライド
NLP2023 緊急パネル:ChatGPTで自然言語処理は終わるのか? 説明スライド
JunSuzuki21
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Deep Learning JP
Semantic segmentation
Semantic segmentation
Takuya Minagawa
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
小川 雄太郎
Surveyから始まる研究者への道 - Stand on the shoulders of giants -
Surveyから始まる研究者への道 - Stand on the shoulders of giants -
諒介 荒木
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点
Ichigaku Takigawa
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification
Deep Learning JP
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
nlab_utokyo
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
Yoshitaka Ushiku
グラフデータ分析 入門編
グラフデータ分析 入門編
順也 山口
What's hot
(20)
大学3年生の僕に伝えたいことをつらつらと
大学3年生の僕に伝えたいことをつらつらと
Skip Connection まとめ(Neural Network)
Skip Connection まとめ(Neural Network)
機械学習と主成分分析
機械学習と主成分分析
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
「ランダムフォレスト回帰」のハイパーパラメーター
「ランダムフォレスト回帰」のハイパーパラメーター
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
グラフニューラルネットワーク入門
グラフニューラルネットワーク入門
NLP2023 緊急パネル:ChatGPTで自然言語処理は終わるのか? 説明スライド
NLP2023 緊急パネル:ChatGPTで自然言語処理は終わるのか? 説明スライド
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
【DL輪読会】Flamingo: a Visual Language Model for Few-Shot Learning 画像×言語の大規模基盤モ...
Semantic segmentation
Semantic segmentation
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
最近のディープラーニングのトレンド紹介_20200925
最近のディープラーニングのトレンド紹介_20200925
Surveyから始まる研究者への道 - Stand on the shoulders of giants -
Surveyから始まる研究者への道 - Stand on the shoulders of giants -
研究効率化Tips Ver.2
研究効率化Tips Ver.2
合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classification
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史・最新理論から実践応用までー
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
グラフデータ分析 入門編
グラフデータ分析 入門編
Viewers also liked
python-twitterを用いたTwitterデータ収集
python-twitterを用いたTwitterデータ収集
Hikaru Takemura
10分でわかるPythonの開発環境
10分でわかるPythonの開発環境
Hisao Soyama
「Python言語」はじめの一歩 / First step of Python
「Python言語」はじめの一歩 / First step of Python
Takanori Suzuki
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
Katsuhiro Morishita
PythonによるWebスクレイピング入門
PythonによるWebスクレイピング入門
Hironori Sekine
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
Shinichi Nakagawa
Python 機械学習プログラミング データ分析ライブラリー解説編
Python 機械学習プログラミング データ分析ライブラリー解説編
Etsuji Nakai
Python東海Vol.5 IPythonをマスターしよう
Python東海Vol.5 IPythonをマスターしよう
Hiroshi Funai
RとPythonによるデータ解析入門
RとPythonによるデータ解析入門
Atsushi Hayakawa
Pythonで簡単ネットワーク分析
Pythonで簡単ネットワーク分析
antibayesian 俺がS式だ
scikit-learnを用いた機械学習チュートリアル
scikit-learnを用いた機械学習チュートリアル
敦志 金谷
Gensim
Gensim
saireya _
Python入門 : 4日間コース社内トレーニング
Python入門 : 4日間コース社内トレーニング
Yuichi Ito
基礎からのベイズ統計学 輪読会資料 第1章 確率に関するベイズの定理
基礎からのベイズ統計学 輪読会資料 第1章 確率に関するベイズの定理
Ken'ichi Matsui
統計学の基礎の基礎
統計学の基礎の基礎
Ken'ichi Matsui
EAGLE on PCB Design (EAGLEを使った回路・パターン設計)
EAGLE on PCB Design (EAGLEを使った回路・パターン設計)
Katsuhiro Morishita
回路設計者からみた電子部品
回路設計者からみた電子部品
Tsuyoshi Horigome
03 「重回帰分析」の入門
03 「重回帰分析」の入門
Shuhei Ichikawa
S07 Azure バックアップを利用したオンプレミス Windows Server のバックアップ
S07 Azure バックアップを利用したオンプレミス Windows Server のバックアップ
Microsoft Azure Japan
DLL Community Update 10月版
DLL Community Update 10月版
Hirono Jumpei
Viewers also liked
(20)
python-twitterを用いたTwitterデータ収集
python-twitterを用いたTwitterデータ収集
10分でわかるPythonの開発環境
10分でわかるPythonの開発環境
「Python言語」はじめの一歩 / First step of Python
「Python言語」はじめの一歩 / First step of Python
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonとRによるデータ分析環境の構築と機械学習によるデータ認識
PythonによるWebスクレイピング入門
PythonによるWebスクレイピング入門
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
Python 機械学習プログラミング データ分析ライブラリー解説編
Python 機械学習プログラミング データ分析ライブラリー解説編
Python東海Vol.5 IPythonをマスターしよう
Python東海Vol.5 IPythonをマスターしよう
RとPythonによるデータ解析入門
RとPythonによるデータ解析入門
Pythonで簡単ネットワーク分析
Pythonで簡単ネットワーク分析
scikit-learnを用いた機械学習チュートリアル
scikit-learnを用いた機械学習チュートリアル
Gensim
Gensim
Python入門 : 4日間コース社内トレーニング
Python入門 : 4日間コース社内トレーニング
基礎からのベイズ統計学 輪読会資料 第1章 確率に関するベイズの定理
基礎からのベイズ統計学 輪読会資料 第1章 確率に関するベイズの定理
統計学の基礎の基礎
統計学の基礎の基礎
EAGLE on PCB Design (EAGLEを使った回路・パターン設計)
EAGLE on PCB Design (EAGLEを使った回路・パターン設計)
回路設計者からみた電子部品
回路設計者からみた電子部品
03 「重回帰分析」の入門
03 「重回帰分析」の入門
S07 Azure バックアップを利用したオンプレミス Windows Server のバックアップ
S07 Azure バックアップを利用したオンプレミス Windows Server のバックアップ
DLL Community Update 10月版
DLL Community Update 10月版
Similar to Scikit learnで学ぶ機械学習入門
TensorFlow User Group #1
TensorFlow User Group #1
陽平 山口
smarttrade勉強会
smarttrade勉強会
taishinmurase
分析・モニタリングのために作文活動を測定するシステムの設計
分析・モニタリングのために作文活動を測定するシステムの設計
yamahige
Machine Learning Nagoya 20161015
Machine Learning Nagoya 20161015
陽平 山口
Deep Learningを用いたロボット制御
Deep Learningを用いたロボット制御
Ryosuke Okuta
MANABIYA Machine Learning Hands-On
MANABIYA Machine Learning Hands-On
陽平 山口
20140711 evf2014 hadoop_recommendmachinelearning
20140711 evf2014 hadoop_recommendmachinelearning
Takumi Yoshida
アジャイルソフトウェア開発の道具箱
アジャイルソフトウェア開発の道具箱
Koichi ITO
自動チューニングとビックデータ:機械学習の適用の可能性
自動チューニングとビックデータ:機械学習の適用の可能性
Takahiro Katagiri
1時間で分かるSTA (Software Test Automation) #stac2014
1時間で分かるSTA (Software Test Automation) #stac2014
Kazuhiro Suzuki
初めて機械学習を勉強しました
初めて機械学習を勉強しました
雄哉 吉田
機械学習のマイクロサービスでの運用の実験について #mlops
機械学習のマイクロサービスでの運用の実験について #mlops
Hiroaki Kudo
Scikit-learnを使って 画像分類を行う
Scikit-learnを使って 画像分類を行う
Arata Honda
データビジュアライゼーションもくもく会
データビジュアライゼーションもくもく会
dsuke Takaoka
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
Preferred Networks
Elasticsearchと機械学習を実際に連携させる
Elasticsearchと機械学習を実際に連携させる
nobu_k
High performance python computing for data science
High performance python computing for data science
Takami Sato
機械学習を始める前の「学習」
機械学習を始める前の「学習」
Serverworks Co.,Ltd.
1028 TECH & BRIDGE MEETING
1028 TECH & BRIDGE MEETING
健司 亀本
Et west テスト自動化_公開版
Et west テスト自動化_公開版
Noriyuki Mizuno
Similar to Scikit learnで学ぶ機械学習入門
(20)
TensorFlow User Group #1
TensorFlow User Group #1
smarttrade勉強会
smarttrade勉強会
分析・モニタリングのために作文活動を測定するシステムの設計
分析・モニタリングのために作文活動を測定するシステムの設計
Machine Learning Nagoya 20161015
Machine Learning Nagoya 20161015
Deep Learningを用いたロボット制御
Deep Learningを用いたロボット制御
MANABIYA Machine Learning Hands-On
MANABIYA Machine Learning Hands-On
20140711 evf2014 hadoop_recommendmachinelearning
20140711 evf2014 hadoop_recommendmachinelearning
アジャイルソフトウェア開発の道具箱
アジャイルソフトウェア開発の道具箱
自動チューニングとビックデータ:機械学習の適用の可能性
自動チューニングとビックデータ:機械学習の適用の可能性
1時間で分かるSTA (Software Test Automation) #stac2014
1時間で分かるSTA (Software Test Automation) #stac2014
初めて機械学習を勉強しました
初めて機械学習を勉強しました
機械学習のマイクロサービスでの運用の実験について #mlops
機械学習のマイクロサービスでの運用の実験について #mlops
Scikit-learnを使って 画像分類を行う
Scikit-learnを使って 画像分類を行う
データビジュアライゼーションもくもく会
データビジュアライゼーションもくもく会
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
Elasticsearchと機械学習を実際に連携させる
Elasticsearchと機械学習を実際に連携させる
High performance python computing for data science
High performance python computing for data science
機械学習を始める前の「学習」
機械学習を始める前の「学習」
1028 TECH & BRIDGE MEETING
1028 TECH & BRIDGE MEETING
Et west テスト自動化_公開版
Et west テスト自動化_公開版
More from Takami Sato
Kaggle Santa 2019で学ぶMIP最適化入門
Kaggle Santa 2019で学ぶMIP最適化入門
Takami Sato
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
Takami Sato
Kaggle&競プロ紹介 in 中田研究室
Kaggle&競プロ紹介 in 中田研究室
Takami Sato
Quoraコンペ参加記録
Quoraコンペ参加記録
Takami Sato
Data Science Bowl 2017Winning Solutions Survey
Data Science Bowl 2017Winning Solutions Survey
Takami Sato
NIPS2016論文紹介 Riemannian SVRG fast stochastic optimization on riemannian manif...
NIPS2016論文紹介 Riemannian SVRG fast stochastic optimization on riemannian manif...
Takami Sato
Overview of tree algorithms from decision tree to xgboost
Overview of tree algorithms from decision tree to xgboost
Takami Sato
Icml2015 論文紹介 sparse_subspace_clustering_with_missing_entries
Icml2015 論文紹介 sparse_subspace_clustering_with_missing_entries
Takami Sato
AAをつくろう!
AAをつくろう!
Takami Sato
最適化超入門
最適化超入門
Takami Sato
Word2vecで大谷翔平の二刀流論争に終止符を打つ!
Word2vecで大谷翔平の二刀流論争に終止符を打つ!
Takami Sato
セクシー女優で学ぶ画像分類入門
セクシー女優で学ぶ画像分類入門
Takami Sato
More from Takami Sato
(12)
Kaggle Santa 2019で学ぶMIP最適化入門
Kaggle Santa 2019で学ぶMIP最適化入門
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
Kaggle&競プロ紹介 in 中田研究室
Kaggle&競プロ紹介 in 中田研究室
Quoraコンペ参加記録
Quoraコンペ参加記録
Data Science Bowl 2017Winning Solutions Survey
Data Science Bowl 2017Winning Solutions Survey
NIPS2016論文紹介 Riemannian SVRG fast stochastic optimization on riemannian manif...
NIPS2016論文紹介 Riemannian SVRG fast stochastic optimization on riemannian manif...
Overview of tree algorithms from decision tree to xgboost
Overview of tree algorithms from decision tree to xgboost
Icml2015 論文紹介 sparse_subspace_clustering_with_missing_entries
Icml2015 論文紹介 sparse_subspace_clustering_with_missing_entries
AAをつくろう!
AAをつくろう!
最適化超入門
最適化超入門
Word2vecで大谷翔平の二刀流論争に終止符を打つ!
Word2vecで大谷翔平の二刀流論争に終止符を打つ!
セクシー女優で学ぶ画像分類入門
セクシー女優で学ぶ画像分類入門
Recently uploaded
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
Recently uploaded
(10)
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Scikit learnで学ぶ機械学習入門
1.
Scikit-learnで学ぶ機械学習入門 佐藤貴海 @tkm2261
2014/07/19@機械学習勉強会 機械学習勉強会 1 2014年7月19日
2.
今日の目的 •機械学習の雰囲気感じる –『こいつ・・・動くぞ!』くらい
–わかりやすさ>>>厳密性 –理論勉強するのも、威力を知ったあとの方が捗る •深入りはしない –紹介量を優先 機械学習勉強会 2 2014年7月19日
3.
自己紹介 専門:経営工学/最適化 所属:(株)ブレインパッド入社2年目
業務:データ分析全般(何でも屋さん) 機械学習との出会い: ⇒研究が現在実用性皆無の半正定値計画問題 ⇒精神の逃げ道として機械学習を趣味で始める ⇒研究が詰んで、趣味が本職に 趣味で始めたので言語、画像など幅広く遊んでます この前、多摩川のほとりで1人燻製してきました。 機械学習勉強会 3 2014年7月19日
4.
Scikit-learnってなに? •Pythonの機械学習ライブラリ –無料・有料含めて、コレほど充実したライブラリは他にない
–ほぼデファクトスタンダード状態(と思っている) 機械学習勉強会 4 2014年7月19日 利点(対R) ・高速 ・省メモリ ・Pythonなので言語基盤がしっかりしている ・検索しやすい 欠点(対R) ・カテゴリカル変数の処理(factor型は無い) ・環境構築が面倒
5.
環境構築 •よくわからない人 ⇒Anacondaを入れましょう
Python導入、環境変数設定、Scikit-learn導入、IDE導入全部やってくれます 機械学習勉強会 5 2014年7月19日 http://continuum.io/downloads
6.
環境構築 機械学習勉強会 6
2014年7月19日 •こだわりたい人 •Windowsユーザ ⇒GohlkeのページでMKLビルドのNumpyを入れましょう 保証はないので、自己責任で
7.
環境構築 機械学習勉強会 7
2014年7月19日 •こだわりたい人 •Linuxユーザ 非商用個人ならインテルコンパイラとMKLが無料で使える それ以外は、OpenBLASが高速 インストール方法はGithubにあげました OpenBLASはmultiprocessingとの相性が悪いので要注意 WindowsでOpenBLASは鬼門なのでやめましょう https://software.intel.com/en-us/non-commercial-software-development インストール方法はコチラ https://software.intel.com/en-us/articles/numpyscipy-with-intel-mkl?language=eshttp://gehrcke.de/2014/02/building-numpy-and-scipy-with-intel-compilers-and- intel-mkl-on-a-64-bit-machine/ https://github.com/anaguma2261/setup_python_with_openblas
8.
機械学習勉強会 8 2014年7月19日
脱線:BLASとLAPACK 数値計算をやると裏で必ずお世話になるのがこの2つ Basic Linear Algebra Subprograms (BLAS) -線型代数計算を実行するライブラリの標準仕様 Linear Algebra PACKage(LAPACK) -BLAS上に構築された固有値計算などの高位な線形代数計算ライブラリ 現在様々なBLAS実装が公開されている Intel MKL…MATLABはコレ有償すごく速い・高い・安心! ATLAS…自動チューンのBLASBSD速い GotoBLAS2…後藤和茂氏作成のBLASBSDかなり速い開発停止 OpenBLAS…xianyi氏によるGotoBLAS2の後継BLASBSDすごく速い (MATLAB, R, Octave, numpy…) 計算が遅い時、4つのどれかの導入すると幸せになれるかも? ・・・
9.
脱線:BLASの比較 機械学習勉強会 9
2014年7月19日 引用:R BLAS: GotoBLAS2 vsOpenBLASvsMKL (http://blog.felixriedel.com/2012/11/r-blas-gotoblas2-vs-openblas-vs-mkl/) 実行コード A = matrix(rnorm(n*n),n,n) A %*% A solve(A) svd(A) RのデフォルトBLASから何倍早くなったか検証してるサイトがあったので紹介 最大で11倍ほど高速化 MKLが基本的に一番高速 OpenBLASも所によってはMKLを上回ることも マルチスレッド環境では導入は必須かも
10.
機械学習勉強会 10 2014年7月19日
Scikit-learnの前に機械学習の流れもおさらい 脱線してますが、
11.
機械学習の流れ 機械学習勉強会 11
2014年7月19日 分析対象のデータを集める。趣味でやる場合には、結構重要 最も苦痛を伴う作業。機械学習モデルに渡せる方に整形する カテゴリカル変数のダミー変数化、欠損値穴埋め、変数の作成等 問題に合わせて適当な手法を選択する。 リッジ回帰、SVM、RandomForest、決定木、k-meansなど 手法のハイパーパラメータを選択する。 リッジ回帰の正則化項、決定木の木の深さなど 尤度最大化などで学習。Scikit-learnがやってくれるので割愛 問題に合わせて適当な評価尺度を選択する。 精度、F値、平均二乗誤差、AUCなど ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功! 手法を 変える パラメタを 変える
12.
データを集めて・前処理する 機械学習勉強会 12
2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功! 手法を 変える パラメタを 変える 趣味でやると、手法は知ってても、 データが無いことが多数 いくつか、データのある場所を紹介 ◆練習用データ ・Kagglehttps://www.kaggle.com/ ・UCI Machine Learning Repository http://archive.ics.uci.edu/ml/ ◆テキストデータ(日本語) ・2ch ・TwitterStreamingAPI ・Wikipediaダンプデータ ・青空文庫 前処理はひたすら頑張って下さい。 ここでどんな変数を作るかで、かなり(一番?)利きます Scikit-learnやpandasに便利関数アリ
13.
パラメータの探索 機械学習勉強会 13
2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ④モデル評価 精度 は十分か ④モデル学習 NO YES 成功! 手法を 変える パラメタを 変える この一連の流れ (良いパラメータの発見)を効率良く行う方法が 交差検定(Cross-validation ) グリッドサーチ どちらもscikit-learnにあります
14.
交差検定(k-fold cross validation
) 機械学習勉強会 14 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功! 手法を 変える パラメタを 変える 学習と評価には、学習データと検証データが必要 ただし、別々に用意すると・・・ ・検証データを学習に全く使えない ・検証データが偶然良い(悪い)可能性 交差検定をしよう!
15.
交差検定(k-fold cross validation
) 機械学習勉強会 15 2014年7月19日 5-fold cross validation のイメージ(レコードは最初にランダムに並べ替え済みとする) テスト用のレコードセット 学習用のレコードセット 学習と精度評価をk回繰り返し、平均値を精度の推定値とする手法 ・検証データを学習に全く使えない k-1回は学習に使用 ・検証データが偶然良い(悪い)可能性 k回評価で偶然性を極力排除
16.
グリッドサーチ(気合) 機械学習勉強会 16
2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功! 手法を 変える パラメタを 変える 良いパラメータって どうやって見つけるの? グリッドサーチ(気合)です。
17.
グリッドサーチ 機械学習勉強会17 2014年7月19日
探索するパラメータの範囲を決めて、適当な間隔で切る。(指数の肩で切ることが多い) あとは切ったパラメータを総当りで検証して、最も良いパラメータを見つける パラメータ2つの例、この場合は81回学習と検証をする必要 さらに細かく学習したいときは、指数の底を小さい値にする 引用: http://xargs.hateblo.jp/entry/2014/02/09/005058
18.
パラメータの探索 機械学習勉強会 18
2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功! 手法を 変える パラメタを 変える グリッドサーチ 交差検定 学習と評価 まとめると、こんな感じ
19.
パラメータの探索 機械学習勉強会 19
2014年7月19日 先ほどのパラメータ(81種)を10-fold 交差検定すると 810回学習と検証が必要
20.
パラメータの探索 機械学習勉強会 20
2014年7月19日 先ほどのパラメータ(81種)を10-fold 交差検定すると 810回学習と検証が必要 Q:解けるの?
21.
パラメータの探索 機械学習勉強会 21
2014年7月19日 先ほどのパラメータ(81種)を10-fold 交差検定すると 810回学習と検証が必要 Q:解けるの? A:気合です
22.
パラメータの探索 機械学習勉強会 22
2014年7月19日 先ほどのパラメータ(81種)を10-fold 交差検定すると 810回学習と検証が必要 Q:本当に解けるの?
23.
パラメータの探索 機械学習勉強会 23
2014年7月19日 先ほどのパラメータ(81種)を10-fold 交差検定すると 810回学習と検証が必要 Q:本当に解けるの? A:完全並列出来る計算なので 810台サーバがあれば 最近のGoogleは真顔でこのぐらい言ってきます
24.
パラメータの探索 機械学習勉強会 24
2014年7月19日 先ほどのパラメータ(81種)を10-fold 交差検定すると 810回学習と検証が必要 Q:クラスタ組めない
25.
パラメータの探索 機械学習勉強会 25
2014年7月19日 先ほどのパラメータ(81種)を10-fold 交差検定すると 810回学習と検証が必要 Q:クラスタ組めない A:弊社のを買って下さい
26.
パラメータの探索 機械学習勉強会 26
2014年7月19日 先ほどのパラメータ(81種)を10-fold 交差検定すると 810回学習と検証が必要 Q:クラスタ組めない A:弊社のを買って下さい 最近はクラウド上の機械学習も有ります。 http://jp.techcrunch.com/2014/06/17/20140616microsoft-announces-azure-ml- cloud-based-machine-learning-platform-that-can-predict-future-events/
27.
機械学習勉強会 27 2014年7月19日
これで、今日からデータサイエンティスト
28.
・・・とは行かない 機械学習勉強会 28
2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功! 手法を 変える パラメタを 変える 適切な手法の選択が 機械学習で最も重要かつ難しい問題
29.
適切な手法の選択 機械学習勉強会 29
2014年7月19日 Q:常に最適な手法ってあるの? A:ありません Q:どうやったら最適な手法を選べるの? A:機械学習を体系的に学び、 経験を積んで、更に運が必要 Q:詰んでない? A:なんとかするのが、今日の議題
30.
現状ベストアンサー:scikit-learnに任せる 機械学習勉強会 30
2014年7月19日 『Scikit-learnにできる事』≒『自分にできること』 これで最近は問題が無いことが多い http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html
31.
実装の雰囲気 機械学習勉強会 31
2014年7月19日 importnumpy fromsklearn.cross_validationimportcross_val_score #使いたい手法をインポート fromsklearn.hogehogeimportsome_machine_learning_method for パラメータin (グリッドサーチの探索範囲): #手法のインスタンスを生成 model =some_machine_learning_method(パラメータ) #お手軽交差検定 cv_scores=cross_val_score(model, 説明変数, 目的変数) #交差検定の各学習のスコア平均値を計算 score =numpy.mean(cv_scores) これでScikit-learnの大体の手法は、これで使えるはず リッジ回帰の例をGithubにあげました https://github.com/anaguma2261/scikit-learn-sample/blob/master/ridge_regression.py
32.
手法の種類 •Classification(分類) –ラベルをデータで学習して、ラベルを予測
•Regression(回帰) –実数値をデータで学習して、実数値を予測 •Clustering(クラスタリング) –データを似ているもの同士を集めて、データの構造を発見 •DimensionalReduction(次元削減) –データの次元を削減して、よりメタな要因を発見 (主成分分析は次元削減のひとつ) –削減した次元をデータにして他の手法を行う (次元の呪い回避) 機械学習勉強会 32 2014年7月19日
33.
Classification(分類) •SVM (SVC,
LinearSVC) –利点 •汎化性能が高く、少量のデータでもうまく学習出来る事がある •カーネルの組み合わせで様々データに対応できる –欠点 •カーネル入れると遅い •関数によっては、予測確率で出力できない •K-近傍法(NearestNeighbors) –利点 •単純な割に精度が高い –欠点 •予測時にもメモリに学習データを格納する必要がある •ランダムフォレスト(RandomForestClassifier) –利点 •精度が高いことが多い •並列計算しやすい •過学習や、変数のスケールを考えずに、全て変数を入れて学習できる –欠点 •ランダムフォレスト信者になりやすい 機械学習勉強会 33 2014年7月19日
34.
Classification(分類) •確率的勾配法による学習(SGDClassifier) –これは手法でなく学習方法
–データが大きい時に、データを一部づつを見て 学習の計算をサボって高速化 –オプションで、SVMやロジスティック回帰が選択可能 機械学習勉強会 34 2014年7月19日
35.
Regression(回帰) 機械学習勉強会 35
2014年7月19日 •重回帰(LinearRegression) –利点・・・速い(パラメータ無し) –欠点・・・Scikit-learnにstepwise法が無いので、使いにくい •リッジ回帰(Ridge) –利点・・・ラッソより速い、多重線形性の影響を受けにくい –欠点・・・ラッソに比べて、変数選択力が弱い •ラッソ回帰(Lasso) –利点・・・少ない変数でモデルを作ってくれる –欠点・・・リッジよりは遅い、使わない変数があることを仮定している •SVR(SVR) –利点・・・カーネルで非線形性を取り込める –欠点・・・カーネルを入れると遅い •ランダムフォレスト(RandomForestRegressor) –Classificationを参照回帰では予測値が離散になる欠点がある
36.
Clustering(クラスタリング) •K-means法(KMeans) –利点・・・速いMiniBatchKMeansは計算をサボってるので更に速い
–欠点・・・クラスタ数を最初に与えないといけない •階層的クラスタリング(AgglomerativeClustering) 最近実装されたので表には無い –利点・・・クラスタ数を後から色々変えられる –欠点・・・遅い、大きいデータは階層が表示出来ないことも •混合ガウス分布(GMM) –利点・・・各クラスタの所属確率が出る。 –欠点・・・正規分布を仮定する •MeanShift(MeanShift) –使用経験がないのでノーコメント誰か教えて下さい 機械学習勉強会 36 2014年7月19日
37.
DimensionalReduction(次元削減) 機械学習勉強会 37
2014年7月19日 Scikit-learnのフローチャートに語れる手法があまりなかったので、私がよく使う手法を紹介 •主成分分析(PCA) –利点・・・速い疎行列も扱える –欠点・・・裏で正規分布を仮定 •非負値行列因子分解(NMF) –利点・・・要因の引き算を許さないことでより特徴を抽出できる事もある –欠点・・・非負行列限定 その他、LDAやDeep Learningなどなども
Download now