Submit Search
Upload
わかパタ 1章
•
9 likes
•
6,270 views
W
weda654
Follow
続・わかりやすいパターン認識読書会 #1のLT資料です。
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 31
Download now
Download to read offline
Recommended
わかりやすいパターン認識_2章
わかりやすいパターン認識_2章
weda654
わかりやすいパターン認識_3章
わかりやすいパターン認識_3章
weda654
わかりやすいパターン認識 4章
わかりやすいパターン認識 4章
Motokawa Tetsuya
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
PRML輪読#3
PRML輪読#3
matsuolab
数式を使わずイメージで理解するEMアルゴリズム
数式を使わずイメージで理解するEMアルゴリズム
裕樹 奥田
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
PRML勉強会@長岡 第4章線形識別モデル
PRML勉強会@長岡 第4章線形識別モデル
Shohei Okada
Recommended
わかりやすいパターン認識_2章
わかりやすいパターン認識_2章
weda654
わかりやすいパターン認識_3章
わかりやすいパターン認識_3章
weda654
わかりやすいパターン認識 4章
わかりやすいパターン認識 4章
Motokawa Tetsuya
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
PRML輪読#3
PRML輪読#3
matsuolab
数式を使わずイメージで理解するEMアルゴリズム
数式を使わずイメージで理解するEMアルゴリズム
裕樹 奥田
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
PRML勉強会@長岡 第4章線形識別モデル
PRML勉強会@長岡 第4章線形識別モデル
Shohei Okada
PRML輪読#4
PRML輪読#4
matsuolab
続・わかりやすいパターン認識_3章
続・わかりやすいパターン認識_3章
weda654
東京都市大学 データ解析入門 2 行列分解 1
東京都市大学 データ解析入門 2 行列分解 1
hirokazutanaka
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
fastTextの実装を見てみた
fastTextの実装を見てみた
Yoshihiko Shiraki
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
hagino 3000
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
第5回パターン認識勉強会
第5回パターン認識勉強会
Yohei Sato
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
スペクトラル・クラスタリング
スペクトラル・クラスタリング
Akira Miyazawa
2値分類・多クラス分類
2値分類・多クラス分類
t dev
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
Masahiro Suzuki
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
パーセプトロン型学習規則
パーセプトロン型学習規則
Shuhei Sowa
[DL輪読会]Generative Models of Visually Grounded Imagination
[DL輪読会]Generative Models of Visually Grounded Imagination
Deep Learning JP
PRML8章
PRML8章
弘毅 露崎
強化学習その2
強化学習その2
nishio
PRML エビデンス近似 3.5 3.6.1
PRML エビデンス近似 3.5 3.6.1
tmtm otm
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
Shogo Muramatsu
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014
Taiji Suzuki
ハトでもわかる単純パーセプトロン
ハトでもわかる単純パーセプトロン
takosumipasta
最適化超入門
最適化超入門
Takami Sato
More Related Content
What's hot
PRML輪読#4
PRML輪読#4
matsuolab
続・わかりやすいパターン認識_3章
続・わかりやすいパターン認識_3章
weda654
東京都市大学 データ解析入門 2 行列分解 1
東京都市大学 データ解析入門 2 行列分解 1
hirokazutanaka
【解説】 一般逆行列
【解説】 一般逆行列
Kenjiro Sugimoto
fastTextの実装を見てみた
fastTextの実装を見てみた
Yoshihiko Shiraki
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
hagino 3000
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
第5回パターン認識勉強会
第5回パターン認識勉強会
Yohei Sato
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
スペクトラル・クラスタリング
スペクトラル・クラスタリング
Akira Miyazawa
2値分類・多クラス分類
2値分類・多クラス分類
t dev
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
Masahiro Suzuki
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
Kai Sasaki
パーセプトロン型学習規則
パーセプトロン型学習規則
Shuhei Sowa
[DL輪読会]Generative Models of Visually Grounded Imagination
[DL輪読会]Generative Models of Visually Grounded Imagination
Deep Learning JP
PRML8章
PRML8章
弘毅 露崎
強化学習その2
強化学習その2
nishio
PRML エビデンス近似 3.5 3.6.1
PRML エビデンス近似 3.5 3.6.1
tmtm otm
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
Shogo Muramatsu
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014
Taiji Suzuki
What's hot
(20)
PRML輪読#4
PRML輪読#4
続・わかりやすいパターン認識_3章
続・わかりやすいパターン認識_3章
東京都市大学 データ解析入門 2 行列分解 1
東京都市大学 データ解析入門 2 行列分解 1
【解説】 一般逆行列
【解説】 一般逆行列
fastTextの実装を見てみた
fastTextの実装を見てみた
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
第5回パターン認識勉強会
第5回パターン認識勉強会
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
スペクトラル・クラスタリング
スペクトラル・クラスタリング
2値分類・多クラス分類
2値分類・多クラス分類
深層生成モデルを用いたマルチモーダル学習
深層生成モデルを用いたマルチモーダル学習
AutoEncoderで特徴抽出
AutoEncoderで特徴抽出
パーセプトロン型学習規則
パーセプトロン型学習規則
[DL輪読会]Generative Models of Visually Grounded Imagination
[DL輪読会]Generative Models of Visually Grounded Imagination
PRML8章
PRML8章
強化学習その2
強化学習その2
PRML エビデンス近似 3.5 3.6.1
PRML エビデンス近似 3.5 3.6.1
スパースモデリングによる多次元信号・画像復元
スパースモデリングによる多次元信号・画像復元
Sparse estimation tutorial 2014
Sparse estimation tutorial 2014
Viewers also liked
ハトでもわかる単純パーセプトロン
ハトでもわかる単純パーセプトロン
takosumipasta
最適化超入門
最適化超入門
Takami Sato
Ensembles of example dependent cost-sensitive decision trees slides
Ensembles of example dependent cost-sensitive decision trees slides
Alejandro Correa Bahnsen, PhD
決定木学習
決定木学習
Mitsuo Shimohata
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
Teppei Baba
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
Koichi Hamada
Viewers also liked
(6)
ハトでもわかる単純パーセプトロン
ハトでもわかる単純パーセプトロン
最適化超入門
最適化超入門
Ensembles of example dependent cost-sensitive decision trees slides
Ensembles of example dependent cost-sensitive decision trees slides
決定木学習
決定木学習
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
わかパタ 1章
1.
わかりやすいパターン認識 1章 パターン認識とは
ver1.0 1 15分ではなす ぞくパタ #1 LT @weda_654
2.
自己紹介 ✓ TwitterID
: weda_654 ✓ 所属 : GoogleMapとAWSとデータ分析の会社 ✓ 業務 : 前処理! 集計! 資料作成! ✓ 使用言語 : R(メイン), Python(たまに) ✓シェル芸による前処理の修行中ですこんなアイコン 2
3.
注意事項 本資料は個人の意見・認識によるものです 所属する組織の意見・認識とは無関係です
ご了承おねがいいたします
4.
4 目次 ✓
パターン認識系の構造 ✓ 特徴ベクトルと特徴空間 ✓ プロトタイプと最近傍決定則 ✓ まとめ
5.
5 はじめに 持っていない人は書店にGO
6.
パターン認識系の構成 6
7.
✓ パターンは手書き文字・絵・音声・匂い・触感など多岐にわたる 7
パターン認識とは パターン認識系の構成 ✓ 観測されたパターンをあらかじめ定められた複数の 概念のうち1つに対応させる処理 ✓ 概念はクラス(またはカテゴリー)とよばれる 用意していたクラス {1, 2, 3, 4, 5, 6, 7, 8, 9, 0} パターン 手書きの数字5 照合5
8.
認識系の構成 8 パターン認識系の構成
前処理部特徴抽出部識別演算部 識別辞書 対応させるクラス 5 照合 入力パターン 出力 ✓ パターン認識は図1にような手順で進められる 図1:パターン認識系の構成 識別部 認識
9.
認識系の構成 9 パターン認識系の構成
前処理部特徴抽出部識別演算部 識別辞書 対応させるクラス 5 照合 入力パターン 出力 ✓ 前処理部 • 入力パターンのノイズの除去,正規化を行う * 識別辞書:複数のクラスの特徴の集合 識別部
10.
認識系の構成 10 パターン認識系の構成
前処理部特徴抽出部識別演算部 識別辞書 対応させるクラス 5 照合 入力パターン 出力 識別部 ✓ 特徴抽出部 • パターン認識に必要な特徴のみを抽出する • 認識性能を左右する重要な処理
11.
認識系の構成 11 パターン認識系の構成
前処理部特徴抽出部識別演算部 識別辞書 対応させるクラス 5 照合 入力パターン 出力 ✓ 識別部 • 入力パターンから抽出した特徴を用いて事前に用意した 複数クラスと照合させ1つを選ぶ 識別部 * 識別辞書:複数のクラスの特徴の集合
12.
特徴ベクトルと特徴空間 12
13.
特徴ベクトル 特徴ベクトルと特徴空間 ✓
特徴抽出部で抽出される特徴は数値で表される ✓ それらの数値を組にしたベクトルを特徴ベクトルと呼ぶ 文字の幅・角の数・曲線の数などd個の特徴を 数値化しベクトルで表記すると… x = (x1, x2, ...,xd)t (1) 13
14.
特徴空間 特徴ベクトルと特徴空間 ✓
特徴ベクトルによってはられる空間 xd xj x2 x1 14 図2:特徴空間
15.
特徴空間 特徴ベクトルと特徴空間 ✓
特徴ベクトルによってはられる空間 xd xj x2 x1 15 !2 !1 !i !c 用意していたc個のクラスを表記 クラスは!1, ...,!c と表す 図2:特徴空間
16.
特徴空間 特徴ベクトルと特徴空間 ✓
特徴ベクトルによってはられる空間 xd xj x2 x1 16 用意していたc個のクラスを表記 クラスは!1, ...,!c と表す !2 !1 !i !c 同じクラスに属するパターンは 互いに類似している 似たパターンが集まる クラスごとがかたまり(クラスタ) 図2:特徴空間として観測される
17.
特徴空間 特徴ベクトルと特徴空間 ✓
特徴ベクトルによってはられる空間 xd xj x2 x1 17 !2 !1 !i !c 入力パターンx を表記 x は特徴空間内では点である x ここではx はクラス!2 に 属していることがわかる 図2:特徴空間
18.
特徴ベクトルの多様性 特徴ベクトルと特徴空間 ✓
例:手書き文字の認識 • 入力されたパターンを5×5の25メッシュに標本化, 文字は白か黒かの2値 * 標本化:パターンをメッシュ状に区切り各メッシュをある濃度値に代表させる • 特徴ベクトルは xj = 1 xj = 0 (黒:文字部分) (白:背景部分) • パターンの種類は3千万以上となる,どのようにして文字を 認識すれば良いのか 18
19.
特徴ベクトルの多様性 特徴ベクトルと特徴空間 ✓
文字の認識方法 1つのパターンに対して1つのクラスを割り当てる 例のように単純なものでも3千万以上のパターンがある すべて割り当てるには労力が大きい 意味を持たないパターンも多数存在する 意味を持たないパターンに対してc+1番目のクラス リジェクトを設ける 19
20.
特徴ベクトルの多様性 特徴ベクトルと特徴空間 ✓
特徴空間におけるリジェクト xj x2 20 xd x1 !2 !1 !i !c !1, ...,!c のクラスに 属していない箇所を リジェクトとする * 白地の箇所 図3:特徴空間におけるリジェクト
21.
プロトタイプと最近傍決定則 21
22.
プロトタイプ プロトタイプと最近傍決定則 ✓
特徴ベクトルの多様性より • 全てのパターンに対して1つずつクラスを割り当てることは 現実的ではない 次善の策として… • 代表的なパターンのみを識別辞書に登録する • 代表的なパターンをプロトタイプとよぶ 22
23.
最近傍決定則 プロトタイプと最近傍決定則 ✓
最近傍決定則(nearest neighbor rule) (以下,NN法) • 仮定:特徴空間上で近接しているパターン同士は性質が似ている 入力パターンと各クラスのプロトタイプを比較 最も距離の近い(最近傍にある)プロトタイプの属する クラスを識別結果として出力する • 手順 1) 2) * 距離はユーグリッド距離がよく使用される 23
24.
最近傍決定則 プロトタイプと最近傍決定則 ✓
NN法の定式化 n個のパターンが属するクラスとともに与えられているとする (x1, ✓1), (x2, ✓2), ..., (xn, ✓n) ただし✓p 2 {!1, ..., !c} p = (1, 2, ..., n) 距離より属するクラスを識別する min p=1,...,n{D(x, xp)} = D(x, xk) x 2 ✓k ただしxk 2 {x1, ..., xn} ✓k 2 {✓1, ..., ✓n} 24 (2) (3)
25.
最近傍決定則 プロトタイプと最近傍決定則 ✓
k近傍法(k-NN法) • p24のNN法は最も近い1つのプロトタイプによって 識別していることから1-NN法とよばれる • k-NN法における識別 xと最も距離の近いk個のプロトタイプをとる k個のプロトタイプのうち,最も多数を占めたクラスを 識別結果とする 25
26.
最近傍決定則 プロトタイプと最近傍決定則 ✓
k近傍法(k-NN法)のイメージ xd xj x2 x1 !2 !1 !i !c x p1 p2 pk p1, ...,pk 入力パターンに近いk個のプロトタイプ 入力パターンに近い pk1 k個のプロトタイプのうち !iに属するプロトタイプが 最も多いためx は!i に属する 26 図4:k-NN法のイメージ
27.
特徴空間の分割 プロトタイプと最近傍決定則 ✓
プロトタイプの設定 • 機械にパターン認識機能を持たせるためには, どのようにプロトタイプを設定すべきか • 設定するべき項目 プロトタイプの個数,特徴空間上の位置など 27 • 設定方法 全数記憶方式:収集されたパターンをそのまま プロトタイプとする クラスの分布の重心をプロトタイプとして定める方法 * 少数のパターンをプロトタイプとする
28.
特徴空間の分割 プロトタイプと最近傍決定則 ✓
決定境界 • クラス間を分離する超平面を決定境界とよぶ 28 !2 !1 !3 決定境界 2つのプロトタイプのを結ぶ線の 垂直2等分線 リジェクト領域との境界 図5:決定境界のイメージ
29.
まとめ 29
30.
30 押さえとくキーワード まとめ
✓ パターン認識 ✓ 特徴ベクトル ✓ 特徴空間 ✓ プロトタイプ ✓ 最近傍決定則
31.
ご清聴ありがとうございました 31
Download now