SlideShare a Scribd company logo
1 of 25
Download to read offline
‣
‣
‣
‣
% echo | mecab
, , , ,*,*, , ,
, , ,*,*,*, , ,
, , ,*,*,*, , ,
, ,*,*, , , , ,
EOS
‣
‣
Input
Dictionary
Input
Dictionary
Input common_prefix_search( )
Dictionary
Input common_prefix_search( )
Dictionary
Input common_prefix_search( )
Dictionary
Input common_prefix_search( )
Dictionary
Input common_prefix_search( )
Dictionary
Input common_prefix_search( )
not matched
Dictionary
Input




3 1 6,7
25 4
Dictionary




3 1 6,7
25 4
Dictionary
common_prefix_search( )
‣
‣
‣
Generating cost (Dictionary)
Connecting cost
21356245
3003 9428
-310
-283
-9617
-386
1285, 1285
1293, 1293 1303, 1303
0
1293, 1293
Generating cost (Dictionary)
Connecting cost
21356245
3003 9428
-310
-283
-9617
-386
1285, 1285
1293, 1293 1303, 1303
0
1293, 1293
7729
2504
% echo | mecab -F "%m,%Hnt%phl,%phr,%pw,%pC,%pcn" -N2
, , , , ,*,*, , ,
1293,1293,3003,-310,2693
, , , ,*,*,*, , ,
1303,1303,9428,-9617,2504
EOS
, , ,*,*,*,*, , ,
1285,1285,6245,-283,5962
, , , , ,*,*, , ,
1293,1293,2135,-368,7729
EOS
← left context, right context, generating cost,
connecting cost, cumulative cost
‣
‣
‣
‣









More Related Content

Viewers also liked

On Similarities Between Japanese and Other Languages
On Similarities Between Japanese and Other LanguagesOn Similarities Between Japanese and Other Languages
On Similarities Between Japanese and Other LanguagesGraspingfish
 
Groongaの今後への期待
Groongaの今後への期待Groongaの今後への期待
Groongaの今後への期待Naoya Murakami
 
Groongaの紹介と事例紹介
Groongaの紹介と事例紹介Groongaの紹介と事例紹介
Groongaの紹介と事例紹介Naoya Murakami
 
Rのデータ構造とメモリ管理
Rのデータ構造とメモリ管理Rのデータ構造とメモリ管理
Rのデータ構造とメモリ管理Takeshi Arabiki
 
ACL 2014 読み会
ACL 2014 読み会ACL 2014 読み会
ACL 2014 読み会xzhaoxx
 
CRF を使った Web 本文抽出 for WebDB Forum 2011
CRF を使った Web 本文抽出 for WebDB Forum 2011CRF を使った Web 本文抽出 for WebDB Forum 2011
CRF を使った Web 本文抽出 for WebDB Forum 2011Shuyo Nakatani
 
Differences between Japanese and English
Differences between Japanese and EnglishDifferences between Japanese and English
Differences between Japanese and EnglishCashie Cheer
 
RではじめるTwitter解析
RではじめるTwitter解析RではじめるTwitter解析
RではじめるTwitter解析Takeshi Arabiki
 
系列ラベリングの基礎
系列ラベリングの基礎系列ラベリングの基礎
系列ラベリングの基礎Takatomo Isikawa
 
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3Prml Reading Group 10 8.3
Prml Reading Group 10 8.3正志 坪坂
 
Web本文抽出 using crf
Web本文抽出 using crfWeb本文抽出 using crf
Web本文抽出 using crfShuyo Nakatani
 
Zipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLPZipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLPShuyo Nakatani
 
Language Comparison (Korean, Japanese and English)
Language Comparison (Korean, Japanese and English)Language Comparison (Korean, Japanese and English)
Language Comparison (Korean, Japanese and English)MIN KYUNG LEE
 
Difference between English and Nihongo
Difference between English and NihongoDifference between English and Nihongo
Difference between English and NihongoLyka Cuecaco
 
入門自然言語処理入門
入門自然言語処理入門入門自然言語処理入門
入門自然言語処理入門Hiromu Shioya
 
EMNLP 2015 yomikai
EMNLP 2015 yomikai EMNLP 2015 yomikai
EMNLP 2015 yomikai Yo Ehara
 
自然言語処理のための機械学習入門1章
自然言語処理のための機械学習入門1章自然言語処理のための機械学習入門1章
自然言語処理のための機械学習入門1章Hiroki Mizukami
 

Viewers also liked (20)

On Similarities Between Japanese and Other Languages
On Similarities Between Japanese and Other LanguagesOn Similarities Between Japanese and Other Languages
On Similarities Between Japanese and Other Languages
 
Japanese phonology
Japanese phonologyJapanese phonology
Japanese phonology
 
Groongaの今後への期待
Groongaの今後への期待Groongaの今後への期待
Groongaの今後への期待
 
Groongaの紹介と事例紹介
Groongaの紹介と事例紹介Groongaの紹介と事例紹介
Groongaの紹介と事例紹介
 
Rのデータ構造とメモリ管理
Rのデータ構造とメモリ管理Rのデータ構造とメモリ管理
Rのデータ構造とメモリ管理
 
NLPforml5
NLPforml5NLPforml5
NLPforml5
 
ACL 2014 読み会
ACL 2014 読み会ACL 2014 読み会
ACL 2014 読み会
 
CRF を使った Web 本文抽出 for WebDB Forum 2011
CRF を使った Web 本文抽出 for WebDB Forum 2011CRF を使った Web 本文抽出 for WebDB Forum 2011
CRF を使った Web 本文抽出 for WebDB Forum 2011
 
Differences between Japanese and English
Differences between Japanese and EnglishDifferences between Japanese and English
Differences between Japanese and English
 
RではじめるTwitter解析
RではじめるTwitter解析RではじめるTwitter解析
RではじめるTwitter解析
 
系列ラベリングの基礎
系列ラベリングの基礎系列ラベリングの基礎
系列ラベリングの基礎
 
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
 
Web本文抽出 using crf
Web本文抽出 using crfWeb本文抽出 using crf
Web本文抽出 using crf
 
Zipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLPZipf? (ジップ則のひみつ?) #DSIRNLP
Zipf? (ジップ則のひみつ?) #DSIRNLP
 
Language Comparison (Korean, Japanese and English)
Language Comparison (Korean, Japanese and English)Language Comparison (Korean, Japanese and English)
Language Comparison (Korean, Japanese and English)
 
Difference between English and Nihongo
Difference between English and NihongoDifference between English and Nihongo
Difference between English and Nihongo
 
Emnlp読み会資料
Emnlp読み会資料Emnlp読み会資料
Emnlp読み会資料
 
入門自然言語処理入門
入門自然言語処理入門入門自然言語処理入門
入門自然言語処理入門
 
EMNLP 2015 yomikai
EMNLP 2015 yomikai EMNLP 2015 yomikai
EMNLP 2015 yomikai
 
自然言語処理のための機械学習入門1章
自然言語処理のための機械学習入門1章自然言語処理のための機械学習入門1章
自然言語処理のための機械学習入門1章
 

More from Takeshi Arabiki

HTML5 Canvas で学ぶアフィン変換
HTML5 Canvas で学ぶアフィン変換HTML5 Canvas で学ぶアフィン変換
HTML5 Canvas で学ぶアフィン変換Takeshi Arabiki
 
Introduction to Favmemo for Immature Engineers
Introduction to Favmemo for Immature EngineersIntroduction to Favmemo for Immature Engineers
Introduction to Favmemo for Immature EngineersTakeshi Arabiki
 
Rのスコープとフレームと環境と
Rのスコープとフレームと環境とRのスコープとフレームと環境と
Rのスコープとフレームと環境とTakeshi Arabiki
 
R版Getopt::Longを作ってみた
R版Getopt::Longを作ってみたR版Getopt::Longを作ってみた
R版Getopt::Longを作ってみたTakeshi Arabiki
 
Rデータフレーム自由自在
Rデータフレーム自由自在Rデータフレーム自由自在
Rデータフレーム自由自在Takeshi Arabiki
 
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜Takeshi Arabiki
 
Rデバッグあれこれ
RデバッグあれこれRデバッグあれこれ
RデバッグあれこれTakeshi Arabiki
 
はじめてのまっぷりでゅ〜す
はじめてのまっぷりでゅ〜すはじめてのまっぷりでゅ〜す
はじめてのまっぷりでゅ〜すTakeshi Arabiki
 
TwitterのデータをRであれこれ
TwitterのデータをRであれこれTwitterのデータをRであれこれ
TwitterのデータをRであれこれTakeshi Arabiki
 

More from Takeshi Arabiki (11)

開発の心得
開発の心得開発の心得
開発の心得
 
HTML5 Canvas で学ぶアフィン変換
HTML5 Canvas で学ぶアフィン変換HTML5 Canvas で学ぶアフィン変換
HTML5 Canvas で学ぶアフィン変換
 
Introduction to Favmemo for Immature Engineers
Introduction to Favmemo for Immature EngineersIntroduction to Favmemo for Immature Engineers
Introduction to Favmemo for Immature Engineers
 
Rのスコープとフレームと環境と
Rのスコープとフレームと環境とRのスコープとフレームと環境と
Rのスコープとフレームと環境と
 
R版Getopt::Longを作ってみた
R版Getopt::Longを作ってみたR版Getopt::Longを作ってみた
R版Getopt::Longを作ってみた
 
Rデータフレーム自由自在
Rデータフレーム自由自在Rデータフレーム自由自在
Rデータフレーム自由自在
 
HMM, MEMM, CRF メモ
HMM, MEMM, CRF メモHMM, MEMM, CRF メモ
HMM, MEMM, CRF メモ
 
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
文字列カーネルによる辞書なしツイート分類 〜文字列カーネル入門〜
 
Rデバッグあれこれ
RデバッグあれこれRデバッグあれこれ
Rデバッグあれこれ
 
はじめてのまっぷりでゅ〜す
はじめてのまっぷりでゅ〜すはじめてのまっぷりでゅ〜す
はじめてのまっぷりでゅ〜す
 
TwitterのデータをRであれこれ
TwitterのデータをRであれこれTwitterのデータをRであれこれ
TwitterのデータをRであれこれ
 

Introduction to Japanese Morphological Analysis