Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to 形態素解析器 売ってみた
Similar to 形態素解析器 売ってみた (20)
More from JustSystems Corporation
More from JustSystems Corporation (20)
形態素解析器 売ってみた
- 2. 自己紹介 元 茶筌メンテナ 形態素解析歴15年? ATOKもやってます • ハイブリッドコア • おまかせキーワード チャージャー • 同音語選択精度向上 高岡一馬 株式会社ジャストシステム 2
- 3. 3 ATOK、ConceptBaseで培ったノウハウと 機械学習を融合した日本語解析エンジン JustSystems Morphological Analysis Technorogy ”ジャストシステムの形態素解析技術”
- 4. 統計的手法による形態素解析 表記 品詞 にわ 一般名詞 に 助詞 わに 一般名詞 にわとり 一般名詞 が 助詞 い 上一段動詞 る 活用語尾：終止 。 句点 区切って、品詞を選ぶ 系列ラベリング問題 隣接する要素の情報を利用 (n-gram) 必要なリソース • 辞書 • 教師データ（学習コーパス） （ほかのやり方もあります） 4
- 5. 分析が大事 統計手法 ○すぐに精度がだせる × 少数で深刻な問題は数値ではみえない ちゃんと事例をみる • 精度がいいとおもったら…… → 同じフレーズが何度も出現 • ユーザーにあわせた評価 5
- 7. でもむやみに辞書にいれると…… 「まれ」を人名で登録 辞書登録には ノウハウが必要 7 表記 品詞 こういう 連体詞 例 一般名詞 は 助詞 まれ 固有人名 で 助動詞 は 助詞 な 補助用言 い 活用語尾：終止
- 8. 登録する? しない? 説明性 • 一貫性 • 規範性? 新語 一過性かどうか 弊害 辞書の肥大化、誤解析、メンテナンス性 8
- 9. 人手の介入 クリティカルな事例 どうしても直さなきゃいけない 機械学習では • 挙動を説明できない • 学習のたび結果が変わる どこかに介入できるところをつくる • ルールによる補正 • ユーザー辞書 9
- 10. 区切りの単位 区切り単位はアプリケーションによる • 長単位・中単位 意味、統語構造の処理用 • 短単位 検索用、後段処理の基本要素として 形態素 → 単語 → 統語構造 • 語構成と統語構造は別レイヤー • まぜちゃいけないんだけど…… 10
- 11. 表記統制 軽量な単語識別 • 検索 • 後段処理 統制対象 • 異表記 • 送り仮名 11 たけのこ タケノコ 筍 竹の子 タケノコ
- 12. 短単位とまぜるとつらい 基本方針: 生物名はカタカナ きりん → キリン、象 → ゾウ 短単位に切ると…… • マツバ/ガニ、カニ • カニでマツバガニが検索できない • しかたないので → 松葉/蟹、蟹 どうしても両立しない原則はでてくる 12
- 14. 分割情報 辞書では1語だけど出力は分割 使い道 • 出力単位のつかいわけ • 誤解析の矯正 • ユーザー辞書との組み合わせ 14 登録単語 にわにはにわとり 名詞 分割情報 にわ に は にわとり 品詞 名詞 助詞 助詞 名詞
- 16. 形態素解析って枯れちゃった? 辞書追加 >>>>>> あたらしい学習手法 （再掲） • ベースラインの精度高い • 改善してもちょっと • 未知語推定がんばるより辞書 • コーパスもいいのがあるし • もうやることない…… 16