1. ⾔言語資源と付き合う
2012/06/07 @ PFIセミナー
株式会社Preferred Infrastructure
海野 裕也

2. ⾃自⼰己紹介
l 海野 裕也
l @unnonouno
l unno/no/uno
l 研究開発部⾨門
l Jubatusチームリーダー
l 専⾨門
l ⾃自然⾔言語処理理
l 統語解析、⽂文圧縮、同義語抽出＋クエリ拡張、⼊入⼒力力⽀支援
l テキストマイニング
l ⾔言語横断テキストマイニング、曖昧パターンマッチ
2

3. 今⽇日はゆるふわです
3

4. 今⽇日のゴール
l ⾔言語処理理における⾔言語資源の重要性を認識識する
l ⾔言語資源に絡む⽤用語を知る
l ⾔言語資源に関連する研究の紹介
l これから⾔言語資源とどう付き合うべきか
4

5. アジェンダ
1. ⾔言語処理理と⾔言語資源
2. ⾔言語資源とは何か
3. ⾔言語資源の作成
4. ⾔言語資源と付き合う
5

6. ⾔言語処理理と⾔言語資源
6

7. ⾃自然⾔言語処理理のタスク
テキスト 何か⾔言語処理理 ⾔言語処理理
結果
l ⼊入⼒力力は⾃自然⽂文
l 出⼒力力はタスクによって違う
l 形態素解析なら形態素列列が出⼒力力
7

8. 処理理とリソース（規則）の分離離
テキスト エン ⾔言語処理理
ジン +
辞書 結果
l 処理理と規則（辞書）の分離離
l 辞書は肥⼤大化、複雑化、メンテナンスの低下
l 辞書のメンテナンス性も主要な課題（前回のセミナー）
8

9. 機械学習時代の⾃自然⾔言語処理理
タグ付き
コーパス 学習 辞書
エン パラメー ⾔言語処理理
テキスト +
ジン タ 結果
l 今まで⼿手で作っていたパラメータは⾃自動調整
l 辞書の⽐比重は⼩小さく
l 代わりに膨⼤大なタグ付きコーパスが必要になった
9

10. お客さんが絡むと・・・
タグ付き
コーパス 学習 辞書
エン パラメー ⾔言語処理理
テキスト +
ジン タ 結果
l お客さんの分野でちゃんと動くのか？
l 辞書のメンテナンスは困難
l データを作ってもらうのも困難
l そうはいっても真の課題がわかるのはお客さんだけ
10

11. 課題は増えていく
l 辞書のメンテナンス
l 「辞書に追加したのに⾒見見つけてくれないよ！」
l 「変な単語が出てきちゃうよ！」
l コーパス作成
l 「データは何件作ればいいの？」
l 「データ作るの⼤大変なんだけど」
技術で解決したい！
11

12. ⼿手法よりもデータが重要
l タスクの複雑さは⼿手法よりもデータに依存
l データに依存して難易易度度が変わる
l 形態素解析しやすい⽂文書、しにくい⽂文書、しやすい⾔言語、しに
くい⾔言語
l 精度度を担っているのはほとんどが⾔言語資源
l 良良い規則を作る
l 良良い辞書を作る
l 良良い正解データを作る
12

13. ⾔言語資源とは何か
13

14. ⾔言語資源とは何か
言語資源（げんごしげん）とは、自然言語を研究するさい
に用いられる資源のこと。 辞書やコーパス、シソーラス、
インフォーマントなどがこれにあたる。 (Wikipedia)
⼤大雑把には２種類に⼤大別される
l コーパス
l 辞書
14

15. 「コーパス」とは？
コーパス（corpus）とは、言語学において、自然言語
処理の研究に用いるため、自然言語の文章を構造化
し大規模に集積したもの。構造化では言語的な情報
（品詞、統語構造など）が付与される。コンピュータ利
用が進み、電子化データとなった。 (Wikipedia)
l 基本的には実際に使われた⽂文をたくさん集めたデータ
l ⾃自然⾔言語処理理以外でも使われる
l コーパス⾔言語学
l 構造化した情報が付与されてない場合もある
15

16. アノテーション（注釈）とは？
l テキストデータに対して付与された正解情報
l 固有表現抽出なら正解タグ
l 単語分割なら分割ラベル
l 統語解析なら句句構造や依存構造
l 正解付与する⼈人のことをアノテーターと呼ぶ
16
ChaKi

17. 注釈の整合性とタスクの難易易度度
l ⼈人間が注釈をつけても曖昧なことがある
l 例例：係り受け解析の⼈人間同⼠士の⼀一致率率率は90％くらい
l 数値上これ以上の精度度はそもそも不不可能
l AさんがOKと⾔言っても、BさんはNOと⾔言う
l ⼀一致率率率がそもそも70%くらいにしかならないタスクもあ
る
17

18. 「κはいくつですか？」
l Inter-annotator agreement
l アノテーター間でどれくらい同意が取れるか
l ⼀一般的にはκ統計量量を⽤用いる
l Pr(a): 評価が⼀一致する確率率率
l Pr(e): 独⽴立立だと仮定した場合に⼀一致する確率率率
18

19. 注釈付きコーパスあれこれ
l ツリーバンク
l 統語構造のアノテーションがついたコーパス
l 統語構造は⽊木構造で表現されることが多いため、こう呼ばれる
l 対訳コーパス
l 翻訳関係にある⽂文対を集めたコーパス
19

20. 「辞書」とは？
l 特定の⾔言語単位に対する⾔言語情報資源
l 例例：⾳音素、形態素、単語、意味役割…
l データによって情報の粒粒度度は様々
l 単なる単語集合
l 品詞情報
l 各種情報
l いわゆる「辞典」のことではない
l お客様先で使うときは注意
l NLPの⽂文脈だと機械が利利⽤用するためのリソースの意味
20

21. 辞書あれこれ
l 単語辞書
l 何かしらの「単語」の⼀一覧
l その他の情報（品詞、読み、活⽤用など）が付与されることもあ
る
l シソーラス
l 類語や上位語・下位語関係など、語と語の意味の粒粒度度の関係が
付与された辞書
l 紙に書かれたシソーラスもあります
l 訳語辞書
l 訳語関係にある単語対の⼀一覧
21

22. コーパスと辞書の違いは？
l コーパスは「⽂文書の事例例」ベース、辞書は「単語や複合
語などの⾔言語単位」ベース
l ・・・と書いてみたが、たぶん割りと曖昧
22

23. メジャーな⾔言語資源を幾つか・・・
l コーパス
l 京都⼤大学テキストコーパス
l 現代⽇日本語書き⾔言葉葉均衡コーパス
l EDRコーパス
l ATR⾳音素バランス503⽂文
l Penn Treebank
l 辞書
l IPA辞書
l ⽇日本語語彙体系
l EDR辞書
l WordNet
23

24. 京都⼤大学テキストコーパス
l 京⼤大⿊黒橋研究室
l 毎⽇日新聞1995年年データに対して、⼈人⼿手でタグ付け
l 形態素解析、係り受け解析、照応解析などの情報
* 0 26D
村山 むらやま * 名詞 人名 * *
富市 とみいち * 名詞 人名 * *
首相 しゅしょう * 名詞 普通名詞 * *
は は * 助詞 副助詞 * *
* 1 2D
年頭 ねんとう * 名詞 普通名詞 * *
に に * 助詞 格助詞 * *
* 2 6D
あたり あたり あたる 動詞 * 子音動詞ラ行 基本連用形
24

25. 現代⽇日本語書き⾔言葉葉均衡コーパス (BCCWJ)
l 国⽴立立国語研究所
l 世の中に流流通する様々な分野の⽂文書から、均等にサンプ
リングしたようなコーパスを⽬目指している
<corpus lang="japanese">
<article articleID="OC14_03054m" genre="OC">
<sentence>
<mor pos="名詞-普通名詞-一般" rd="チエ">知恵</mor>
<mor pos="名詞-普通名詞-一般" rd="ブクロ">袋</mor>
<mor pos="助詞-格助詞" rd="ニ">に</mor>
<mor pos="動詞-非自立可能" rd="シ" bfm="スル">し</mor>
<mor pos="助動詞" rd="タ" bfm="タ">た</mor>
<mor pos="名詞-普通名詞-サ変可能" rd="シツモン">質問</mor>
<mor pos="助詞-格助詞" rd="デ">で</mor>
25

26. ATR⾳音素バランス503⽂文
l ATR （国際電気通信基礎技術研究所）
l ⾳音声認識識⽤用のデータセット
l 味のある例例⽂文で有名（by @tkng）
l 「あらゆる現実を全て⾃自分の⽅方へねじ曲げたのだ」
26

27. Penn Treebank
l ペンシルバニア⼤大学
l Wall Street JournalやBrown Corpusに品詞と統語構造
をタグ付け
l 最も有名なタグ付きコーパスの１つ
( (S
(NP-SBJ
(NP (NNP Pierre) (NNP Vinken) )
(, ,)
(ADJP
(NP (CD 61) (NNS years) )
(JJ old) )
(, ,) )
(VP (MD will)
…
27

28. Google N-gram コーパス
l Google
l ウェブ上でクロールしたデータに単語1~7グラムの中で、
頻度度の⾼高いものとその頻度度をまとめたデータ
の 呼び声 王宮 の お触れ × 2 30
の 呼び声 王宮 の お触れ × 3 51
の 呼び声 砂塵 の 大 竜巻 × 28
の 呼び声 破 界 伝 ( 5 43
の 呼び声 神 の 宣告 × 3 25
の 呼び声 第 壱 章 チェーン ・ 20
の 呼び声 罠 【 永続 】 自分 22
の 呼び声 聖なる バリア - ミラーフォース - 194
28

29. タグ付きコーパスの探し⽅方
l 紹介しているページ
l NAIST松本研のページ
l ⾔言語資源を管理理しているサイト
l Linguistic Data Consortium (LDC)
l ⾔言語資源協会 (GSK)
l 個別に⼊入⼿手
l 個⼈人が作成している場合がある
29

30. ⾔言語資源の作成
30

31. ⾔言語資源を作るのは⼤大変！
しかし，大規模コーパスは通常，膨大な試行錯誤の累積
として成立している。当初に定めた仕様にしたがって実装
を進めるなかで多くの問題が発見され，それらに対処す
る過程で，仕様が精密化されてゆくが，ときとして仕様に
矛盾が発見されることもあり，その結果，過去の作業に遡
及した修正作業を行わなければならない事態なども発生
する。 「日本語話し言葉コーパスの構築法」より
l 統制のとれた⾔言語資源を作るのは⼤大変
l 統括マネージャー＋アノテーター複数⼈人
l 同⼀一データに対して2⼈人以上のアノテーション
l 定例例ミーティング、問題の洗い出し
l ⼀一般的に年年単位のプロジェクトになる
l 膨⼤大な⼈人件費
31

32. コーパス作成の例例
l GENIA corpus
l @東⼤大辻井研
l 分⼦子⽣生物学論論⽂文中に記載される、タンパク質の反応に関する情
報抽出のアノテーションつきコーパス
l BCCWJ
l @国⽴立立国語研究所
l 8つのグループ、5年年間（2006~2010年年）
l EDRコーパス
l @NICT
l 1辞書、1ライセンス120万円
32

33. ルールベースから機械学習へ
規則作りからコーパス作りへ
⼈人⼿手のリ
ソース（辞 処理理エ ⼤大量量コーパ
＋
学習エ
書、規 ンジン ス ＋
ンジン
則…）
l リソースづくりがコーパスづくりに変わっただけでコス
ト変わってないんでは・・・？
33

34. コーパスと⾃自然⾔言語処理理・機械学習関連での研究
より効率率率よく性能を上げることが研究テーマになる
1. タグ無しコーパスの積極的な利利⽤用
l 半教師有り学習
l 転移学習
2. コーパス作成の効率率率化
l 能動学習
3. ⾮非専⾨門家の利利⽤用
l Learning from Crowds
4. コーパス作成環境の整備
34

35. 1. タグ無しコーパスの利利⽤用
l 半教師有り学習
l ラベル付きデータ（タグ付きコーパス）と⼤大量量のラベルなし
データ（⽣生コーパス）から学習
l ラベル付きデータのみの時よりも効率率率が良良い
l 転移学習
l 学習データと適応先のデータで分野が異異なるという問題設定
l 学習データのみを使うよりも、適応先ドメインのタグ無しデー
タを使ったほうが効率率率が良良い
35

36. 2. コーパス作成の効率率率化
l 能動学習
l 最も効率率率良良く学習できる正解ラベル（アノテーション）から順
番につけていく
l 単純にランダムな順序で学習するよりも効率率率が良良い
l ⼤大岩さんのPFIセミナーを参照
36

37. 3. ⾮非専⾨門家の利利⽤用
l Learning From Crowds
l ノイズがある、アノテーターに能⼒力力差があるという前提での機
械学習の⽅方法論論
l Amazon Mechanical Turkを利利⽤用した研究などが近年年盛ん
37

38. 4. コーパス作成環境の整備
l アノテーション⾃自体の研究
l アノテーションのツール
l 実際にコーパスを作ったときの報告
l テキストアノテーションワークショップ
l http://nlp.nii.ac.jp/tawc/
l アノテーションの設計、⽅方法論論、⽀支援等に関する会議
l 2012/8/6, 7 @NII
38

39. ⾔言語資源とどう付き合うか
39

40. ある⽇日ルールが適⽤用できなくなる瞬間
l 「NMB à ミネベア」だと思ってたら、ある⽇日から
NMB48が・・・
l 「スイカ à ⻄西⽠瓜」だと思ってたら、ある⽇日からSuica
が・・・
l 機械学習 or ルールベースとは独⽴立立の問題
l モデルが適⽤用できなくなる
l ルールが適⽤用できなくなる
40

41. 同じ問題は機械学習でも起こりうる
l 未知の領領域のデータに対してどう振る舞うのか？
41

42. 分類基準が変えたら何が起こるのか？
l 誤分類が改善される
l 新しいルールの追加
l ルールの修正
l 再学習を⾛走らせる
l 今までうまく動いていたデータは？
l 影響がないとは思えない
l それは充分に検証しましたか？
l そんなこといってもイタチごっこじゃないか
l そうですね
l だから何もしなくていいとは思えない
42

43. 疑⼼心暗⻤⿁鬼
l いつか破綻するかもしれない
l 実はもう破綻しているのかもしれない
l ⾒見見つかる間違い、増える問い合わせ
l 説明できないロジック・・・
43

44. 全てを疑ったとき、信じられるのは⽤用例例だけ
用例のよさは，それが実際に人間によって使われた表現で
あるという意味で，健全でかつ安定した情報であるという点
にあるだろう． （自然言語処理, 岩波より）
l ⽤用例例に対する判断は変わらない
l 「NMBのキーボードを買った」がNMB48になることはない
l 「スイカ割りをした」がSuicaになることはない
l 信じられるものだけを信じる
l ⽤用例例は単体テストのようなもの
l ロジック（ルール）だけあってテスト（事例例）のないプログラ
ムを信⽤用できますか？
l テストで全てを⾔言えるわけではないが、何もないより説得⼒力力が
ある
44

45. お客さんが報告できるのは⽤用例例だけ
l どの例例をどう間違えたか
l 「NMB48がたくさん引っかかるんだけど！」
l 内部がどうなっているかはわからない
l 内部の詳細なロジックを理理解して使ってもらうのは厳しい
l どの例例をどう間違えたかならわかるはず（多分）
45

46. 基準が変わることとは別
問題⾃自体が変わった場合とは別、問題は切切り分ける
l 本当に変わった
l 「ホークス à ダイエー」から「ホークス à ソフトバンク」
l 粒粒度度が変わった
l 「iPhone à 携帯電話」から「iPhone à スマートフォン」
l 気分が変わった
l ⾟辛い・・・
l Inter-annotator agreement
46

47. 考えるべき問題設定？
タグ付き
辞書 学習 コーパス
検証
エン パラメー ⾔言語処理理
テキスト +
ジン タ 結果
l 既存の⾔言語資源＋⽣生コーパス＋お客様保有資源＋お客様
⾃自⾝身＋⾮非専⾨門家
l 使えるものはなんでも使う
47

48. まとめ
l ⾔言語処理理の振る舞いを決めるうえで⾔言語資源は重要
l ⼤大別するとコーパスと辞書がある
l ⾔言語資源を作るのは⼤大変
l 数億という単位でお⾦金金がかかっている・・・
l ⽤用例例をベースとして考える
l 規則はいつか破綻する可能性がある
l ⽤用例例をためる、管理理する、全体の仕組みを考える
48