More Related Content Similar to プログラマのための文書推薦入門 Similar to プログラマのための文書推薦入門 (20) 16. TF-IDF
TF ÷ DF で計算される値
◦ IDF = Inverse Document Frequency
例文「李も桃も桃のうち」
2014/6/20 社内勉強会資料 16
単語 TF DF TF-IDF
李 1 7 0.1429
も 2 1,045 0.0019
桃 2 1 2.0000
の 1 4,709 0.0002
うち 1 113 0.0885
18. 高次元空間について
24 万次元空間って SF 的な話？
◦ 違います
日常的なイメージで考えはじめたら・・・
◦ 1 次元 = 直線
◦ 2 次元 = 平面
◦ 3 次元 = 空間
◦ 4 次元 = 時空？
◦ 5 次元 = ？？？？
◦ 240,000 次元 = ？？？？？？？？？？？？？
負け
2014/6/20 社内勉強会資料 18
27. 二点間の距離 24 万次元
24 万次元でも計算方法は変わらない
2014/6/20 社内勉強会資料 27
double calcDistance(double[] a, double[] b) {
double distance = 0;
for (int i = 0; i < 240000; ++i) {
distance += pow(b[i] – a[i], 2);
}
return sqrt(distance);
}
◦ 次元数に応じてループの回数が増えるだけ
30. Wikipedia 要約の取得
日本語 Wikipedia のデータベースからダウンロード
◦ http://dumps.wikimedia.org/jawiki/
2014/6/20 社内勉強会資料 30
$ wget http://dumps.wikimedia.org/jawiki/latest/jawiki-
latest-abstract.xml
◦ データは巨大なので注意しましょう（2014-05-21 版で 1.4 GB）
$ head –n 5 jawiki-latest-abstract.xml
<feed>
<doc>
<title>Wikipedia: アンパサンド</title>
<url>http://ja.wikipedia.org/wiki/%E3%82%A2%E3%83%B3%E3%83%
91%E3%82%B5%E3%83%B3%E3%83%89</url>
<abstract>right|thumb|100px|[[Trebuchet MS フォン
ト]]</abstract>
31. テキストの抽出
ダウンロードした XML ファイルから必要な情報を切り出す
◦ 何が必要かは処理内容に応じて考える
◦ 今回の用途では「見出し」と「要約」を使う
2014/6/20 社内勉強会資料 31
$ grep -B2 '<abstract>' jawiki-latest-abstract.xml | grep
'^<[ta]' >a.tmp
$ grep '^<t' a.tmp | cut -f2- -d' ' | sed 's,<[^>]*>$,,'
>title.txt
$ grep '^<a' a.tmp | sed 's/<[^>]*>//g' >abstract.txt
$ rm a.tmp
◦ scripts/extract_title_abstract.sh を参照
32. ちょっと小さく・・・
データが大きすぎて大変なので説明用に小さくする
◦ 要約が 100 字以上ある記事に絞り込む
◦ その中から 5,000 記事を選ぶ
2014/6/20 社内勉強会資料 32
$ awk '{ print length($0) >= 100 }' abstract.txt >a.tmp
$ expr $(grep 1 a.tmp | wc -l) / 5000
24
$ awk '{ print $1 && ++i % 24 != 0 }' a.tmp >b.tmp
$ paste b.tmp title.txt | grep ^1 | cut -f2- | head -n 5000
>title-5000.txt
$ paste b.tmp abstract.txt | grep ^1 | cut -f2- | head -n
5000 >abstract-5000.txt
$ rm a.tmp b.tmp
◦ scripts/shrink_data.sh を参照
33. ここまでの確認
Wikipedia から見出しと要約を 5,000 記事分だけ抽出した
2014/6/20 社内勉強会資料 33
$ wc -l *-5000.txt
5000 abstract-5000.txt
5000 title-5000.txt
10000 合計
$ paste title-5000.txt abstract-5000.txt | head -n 1000 |
tail -n 1 | sed 's/¥t/¥n/'
講座派
講座派（こうざは）とは、日本資本主義論争において労農派と対抗した
マルクス主義者の一派。岩波書店から1930年代前半に出版された、『日
本資本主義発達史講座』を執筆したグループが中心となったのでこう呼
ばれる。
36. Wikipedia 要約の単語分割
Wikipedia の要約データを MeCab で単語分割する
2014/6/20 社内勉強会資料 36
$ mecab -Owakati abstract-5000.txt >wakati.txt
$ head -n 1000 wakati.txt | tail -n 1
講座 派 （ こう ざ は ） と は 、 日本 資本 主義 論争 に おい
て 労農 派 と 対抗 し た マルクス 主義 者 の 一派 。 岩波 書店
から 1 9 3 0 年 代 前半 に 出版 さ れ た 、 『 日本 資本 主義
発達 史 講座 』 を 執筆 し た グループ が 中心 と なっ た の で
こう 呼ば れる 。
◦ -Owakati を指定すると区切った結果だけを出力してくれる
37. Wikipedia 要約の TF
Wikipedia の要約 5,000 記事の TF を計算する
2014/6/20 社内勉強会資料 37
$ php ../scripts/calculate_tf.php <wakati.txt >tf.txt
$ head -n 1000 tf.txt | tail -n 1
講座 2 派 2 （ 1 こう 2 ざ 1 は 2 ） 1 と 3 、 2 日本 2 資本
2 主義 3 論争 1 に 2 おい 1 て 1 労農 1 対抗 1 し 2 た 4 マル
クス 1 者 1 の 2 一派 1 。 2 岩波 1 書店 1 から 1 1 1 9 1 3 1
0 1 年 1 代 1 前半 1 出版 1 さ 1 れ 1 『 1 発達 1 史 1 』 1
を 1 執筆 1 グループ 1 が 1 中心 1 なっ 1 で 1 呼ば 1 れる 1
◦ 分かち書きされた各単語に出現回数を付加
◦ 単語 回数 単語 回数・・・の繰り返し
38. Wikipedia 要約の DF
Wikipedia の要約 5,000 記事に対する各単語の DF を計算する
2014/6/20 社内勉強会資料 38
◦ tf.txt 中の単語の出現回数を数える（いくつの文書に出てきたか）
◦ 各行の内容は「単語 出現文書数」
◦ 全部で 34,116 単語あった (34,116 次元の空間になる)
$ php ../scripts/calculate_df <tf.txt >df.txt
$ wc -l df.txt
34116 df.txt
$ head -n 1000 df.txt | tail -n 20 | column -c 70
敵 4 人数 2 ほど 18 遊び 4
ぶつける 1 避 1 メジャー 11 ルール 10
スポーツ 42 球 3 学校 155 各地 17
チーム 52 飛球 1 協会 86 独特 5
分かれ 11 表記 139 JDBA 1 感覚 8
39. Wikipedia 要約の TF-IDF
5,000 記事それぞれの TF から DF を使って TF-IDF を計算する
2014/6/20 社内勉強会資料 39
$ php ../scripts/calculate_tfidf.php tf.txt df.txt
>tfidf.txt
$ head -n 1000 tfidf.txt | tail -n 1
講座 0.28571428571429 派 0.052631578947368 （ 0.00022988505747126 こう 0.014285714285714 ざ
0.083333333333333 は 0.00040551500405515 ） 0.00022983222247759 と 0.00096184674575184 、
0.00041262636682484 日本 0.002247191011236 資本 0.14285714285714 主義 0.04 論争
0.14285714285714 に 0.00051072522982635 おい 0.0031948881789137 て 0.00035161744022504 労農
1 対抗 0.071428571428571 し 0.00078400627205018 た 0.0013110455588332 マルクス
0.083333333333333 者 0.0017636684303351 の 0.00042471862391166 一派 0.33333333333333 。
0.00040609137055838 岩波 0.066666666666667 書店 0.037037037037037 から 0.00081366965012205 1
0.0003404834865509 9 0.00049407114624506 3 0.0006150061500615 0 0.00050556117290192 年
0.00038270187523919 代 0.0044642857142857 前半 0.058823529411765 出版 0.016129032258065 さ
0.00049554013875124 れ 0.00050327126321087 『 0.0012062726176116 発達 0.083333333333333 史
0.025641025641026 』 0.0012254901960784 を 0.00034904013961606 執筆 0.076923076923077 グルー
プ 0.011904761904762 が 0.00043763676148797 中心 0.0075757575757576 なっ 0.0031948881789137
で 0.00026504108136761 呼ば 0.0036496350364964 れる 0.0010799136069114
◦ 単語 TF-IDF 単語 TF-IDF・・・の繰り返し
40. ここまでの確認
Wikipedia から抽出した 5,000 記事の特徴量 (TF-IDF) を計算した
2014/6/20 社内勉強会資料 40
$ head -n 1000 tfidf.txt | tail -n 1 |¥
awk '{ for (i=1; i<=NF; i+=2) print $i, $(i+1); }' |¥
sort -nrsk2,2 |¥
head | column -c 80
労農 1 ざ 0.083333333333333
一派 0.33333333333333 マルクス 0.083333333333333
講座 0.28571428571429 発達 0.083333333333333
資本 0.14285714285714 執筆 0.076923076923077
論争 0.14285714285714 対抗 0.071428571428571
41. 文書間の距離
記事の間の距離を計算する
2014/6/20 社内勉強会資料 41
$ head -n 210 abstract-5000.txt | tail -n 1
普遍論争（ふへんろんそう）とは、スコラ哲学において「普遍は存在す
るか」という問いをめぐって争われた哲学上・神学上の論争の一つであ
る。これと内容的に同じ議論が、古代から続いており、近代哲学や現代
の哲学でも形を変えて問題となっている。「普遍概念」をめぐる論争と
して、中世の論争を特にこの名で呼ぶ。
$ head -n 1000 abstract-5000.txt | tail -n 1
講座派（こうざは）とは、日本資本主義論争において労農派と対抗した
マルクス主義者の一派。岩波書店から1930年代前半に出版された、『日
本資本主義発達史講座』を執筆したグループが中心となったのでこう呼
ばれる。
44. 文書推薦
基準にする記事と各記事との距離を計算
距離の近い順に並べる
2014/6/20 社内勉強会資料 44
$ (head -n 1000 tfidf.txt | tail -n 1; cat tfidf.txt) |¥
php ../scripts/calculate_distance.php |¥
paste - title-5000.txt | sort -gsk1,1 | head
0 講座派
1.1319673488822 風の谷のナウシカ (映画)
1.134464051046 1977年のJSL
1.13839530087 ピアノソナタ第2番
1.13839530087 ピアノソナタ第15番
1.1417322424834 ニンテンドーDSi
1.1491742960789 第26回全日本中学校陸上競技選手権大会
◦ あれ？何だか全然似ていないような・・・
47. 改めて文書推薦
各記事の TF-IDF の大きさを 1 に揃えてから距離を計算する
2014/6/20 社内勉強会資料 47
$ php ../scripts/normalize_tfidf.php <tfidf.txt >norm.txt
$ (head -n 1000 norm.txt | tail -n 1; cat norm.txt) |¥
php ../scripts/calculate_distance.php |¥
paste - title-5000.txt | sort –gsk1,1 | head
0 講座派
1.3471710592443 文化放送日曜深夜0時枠
1.3870131943576 アッセンブリーズ・オブ・ゴッド
1.3888849645415 普遍論争
1.3892983597792 コラショ
1.3922523642743 長福寺 (名古屋市緑区)
1.3947875194068 民法典論争
1.3983797117905 南京大虐殺論争
1.3992487750453 第12回全日本都市対抗バレーボール優勝大会
48. 距離計算の高速化
TF-IDF の大きさを 1 に揃えることで距離計算を高速化できる
◦ 点 A (a1, a2, a3, …, aN) と点 B (b1, b2, b3, …, bN) の距離は・・・
2014/6/20 社内勉強会資料 48
sum = 0;
for (i = 0; i < N; i++) {
sum += pow(b[i] – a[i], 2);
}
sum = sqrt(sum);
◦ pow の部分を展開すると・・・
sum = 0;
for (i = 0; i < N; i++) {
sum += b[i]*b[i] – 2*a[i]*b[i] + a[i]*a[i];
}
sum = sqrt(sum);
49. 距離計算の高速化
TF-IDF の大きさを 1 に揃えることで距離計算を高速化できる
◦ pow の部分を展開すると・・・
2014/6/20 社内勉強会資料 49
sum = 0;
for (i = 0; i < N; i++) {
sum += b[i]*b[i] – 2*a[i]*b[i] + a[i]*a[i];
}
sum = sqrt(sum);
◦ ばらばらに足してみると・・・
sum = 0;
for (i = 0; i < N; i++) sum += b[i]*b[i];
for (i = 0; i < N; i++) sum –= 2*a[i]*b[i];
for (i = 0; i < N; i++) sum += a[i]*a[i];
sum = sqrt(sum);
50. 距離計算の高速化
TF-IDF の大きさを 1 に揃えることで距離計算を高速化できる
◦ ばらばらに足してみると・・・
2014/6/20 社内勉強会資料 50
◦ 大きさを 1 に揃えたのだから・・・
sum = 0;
for (i = 0; i < N; i++) sum += b[i]*b[i];
for (i = 0; i < N; i++) sum –= 2*a[i]*b[i];
for (i = 0; i < N; i++) sum += a[i]*a[i];
sum = sqrt(sum);
sum = 0;
sum += 1;
for (i = 0; i < N; i++) sum –= 2*a[i]*b[i];
sum += 1;
sum = sqrt(sum);
51. 距離計算の高速化
TF-IDF の大きさを 1 に揃えることで距離計算を高速化できる
◦ 大きさを 1 に揃えたのだから・・・
2014/6/20 社内勉強会資料 51
◦ ここまでを整理すると・・・
sum = 0;
sum += 1;
for (i = 0; i < N; i++) sum –= 2*a[i]*b[i];
sum += 1;
sum = sqrt(sum);
sum = 2;
for (i = 0; i < N; i++) sum –= 2*a[i]*b[i];
sum = sqrt(sum);
52. 距離計算の高速化
TF-IDF の大きさを 1 に揃えることで距離計算を高速化できる
◦ ここまでを整理すると・・・
2014/6/20 社内勉強会資料 52
◦ 距離そのものを計算しなくても大小関係が分かればよいので・・・
sum = 2;
for (i = 0; i < N; i++) sum –= 2*a[i]*b[i];
sum = sqrt(sum);
sum = 0;
for (i = 0; i < N; i++) sum += a[i]*b[i];
◦ これを大きな順に並べれば距離の近い順と同じになる
◦ a[i]*b[i] という形の計算しか残っていないのがポイント
◦ TF-IDF がどちらも 0 ではない単語だけ計算すればよい
54. コサイン類似度で文書推薦
距離ではなくコサイン類似度で計算する
2014/6/20 社内勉強会資料 54
$ (head -n 1000 norm.txt | tail -n 1; cat norm.txt) |¥
php ../scripts/calculate_cosine_similarity.php |¥
paste - title-5000.txt | sort –grsk1,1 | head
0.99999999999999 講座派
0.092565068567332 文化放送日曜深夜0時枠
0.038097199338955 アッセンブリーズ・オブ・ゴッド
0.035499277635225 普遍論争
0.03492503375735 コラショ
0.030816677086338 長福寺 (名古屋市緑区)
0.027283887853535 民法典論争
0.022267090826318 南京大虐殺論争
0.021051432767109 第12回全日本都市対抗バレーボール優勝大会
◦ 距離で計算した結果と順位は変わらない（値は変わる）
69. PLDA
C++ による LDA の実装
◦ https://code.google.com/p/plda/
インストール
2014/6/20 社内勉強会資料 69
$ tar zxf plda-3.1.tar.gz
$ cd plda
$ make lda infer
◦ 引数なしで make すると MPI 並列版もビルドしようとする
◦ MPI 並列版が不要なら上記のように make を実行
70. PLDA の実行（前半）
入力ファイル形式は tf.txt でよい
2014/6/20 社内勉強会資料 70
$ ../plda/lda ¥
--num_topics 20 ¥ # トピック数を指定する
--alpha 0.1 ¥
--beta 0.01 ¥
--training_data_file tf.txt ¥ # 入力ファイル
--model_file model.txt ¥ # 出力ファイル
--burn_in_iterations 100 ¥
--total_iterations 150
◦ model.txt は「各トピックからどの単語が何回出たか」
71. 各トピックの単語分布
各トピックからそれぞれの単語が何回出たか
2014/6/20 社内勉強会資料 71
$ head -n 5 model.txt
Cascading 0 0 0.02 0 0.02 0.02 0 0 0 0.02 0 0 0 0.3 0 0 0.38 0.02
0.06 0.16
Style 0.1 0 0 0 0.02 0 0 0 0 0 0 0 0 1.52 0 0 0.04 0 0.18 0.14
Sheets 0 0 0 0.02 0 0.02 0 0 0 0.02 0 0.02 0.02 0.26 0 0 0.38 0.02 0.06
0.18
（ 0 430.26 526.04 219.48 344.34 668 817.72 436.16 473.44 278.02
439.62 509.3 386.58 319.32 193.78 432.32 358.84 280.72 388.52 343.54
C 79.52 0 0 0 0 0 0 0.02 0 0.02 0 0 0.2 0.02 0 0 481.12 0.04 0 0.06
◦ 行 = 単語
◦ 列 = トピック
◦ 値 = 平均出現回数（分母は集計対象の反復回数）
◦ 各行の合計 = 文書集合でのその単語の出現回数
◦ すべての要素の合計 = 文書集合の延べ単語数
72. PLDA の実行（後半）
model.txt を使って文書のトピックを推定する
2014/6/20 社内勉強会資料 72
$ ../plda/infer ¥
--alpha 0.1 ¥
--beta 0.01 ¥
--inference_data_file tf.txt ¥ # 入力ファイル
--inference_result_file topics.txt ¥ # 出力ファイル
--model_file model.txt ¥ # モデルファイル
--burn_in_iterations 10 ¥
--total_iterations 15
◦ topics.txt は「各文書がどのトピックを何個持っているか」
◦ これを特徴量にできる
73. 各文書のトピック分布
各文書からどのトピックが何回出たか
2014/6/20 社内勉強会資料 73
$ head –n 5 topics.txt
0 0 0 0 0.8 0.8 0 0 0.2 0.2 0.8 0.4 0.2 31.8 2 0 20.6 0.6
24.4 0.2
0 0 0.8 1.8 1 0 0 1 0 0 18.8 0 0 17 0 26 0 0 0.8 2.8
0 0 0 0 0 0 0 0.2 0 0 0.2 0.6 0 27.4 0 0.6 10.2 0 15.2 7.6
3.4 7.8 0 0 0 0 0 0.2 0 5 3.6 0 0.6 2.4 0 0.8 0.4 0 40.8 26
0 0 0 0.4 0 0 0 0 0 0 0 0 0.2 51 0 0.6 0.2 0.2 4.8 4.6
◦ 行 = 文書
◦ 列 = トピック
◦ 値 =平均出現回数（分母は集計対象の反復回数）
◦ 各行の合計 = その文書の延べ単語数
◦ すべての要素の合計 = 文書集合の延べ単語数
74. トピック空間上の距離
数学的に妥当なやり方は・・・
1. 文書のトピック分布から確率分布を作る
2. 確率分布間の「距離」を計算する
2014/6/20 社内勉強会資料 74
$ ../scripts/calc_topic_probability.awk -valpha=0.1
<topics.txt >probs.txt
◦ 文書のトピック分布 = 各トピックの出現回数を合計で割る
◦ ただしパラメータ alpha を各トピックの出現回数に足す
$ (head -n 1000 probs.txt | tail -n 1; cat probs.txt)
| ../scripts/calc_js_divergence.awk | paste - title-
5000.txt | sort -gsk1,1 | head
◦ 確率分布間の「距離」には JS ダイバージェンスというのを使った
◦ ほかにも色々な「距離」が提案されている
75. トピック空間で文書推薦
前のスライドの実行結果
2014/6/20 社内勉強会資料 75
$ (head -n 1000 probs.txt | tail -n 1; cat probs.txt)
| ../scripts/calc_js_divergence.awk | paste - title-
5000.txt | sort -gsk1,1 | head
0 講座派
0.0981113 リピエーノ
0.108711 東洋哲学
0.1173 デンマーク一周
0.117551 もつ
0.121794 スタニスワフ
0.124586 東進ブックス
0.12676 新版画
0.135116 ピアノソナタ第9番 (スクリャービン)
0.140275 ドワーフ
