WikipediaからのSolr用類義語辞書の自動生成

関口宏司＠ロンウイット

# 類義語知識
見出し語１, 類義語11, 類義語12
見出し語２, 類義語21, 類義語22, 類義語23
：

Copyright (c) 2012 RONDHUIT Co.,Ltd. 2

自動車損害賠償責任保険, 自賠責保険

すべての運転者は、自賠責保険への加入が義務づけられています。

すべての運転者は、自動車損害賠償責任保険への加入が義務づけられています。


見出し語（＝原型語）類義語（＝略語、日本語版頭字語）
入国管理局入管
文房具文具
社員食堂社食
国際連盟国連
リポビタンD リポD
ベルサイユのばらベルばら
木村拓哉キムタク
Universal Serial Bus USB
（日本語における頭字語の例）


辞書型コーパス

（見出し語,説明）× M 項目設定ファイル

＜類義語知識の獲得＞
すべての見出し語に関し以下を
ループ処理
Lucene/Solr
インデックス 1. 類義語候補tBの同定
インデックス作成
2. 見出し語tAと類義語候補tBの
類似度S(tA, tB)の計算
3. 類似ならば出力
•
•
•

説見見
明出出
しし
語語
の
読 CSVファイル
み


（＊１）本テキスト執筆時においては、諸事情により実装を省略

wX(t)は記事AX中のタームtの重みで、tfX(t)とidf(t)を用いて以下のように算出される。

fX(t)は記事AX中にタームtが
出現する回数。
numDocsは記事のエントリ数(=M)。
docFreq(t)はタームtを含む記事数。


CN なしありあり
類似度計算ありありあり
min.score 0.004 0.004 0.002
抽出件数 14,065 11,219 11,282
誤りの例国道250号, 国道2号古代エジプト文学, コプトビアホール, ビール

（精度 0.40 0.58 0.79
＊
２再現率 0.80 1.00 1.00
） F値 0.53 0.73 0.88
（参考＊１）
処理時間(sec) （未計測） 11,018 8,783

（＊１）プログラム実行中に他の処理を並行して行っていたため、あくまでも参考値である。
（＊２）こちらも、サンプル数が非常に少ないので、あくまでも参考値である。

（注）類似度計算ありの場合、特徴ベクトル算出のための各種パラメータは：
dicword.acronyms.vector.min.tf=2
dicword.acronyms.origin.vector.size=40
dicword.acronyms.user.docs.size=10
dicword.acronyms.user.vector.size=10 Wikipedia項目総数（=M）：848,970

ジャンル見出し語類義語
生活ファミリーマートファミマ
ファミリーレストランファミレス
ミスタードーナツミスド
簡易保険簡保
京浜急行電鉄京急
セロハンテープセロテープ
油揚げアブラゲ
エビのチリソースエビチリ
ビーフステーキビフテキ, ビステキ
アメヤ横丁アメ横


文化／芸能サンデージャポンサンジャポ
ナインティナインナイナイ
エレファントカシマシエレカシ
オリエンタルラジオオリラジ
テツandトモテツトモ
モーニング娘。モー娘, モー娘。
ロンドンハーツロンハー
プリンセス・プリンセスプリプリ
外国人タレント外タレ
週刊少年チャンピオン週チャン
週刊少年マガジン週マガ
東京スポーツ東スポ
ゴーマニズム宣言ゴー宣

人名藤岡琢也フジタク
柴田錬三郎シバレン
ケンドーコバヤシケンコバ
木村拓哉キムタク
浜田省吾浜省
松本潤松潤
堀内健ホリケン
豊川悦司トヨエツ
松山ケンイチ松ケン
松平健マツケン
ブラッド・ピットブラピ
ジョニー・デップジョニデ


IT File Transfer Protocol FTP
World Wide Web WWW
Document Object Model DOM
Read Only Memory ROM
Cascading Style Sheets CSS
Domain Name System DNS
Local Area Newtowk LAN
ワードプロセッサワープロ
フリーソフトウェアフリーウェア
OSI参照モデル OSIモデル
コピー・アンド・ペーストコピペ
ブックマークブクマ
スラッシュドットスラド


組織名経済産業省経産省
農林水産省農林省, 農水省
テレビ東京テレ東
マツモトキヨシマツキヨ
生活協同組合生協
長期信用銀行長信銀, 長銀
近畿日本ツーリスト近ツリ, 近ツー
東京電力東電
関西電力関電
日本弁護士連合会日弁連
日本体育大学日体, 日体大
日本ペイントニッペ

サイエンス／エ線型部分空間線型空間
ンジニアリング
ハミルトン閉路問題ハミルトン路問題
エネルギー保存の法則エネルギー保存則
エンジニアリングプラスチックエンプラ
電気分解電解
有機化合物有機物
塩化カルシウム塩カル
水素爆弾水爆


建築／施設丸の内ビルディング丸ビル
新丸の内ビルディング新丸ビル
大阪シティドーム大阪ドーム
ナゴヤドームナゴド
ゲームドラゴンクエストドラクエ
オンラインゲームオンゲー
スーパーマリオブラザーズスーマリ
スーパーファミコンスーファミ
NINTENDO64 N64
ウイニングイレブンウイイレ
一気通貫一通


ビジネス約束手形約手
為替手形為手
外国為替外為
社会保険労務士社労士
投資信託投信
スポーツセントラル・リーグセ・リーグ
パシフィック・リーグパリーグ, パ・リーグ
セレッソ大阪セ大阪
グランドチャンピオン決定戦競走グラチャン
日本テレビ盃日本テレ盃


表記揺れスパゲッティスパゲティ
葉巻きタバコ葉巻タバコ
接ぎ木接木
インディペンデントインデペンデント
釣り竿釣竿
踊り子踊子


見出し語獲得できない類義語誤り抽出
スマートフォンスマホ（抽出できない）
「スマフォ」は抽出でき
た
マンチェスター・ユナイマンU
テッドFC
酒井法子のりピー
Mr.Children ミスチル
国際通貨基金 IMF
こちら葛飾区亀有公園前こち亀
派出所
十六進法十進法
キリン一番搾り生ビールキリンビール
準々決勝準決勝


クラス名用途
MappingCharFilter 形態素解析器
JapaneseTokenizer 見出し語の読み変換
(GosenTokenizer)
IndexReader 見出し語や類義語候補の探索
Terms 記事中のタームの出現回数のカウント
TermsEnum
BytesRef
IndexSearcher 類義語候補を含む記事の検索
Query
TopDocs
Bits Luceneドキュメントの死活確認
PriorityQueue 記事特徴ベクトルの抽出


WikipediaからのSolr用類義語辞書の自動生成

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (14)

More from Koji Sekiguchi

More from Koji Sekiguchi (20)

WikipediaからのSolr用類義語辞書の自動生成