WikipediaからのSolr用類義語辞書の自動生成

1. 関口宏司＠ロンウイット

7. 辞書型コーパス（見出し語,説明）× M 項目設定ファイル＜類義語知識の獲得＞すべての見出し語に関し以下をループ処理 Lucene/Solr インデックス 1. 類義語候補tBの同定インデックス作成 2. 見出し語tAと類義語候補tBの類似度S(tA, tB)の計算 3. 類似ならば出力 • • • 説見見明出出しし語語の読 CSVファイルみ Copyright (c) 2012 RONDHUIT Co.,Ltd. 7

12. CN なしありあり類似度計算ありありあり min.score 0.004 0.004 0.002 抽出件数 14,065 11,219 11,282 誤りの例国道250号, 国道2号古代エジプト文学, コプトビアホール, ビール（精度 0.40 0.58 0.79＊２再現率 0.80 1.00 1.00） F値 0.53 0.73 0.88 （参考＊１）処理時間(sec) （未計測） 11,018 8,783 （＊１）プログラム実行中に他の処理を並行して行っていたため、あくまでも参考値である。（＊２）こちらも、サンプル数が非常に少ないので、あくまでも参考値である。（注）類似度計算ありの場合、特徴ベクトル算出のための各種パラメータは： dicword.acronyms.vector.min.tf=2 dicword.acronyms.origin.vector.size=40 dicword.acronyms.user.docs.size=10 dicword.acronyms.user.vector.size=10 Wikipedia項目総数（=M）：848,970 Copyright (c) 2012 RONDHUIT Co.,Ltd. 12

16. ジャンル見出し語類義語文化／芸能サンデージャポンサンジャポナインティナインナイナイエレファントカシマシエレカシオリエンタルラジオオリラジテツandトモテツトモモーニング娘。モー娘, モー娘。ロンドンハーツロンハープリンセス・プリンセスプリプリ外国人タレント外タレ週刊少年チャンピオン週チャン週刊少年マガジン週マガ東京スポーツ東スポゴーマニズム宣言ゴー宣 Copyright (c) 2012 RONDHUIT Co.,Ltd. 16

18. ジャンル見出し語類義語IT File Transfer Protocol FTP World Wide Web WWW Document Object Model DOM Read Only Memory ROM Cascading Style Sheets CSS Domain Name System DNS Local Area Newtowk LAN ワードプロセッサワープロフリーソフトウェアフリーウェア OSI参照モデル OSIモデルコピー・アンド・ペーストコピペブックマークブクマスラッシュドットスラド Copyright (c) 2012 RONDHUIT Co.,Ltd. 18

25. クラス名用途MappingCharFilter 形態素解析器JapaneseTokenizer 見出し語の読み変換(GosenTokenizer)IndexReader 見出し語や類義語候補の探索Terms 記事中のタームの出現回数のカウントTermsEnumBytesRefIndexSearcher 類義語候補を含む記事の検索QueryTopDocsBits Luceneドキュメントの死活確認PriorityQueue 記事特徴ベクトルの抽出 Copyright (c) 2012 RONDHUIT Co.,Ltd. 25

WikipediaからのSolr用類義語辞書の自動生成

KojiSekiguchi

Transcript