<< MBAセットアップ備忘録その2 | top | 複数辞書の読み込み機能追加(仮) >>

スポンサーサイト

一定期間更新がないため広告を表示しています

スポンサードリンク | - | | - | - | - | - |

辞書のjarファイルからの分離

ひさびさに、lucene-gosenの話題です。

lucene-gosenはjarファイルに辞書も同梱されており、jarファイルをクラスパスに取り込むだけで、
簡単に形態素解析器が利用できるといお手軽さがあり、便利です。

ですが、以前カスタム辞書の登録について記事を書いたように、カスタム辞書の登録は思いのほか手間がかかります。
lucene-gosenのソースをダウンロードし、lucene-gosenを一度コンパイルし、カスタム辞書のcsvファイルを作成し、カスタム辞書を取り込んだ辞書のバイナリを生成し、最後にjarファイルにするという作業です。(書くだけでいやになってきました。。。)
さらに作成したjarファイルをSolrや各プログラムに再度配布するという具合です。

そこで、辞書ファイルの外部化ができないかという話があがっていました。
すこし時間ができたので、山積みになっているissueを横目に軽く実装をしてpatchをissueにアップしました。

機能としてはごく簡単で、JapaneseTokenizerのコンストラクタに辞書のディレクトリ(*.senファイルのあるディレクトリ)を指定可能にしただけです。
また、JapaneseTokenizerFactoryでもdictionaryDir属性で指定可能になっています。
まずは、コンパイルの方法から。
trunkをSVNでcheckoutし、issueにあるpatchをダウンロードして適用します。(svnのチェックアウトについてはこちらを参考にしてください。)
$ cd lucene-gosen-trunk
$ patch -p0 --dry-run < lucene-gosen-separate-dictionary.patch
$ patch -p0 < lucene-gosen-separate-dictionary.patch

次に、antを実行し辞書なし版のjarファイルをビルドします。
$ ant nodic-jar
これで、dictディレクトリに「lucene-gosen-1.2-dev.jar」というjarファイルが出来上がります。
(※ただし、これだけでは動作しないので、別途辞書のコンパイルは必要です。)

次に、指定の仕方です。JapaneseTokenizerのコンストラクタは第3引数に辞書のディレクトリ(フルパスor実行ディレクトリからの相対パス)を渡すだけです。
  Tokenizer tokenizer = new JapaneseTokenizer(reader, compositeTokenFilter, dictionaryDir);

最後に、Solrのtokenizerタグでの指定方法です。
    <fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100">
    <analyzer>
        <tokenizer class="solr.JapaneseTokenizerFactory" dictionaryDir="/hoge/dictionarydir"/>
    </analyzer>
    </fieldType>


以上が、簡単な設定の仕方です。なお、辞書を内包したjarファイルでもdictionaryDirは利用可能です。優先度としては、dictionaryDirが指定されている場合はdictionaryDirを探索しファイルがなければRuntimeExceptionです。指定がnullもしくは空文字の場合はjarファイルの辞書の読み込みを行います。


次に利用シーン、制限事項についてです。
利用シーンとしてはカスタム辞書を定期的にメンテナンス(追加更新)しながらSolrを運用するというのが想定されます。定期的に辞書の再読み込みをしたい場合です。
利用方法は次のようになります。
  • Solrのマルチコア構成を利用する
  • 各コアごとにlib/lucene-gosen-1.2-dev.jarを用意
  • 辞書の更新が終わったらコアのRELOADを実施

コアをリロードすることで、lucene-gosenが辞書を再読み込みようになります。(現状でも再読み込みするが、jarファイルを再配置しないといけない。)あとは、定期的に辞書ファイルを更新、再構築しコアをリロードすれば、 リロード後に新しい辞書が利用できるという具合です。
(もちろん、辞書更新後に入った単語は辞書更新以前に作成したインデックスにはでてこないですが。。。)
また、コアごとにdictinaryDirを別々に指定することも可能です。
制限事項は次のようになります。
  • マルチコアの設定でsharedLibにlucene-gosenのjarを含まない
  • 同一コア内で異なるdictinaryDirの指定はできない

以上が、辞書の外部ファイル化のパッチについてでした。
少しテストケースを追加したら、trunkにコミットする予定です。興味があれば、パッチを利用してみてください。

SyntaxHighlighterの導入をしないとソースコードが見にくいですね。。。導入を検討しないと。。。どこかにWebサーバ用意しないとダメかも

johtani | lucene-gosen | 10:26 | comments(0) | trackbacks(0) | - | - |

スポンサーサイト

スポンサードリンク | - | 10:26 | - | - | - | - |
Comment









Trackback
URL:

09
--
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
--
>>
<<
--
PR
RECOMMEND
[改訂新版] Apache Solr入門 ~オープンソース全文検索エンジン (Software Design plus)
[改訂新版] Apache Solr入門 ~オープンソース全文検索エンジン (Software Design plus) (JUGEMレビュー »)
大谷 純,阿部 慎一朗,大須賀 稔,北野 太郎,鈴木 教嗣,平賀 一昭
Solr 4系に対応した改訂版を出しました!興味ある方はぜひ。
RECOMMEND
Apache Solr入門 ―オープンソース全文検索エンジン
Apache Solr入門 ―オープンソース全文検索エンジン (JUGEMレビュー »)
関口 宏司,三部 靖夫,武田 光平,中野 猛,大谷 純
RECOMMEND
RECENT COMMENT
  • ポモドーロ回してます。(ポモドーロテクニック入門読みました)
    おーたに (05/07)
  • Lucene 4.3.0のChangesにあるChanges in backwards compatibility policyが気になったので訳してみた。
    おーたに (04/26)
  • メインMBAをMountain Lionにアップデート(いろいろ確認中)
    おーたに (09/04)
  • メインMBAをMountain Lionにアップデート(いろいろ確認中)
    m_nori (09/03)
  • メインMBAをMountain Lionにアップデート(いろいろ確認中)
    おーたに (09/03)
  • メインMBAをMountain Lionにアップデート(いろいろ確認中)
    ho4kawa (09/03)
  • メインMBAをMountain Lionにアップデート(いろいろ確認中)
    おーたに (09/03)
  • メインMBAをMountain Lionにアップデート(いろいろ確認中)
    まろか (09/03)
  • Lucene/Solr 3.6.0リリース / 「Apache Solr入門」のサンプルのKuromojiとlucene-gosen対応(1章)
    おーたに (08/07)
  • Lucene/Solr 3.6.0リリース / 「Apache Solr入門」のサンプルのKuromojiとlucene-gosen対応(1章)
    moco (08/07)
RECENT TRACKBACK
MOBILE
qrcode
OTHERS