前にも一度読んだのですが、改めて買ってApache Solr入門 ―オープンソース全文検索エンジンを読みました。この本があれば、一通り検索エンジンをセットアップして、インデックスを作って検索できるようにして、データが更新されるようにしてというところまでできるんじゃないでしょうか。いくつかの言語向けに検索サイト構築のサンプルも有るし、検索だけじゃないナビゲーションやサジェスト／スペルチェックなど、いくつかの機能にも触れられていて至れり付くせりな感じです。日中韓の文字に関しては 2-gram、 ASCII 文字に関しては空白区切りにするトークナイザが用意されています。これを利用するには schema.xml 内の所定の fieldType 内の analyzer 内の tokenizer の class 属性を "solr.CJKTokenizerFactory" を指定します。
...
<fieldType name="text_cjk" class="solr.TextField" positionIncrementGap="100" >
<analyzer>
<tokenizer class="solr.CJKTokenizerFactory"/>
</analyzer>
</fieldType>
...
lucene-gosen はlucene-gosen - Japanese analysis for Apache Lucene/Solr 3.1 and 4.0 - Google Project Hostingにて開発されている Lucene / Solr 用の形態素解析器です。
lucene-gosen + Solr 3.1 | 関口宏司のLuceneブログで詳細が説明されていますが、僕は ant を実行せずにDownloadsから jar ファイルをダウンロードして /usr/local/Cellar/solr/3.1.0/libexec/example/solr/lib に設置しました。これを使うには、 tokenizer の class 属性に "solr.JapaneseTokenizerFactory" を指定します。
...
<fieldType name="text_gosen" class="solr.TextField" positionIncrementGap="100">
<analyzer>
<tokenizer class="solr.JapaneseTokenizerFactory"/>
</analyzer>
</fieldType>
...
Kuromoji はATILIKA Community Innovationで開発されている形態素解析器です。 Kuromoji はユーザ辞書を使って形態素解析の結果をカスタムできたり、複合語を分割して部分に対するマッチングができます。
Downloads - ダウンロード - Koromoji - Confluenceの kuromoji-solr の Binary distribution のファイル（zip または tar.gz）をダウンロードして展開し、 lib/kuromoji-* を /usr/local/Cellar/solr/3.1.0/libexec/example/solr/lib に設置しました。これを使うには tokenizer の class 属性に org.atilika.kuromoji.solr.KuromojiTokenizerFactory を指定します。
<fieldType name="text_kuromoji" class="solr.TextField">
<analyzer>
<tokenizer class="org.atilika.kuromoji.solr.KuromojiTokenizerFactory"
mode="search"
user-dictionary=""/>
</analyzer>
</fieldType>
$ brew install solr
==> Downloading ftp://ftp.fu-berlin.de/unix/www/apache/lucene/solr/3.1.0/apache-
######################################################################## 100.0%
==> Caveats
To start solr:
solr path/to/solr/config/dir
See the solr homepage for more setup information:
brew home solr
==> Summary
/usr/local/Cellar/solr/3.1.0: 2455 files, 125M, built in 2 seconds
$ cd /usr/local/Cellar/sorl/3.1.0/libexec/example $ java -jar start.jar ... 2011-04-22 00:27:42.885:INFO::Started SocketConnector@0.0.0.0:8983
管理画面 http://localhost:8983/solr/admin/ をブラウザで閲覧。
評判が良いようなのでプログラミング Google App Engineも読んでみました。 Python / Java のどちらを使う人にも役に立つように、項目ごとにそれぞれの言語環境向けの説明がされています。データストア関連の記述が結構多く、確かになかなかためになると思いました。僕は Java の箇所は読み飛ばして読む分にはそれで良かったのですが、後から「あのことってどこに書いてたっけ？」と探すときにちょっと面倒に感じます。また、誤字脱字が結構多く、感覚的には2,3ページに1つは誤字があるんじゃないかなという感じがしました。実際には5ページに1つくらいかもしれません。内容自体は悪くないと思うので、そこがより一層残念に思いました。
Android のバージョンは Xperia で 2.1 の配布が始まり、 Desire では 2.2 となっていて、そろそろ 2.3 が出ると言われていますが、Android 2.1 プログラミングバイブルを読みました。同じシリーズのAndroid 1.5 プログラミングバイブルは持っているのですが、新しく追加された API についてはその旨が記されていて丁寧であるとは思います。一方でバージョンが頻繁に上がるものの技術書というのは風化が激しくて大変だなとも思いました。新しく追加され部分だけをちょっと安めに売ってくれるとかあれば良いな。