組み込み型全文検索エンジンSenna

ないようなので立ててみました。

http://dev.razil.jp/project/senna/

関連スレッド

Namazu全文検索システム
http://pc8.2ch.net/test/read.cgi/php/992477868/

…で、どうやって入れたらいいねん
誰か教えてくれ！

入れ方はこうらしい。

http://qwik.jp/senna/8.html

これはもしかして
今のところRubyのみ？

PerlとMySQLのバインディングもあるよ。
はてなで使ってるのはそれか、さらにカスタムしてるかも。

すごい使い勝手はよさそうなんで、PHPとPostgreSQLのバインディングもよろしく。＜ブラジルの中の人
いざとなれば、他のPECLの見様見まねで自分でPHPバインディングつくるかも。

GPLのライブラリはPHPライセンスと衝突するからまずいという議論が
php-dev であったよ。それで Rast のモジュールもお蔵入りになり、
namazu も pecl から撤退した。

やっぱりGPL絡みで本家に期待するのは難しいですね。
自分でｺｿｰﾘ作ってｺｿｰﾘ使うか。

Namazuは将来libnmzをLGPLにするという話があるみたいだけど
分かち書きインデックスの精度に限界を感じてるので、それでPECL復帰しても使うかは微妙。
RastかSennaがいいなあ。

しかしEstraierも含め国産全文検索エンジンは何で揃いも揃ってGPLなんだろ。
コアがLGPL/BSDLで、フロントエンドの実装がGPLなら、ぐっと使いやすくなるのに。

# Namazuを引き合いに出すけど、わざわざLGPL版を書き起こさなくてもソースコードの著作権者が
# 「LGPLにライセンス変更です」って宣言すればいいだけと思う。

Estraier はコアのLGPLであるところのQDBMライブラリのGPLな全文検索
フロントエンドな訳だけどね。
モジュールが書ける腕なら同等機能を作るのは問題ないはず。ソース見てみ。

Rast も XMLRPC 経由で使えばライセンス問題は起きないから、
仕様が公開されれば php からも使えるでしょ。

あと、Estraier の次バージョンの HyperEstraier はライブラリ形式で LGPL。


著作権者って送ったパッチが取り込まれた奴全員だよ?
一人でもヤダっていったらダメな訳だし、そもそも連絡取れないとおもう。

msearchで十分だなー…。
http://www.kiteya.net/script/msearch/

>>8
まだ見てるかな。
Rast がライセンス変更になったよ。BSDライクな奴だってさ。
そんで、phpモジュールも公開再開だって。

個人的には、そろそろ公開されそうなHyperEstraierのノードAPIに
期待してるわけですが。

sennaもLGPLになりましたよ

APIを見ると、文書の属性は保存できないんだね。
まぁべつのBDBなりなんなりに入れろということか。

文書管理の面からすると、RastとかHyperEstraierに比べてそのへんが面倒?
逆に文書管理に縛られずに自由にいろんなアプリに組み込めるのがいいところなのかな。

独自パッチバージョンのMeCabが必要という時点で、
お試しで軽く触ろうという意欲が無くなるな。
sennaにしか効果ないパッチじゃなく、MeCab全体に役立つパッチとして
MeCab公式に取り込んでもらいたいところだな。

使ってみるか

保守

>>14
MeCab0.9で取り込まれたっぽいからpatchはもういらないぽ

sennaのMLのログ見てたら
ひろゆきの投稿発見した
http://lists.sourceforge.jp/mailman/archives/senna-dev/2005-October/000140.html
ひろゆきって自分で鯖いじったりもしてたのね

雑誌記事が追加されてるな。
http://qwik.jp/senna/publication.html

MySQLバインディングのところ、
「skipmode-patchについてはここでは触れません。」
って書いてるけど、
どこで触れてるの？

http://lists.sourceforge.jp/mailman/archives/senna-dev/2006-March/000208.html

発見した。
「limitで指定されたoffsetまで冗長なIOを抑止する」んだね。
で、2ndパッチを当てたら特にはいらないと。

なんでこのスレ書き込み少ないん？
普通に便利だと思うんだが…

>>22
使用する機会が少ないから。

ホームページならGoogleでいいし、blogなどの検索機能でも十分だし。
それ以外ではSQLのlike検索で十分なパフォーマンスになる程度の量しかない。

PHPでSennaを使ってHTMLを検索するときに、インデックス生成はどうやってやればいいんでしょうか？
MySQLを使用したものしか製作したことがないので…

>>24
PHP bindingを使う、
http://qwik.jp/senna/PHP_binding.html
のだが、PHPバインディングの開発は止まっているみたい。

>>24
これって24さんかな？
http://xoopscube.jp/modules/xhnewbb/viewtopic.php?topic_id=3443&post_id=14886

>>22
Mysqlの全文検索がUTF8対応だからじゃないかな
N文字でも分かち書きでもいいけどとにかく適当に分割してやれば日本語でも検索できる
じゃあSennaって？ていう感じじゃないだろうか

っていうか2ch絡みの企業の製品なんて使いたくもない。

Lucidaって中身sennaだったんだね

それをいうならLudiaだろ・・・

>>http://pc8.2ch.net/test/read.cgi/php/1157467026/382
>382 名前：nobodyさん sage 投稿日：2006/10/05(木) 14:59:05 ID:???
>MySQLならMeCabとかで分かち書きして、UTF-8でFULLTEXTに放り込む手もある。


こんな事を書いてたら某所で取り上げられてて驚いた。（適当に要約し引用）
>MySQL＆PostgreSQLの全文検索は転置インデックスだが、Sennaは完全転置インデックスを採用している。
>完全転置インデックスの採用によって、Sennaはフレーズ検索する事ができる。

>>27
フレーズ検索に対応ってのは結構大きなポイントだねぇ

>>30
間違えた

素直な30に萌えた。

1.0完成記念age！
少し前の使ってるけど
入れ直した方がいいのかな？

>>25
期待していい？

>>34
入れなおして、インデックスを作りなおすといいかも。
安定性が増している・・・はず・・・

phpバインディングまだぁ？

この前、ぐにゃらくんが PHP extensionの書き方勉強してるっていうんで
期待してたのだけれども。

>>37
rm -rfで書き途中のヤツを消してしまった。
今は書き直して、basic APIまでできてる。

大量のデータをDBも使わずにいじるケースが想像しにくいんだけど
PHPバインディングってどういう用途で使うの？

>>39
んだ。特に今のSennaはストレージを持っていないから、
ドキュメントの更新は古いドキュメントの内容を渡さないといけない。
となると、実用的なアプリを書くとなると、
やはりBDBとかsqliteに別途ドキュメント情報を持っておく必要があると思うんだけどなあ・・・

>>37
というわけで、作り方だけ公開してみた。
地味にAPIを増やしていく予定。

現在PHP＋MySQLでシステム運用してるけど、もしも導入が超簡単なら導入したい。
例えばsennaのファイルをどっかに置いて、ちょこっと設定ファイルをいじるだけでOK、とか。
それも現在のシステム構成に影響出さずに導入できるなら・・・

それならお金出してでも導入したい。
３万までなら出す。

3万かよwww

パッケージソフトとして３万ならそこそこ高価だろ。
別にたいした規模のソフトじゃないし。

>>42
うひひ。果報は寝て待て。
>>44
オープンソースなので、勝手にrpm作って売ってもOKですよ。

>>45
＞オープンソースなので、勝手にrpm作って売ってもOK

訴えられても知らんよ・・・

訴えられるわけないだろw
元からそういうものなんだから

>>47
じゃあ、お前が売れば？

オープンソースの定義・概念や意味を本当に理解しているのなら、ね。

>>42
MySQLのリビルドが必要だから超簡単とは言いづらい．
dump→リビルド→データ流し込むの作業が簡単かどうか．

LudiaはPostgreSQLのリビルドの必要なく組み込めるらしい．

>>49
NTTデータ社員乙

>>49
＞dump→リビルド→データ流し込むの作業が簡単かどうか

どっちって言うと、超難しい＆めんどくさい。
dumpと流し込みはいいとして、リビルドってのが激しくイヤだ。
絶対に何かトラブルが発生するのが目に見えている。

>>50
だったら何もしないのがいいと思うYo!

>>51
うん、だからもっと簡単に導入できるソリューションが出るまで我慢する！

>>39
ドキュメントは MySQL にもってるけど、Senna を MySQL に組み込むのはちょっと嫌というケースかな。
PHP バインディングで MySQL 上の ID とからめてインデックスを作っておいて、検索→ドキュメントは MySQL から引っ張り直す、みたいな。

しかし、PHP の検索部分を mod_php とかで動かすと、インデックスの読み込みで httpd のプロセスが肥大化したりしないのだろうか。
あと、ロードのオーバーヘッドとかも気になる。

そういう点では、PHPバインディングに実用性あるのかは俺も聞きたい。

>>53
なるほどね…疎結合でいいならそういう用途もあるなあ。

プロセス肥大化については、
インデックスファイルはmmapで読み込まれるので
まあ大丈夫だとは思います。

ロードのオーバヘッドはある程度はあるかなあ。
mod_phpにもなんらかの形でインスタンスを保持しておく方法があると思うので、
それを利用すればイケるんじゃないかな…（適当）

>>54
例えば mod_php を動かしている httpd のプロセスが複数動いているとして、インデックスをロードする領域は共有されてるって事ですか？

>>55
そのとおりッ!!!

なるほど、ありがとうございます。

http://search.yahoo.co.jp/promo/searchbox.htmlにYahooの検索エンジン(html用がある)

)の位置間違えたorz

世界の権威であるCOMDEXが「21世紀のスタンダード」に認定したソフトウェア、
それがホームページ制作王である。ホームページ制作王に不可能はない！

標準外のイカサマ商品の売買で生計を立てるインチキ企業工作員が、
本当は血縁でもセレブでもなんでもない「叶姉妹」や、データを捏造した社員は
月曜朝に株で大儲けしている「あるある大辞典」にコロっと騙される日本人の気質を科学的に分析し、
ホームページ制作王を使ったことのない者や、使いこなせなかった者を煽動し、
彼らに八つ当たりのデタラメな風評をデッチ上げさせたために、我が国はホームページ制作王の
標準化に失敗し、21世紀も7年目に入った今、我が国のオーソリューションは世界に大きく遅れを取っている。

世界標準・ホームページ制作王の普及を妨げる、あらゆる工作活動を糾弾せねばならない。
制作王の普及によって、標準未満のオーサリングツールしか作れない連中を淘汰しなければならない。
そして、我が国は、１日も早くホームページ制作王の標準化を達成し、世界に追いつかねばならない。

世界が認めたホームページ制作王
http://pc11.2ch.net/test/read.cgi/hp/1144987720/

http://qwik.jp/senna/IndexFile.html
≫インデックスのサイズ
≫n-gramインデックスなら文書の賞味サイズの2.5倍程度になります。
とあるんですが、2GBのテーブルなら約5GBのファイルが出来るってこと
なのでしょうか？

新しいサブプロジェクトできたみたい
http://qwik.jp/tritonn/

OSC2007のSennaのプレゼン見てきたけど、かなりおもしろかった。
その日のセッションの中で一番よかったかも。

pearのインストールと同じくらい簡単になってくれないと、導入する気が起きない。

>>62

おお！最近Senna、熱いっすねー。

>>61
2GBの文書だったら、3GBくらいになると思う。経験的に…

>>62
もれもOSC2007見てきたけど、なかなか良かった。
今後tritonnのドキュメントが充実していけば嬉しいな。

でも、確かにMeCabとSenna入れて、それからMySQLにパッチあてて
コンパイルしないといけないってのはメンドイな。。。。

シェルから「senna install」だけで使えるようになってくれるなら、鯖１台につき１万ずつ払う。

そのsenna コマンドはどうやってインストールするんだ。

$ sudo apt-get install senna
か
$ cd /usr/ports/database/senna && sudo make install
とかじゃだめなんか

>>68
「たとえば」の話にマジレスするなよ。
要するに簡単にインストールできないかな、ってだけだ。

激速です
休み一日潰したかいがあったよ

>>70
具体的に何がどれくらい変わったのかね。

0.01秒が、なんと0.001秒！

>>71
7秒平均かかってたクエリーが.5秒以下になった
Webベースのアプリなんでこれで十分す

>>72
mysqlのコマンドってmsecレベルの計測出来るの？

どれぐらいのデータ量で7秒が.5秒になったのか教えてくれると
俺はきっとハッピーな気分になれるんだ

like検索してたのをsennaに置き換えたらそうなるよね
10万件くらいあればlike検索で7秒くらいかかるんじゃない？

全然具体的じゃなかったですね、、
150万件でテーブル[int(10),text]サイズが1.5Gくらいです
検索は75の書いておられる通りで、
MATCH(title) AGAINST('+Sagasu -Iranai' IN BOOLEAN MODE)
みたいなのをlikeでやってました

“これで十分す”と書いておきながら構築中に気になった
（スレ違いな）質問いいでしょか？
http://qwik.jp/senna/mysql_configure.html
CPU: Intel(R) Pentium(R) D CPU 3.20GHz stepping 04
なのですが、configure時の-mtuneってどれがよかったんでしょ？
あと、MySQL+PHPではsmp対応カーネルを使わないほうがいい
とググって得た情報なのですがこれは正しいですか？

というような質問をしているものですのであまり参考にならないとは
思いますが。。

そういえばsennaがINDEXはったテーブルってdrop出来ない、、
ググると結構前に「直したよ」っていうのが見つかったんだけど
あ、tritonn-1.0.0.mysql-5.0.37.senna-1.0.2でインストールしました
（ブラジルの中の人ってここ見てるんでしょか？）

逆に言えば、そんなにレコードが莫大でないケース（たとえば社内イントラブログとか）なら、
無理にsenna導入しなくてもLIKE検索で十分ってことだな。。。

>>67
マジ!? 作業しにいきますよ…
手で入れるけどさ。

>>68
Senna本体のインストールは難しくないんだけどね…
MySQL + SennaをDebianやFreeBSDの公式パッケージにしたいです。
パッケージ化の実作業はともかく、
メンテナとしてパッケージを投稿するための
How Toを勉強する時間が足りないです。

>>72
うひひ。大規模サイトだと、それ結構効いてくるんすよ、
とマジレス。

>>76
SMPじゃないほうがいいのは、
多分InnoDBのことじゃないかしら。詳しくないけど。
OpteronとかNoconaとかガンガン指定して
PHPフロントのシステムを動かしているけど、問題ないよ。

>>77
直ってるとは思うけど、
MyISAMのテーブルのドロップなら、
最悪ファイルをすべてrmすればOK。

tritonn-1.0.0はdrop indexで
一時インデックスが残るバグがあるけれど、
これも一時インデックス(#で始まるファイル名を持つ)
をrmすればOK。1.0.1を急いで入れる必要なし。

>>78
そのとおり。
将来的に困ったら導入を検討してくだせぇ…
(媚びた目をして)

>>79-80
aptで入るとうれしいですね
あといろいろ教えていただいてありがとうございます
一時インデックスはちょっと気になっていました　1.0.1でてたんですね

>>78
速度面以外でもFULLTEXT INDEXになってクエリーがシンプルになったり
MeCABの恩恵かと思いますが、カタカナや英数記号など
半角全角・大文字小文字を意識せずに検索出来るので
その辺の処理を省けたりで文書量が少ないものでも
利用方法によってはメリットがあるような気がします

rpmパッケージ作ってくれたらお金払いたい。

SennaインストールのためMySQLにパッチ当てる
↓
MySQLバージョンアップ
↓
MySQLにパッチ
↓
MySQLバージョンアップ
↓
MySQLにパッチ
↓
MySQLバージョンアップ
↓
MySQLにパッチ

MATCH (title,body) でエラーしたり全レコードHITしたり

それはない

>>81
あいあいー。aptで入るように頑張りたい。
正規化は自前でやっているので、MeCabなしでも恩恵を受けられます。

>>82
CentOS 4.4でx86_64でよければ作るよ！
RedHat系でi386環境がなくて…

>>83
マンドクセーよね。
やはり公式パッケージ化を…

ちなみに、Sennaの通常のバージョンアップがあっても
MySQLの再コンパイルは必要ねっす。
でも、Tritonnのバージョンアップがあったら
再コンパイルが必要っす。

MySQL 5.1以降のplugin storageでなんとかなるか、とも思ったんだけど、
やはり高速にするには本体に手を入れないといけないのでアウト。

Ludiaは本体にパッチ入れなくていいけど、
それでもPg 8.1からPg 8.2のバージョンアップで動かなくなったしなあ…
ま、Pg 8.1->8.2は中身変わりすぎなんだけど。

>>84
文字コード間違えてるとそんな挙動もあるかも。

>>86
Fedora用のパッケージ作って売ったら儲かると思うよ。

RHEL 用ならともかく Fedora 用じゃ儲からないだろ

Fedora儲かるよ。ユーザー数多いし。

Senna, Tritonn, Ludia の Portfile (MacPorts) 書いたよ。
ttp://lapangan.net/darwinports/index.php?cmd=read&page=PrivatePortfile%2FSenna

MeCab のデフォルト辞書を UTF-8 で作成する代わりに lex.c に手を入れて
mecab_new() の引数で UTF-8 の辞書を指定するようにしています。

>>90
おおお！！！ステキだ…

>>90

GJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJ!!!!

なんで、Sennaって、MｙSQLやPostgreSQLの
全文検索機能に公式に採用されないの？

一体なにがじゃましているの？
理解できない。

なんで、一介の日本語検索エンジンがMySQLやPostgreSQLの
全文検索機能に公式に採用されると考えるのか理解できない。
必要な人が組み込めばいいだけ。
英語圏の人がMeCabとSenna入れるなんて考えられんだろ。

Sennaはちょっと前にメジャーバージョンが出たばかりだし、
APIも結構変わってて安定しているとは言いがたい。
実際使ってるが動作はそこそこ安定してるけどね。

例 phpには日本語サポートが含まれている。

今の時代に、日本語サポートが含まれるはずが無いなんて
どういう頭をしているんだ？

ばかじゃねーの・・・・
PHPと同じようにMySQLは日本語サポートしてるよ。
でPHPと同じようにSennaバインディングは組み込まれてないよ。

どういう頭をしているんだ？

> PHPと同じようにMySQLは日本語サポートしてるよ。
そうだな。

だから、
> なんで、一介の日本語検索エンジンが
とか
> 英語圏の人がMeCabとSenna入れるなんて考えられんだろ。
とか、

そういう考えがおかしいと言うことだな。


同じ理屈で、phpも公式に採用しない理由は無いということだな。
まあ、全文検索という機能はデータベースの方が重要だから、
phpよりも先にMySQLやPostgreSQLに採用されるべきだな。

ふーん。
「日本語で高度な全文検索をしたい」という99%以上のユーザに関係ない機能のために
配布パッケージに日本語形態素解析エンジンや日本語の辞書や日本語の検索エンジンライブラリを
含めることなんてありえない話だと思うがな。
あっという間にパッケージの容量とコンパイル時間が5割り増しだ。
まぁ含めろとまでは言ってなくてデフォルトで
--enable-senna --senna-prefix=/usr
とかをサポートしろとかいう話なのかも知れんが。

もっとも各言語の検索エンジンがMySQLに実装されてどの言語でも全文検索がデフォルトで
できるようになったらすごいことだと思うけど。
MySQLはストレージであって高度な検索エンジンではないのでその方向性は限りなく
ありえないものだとは言っておくよ。
必要なユーザが好きな検索エンジンを勝手に組み込めばよい。

別にMeCab使わずに日本語に特化した部分を除いても
Sennaは高速全文検索として利用価値が高いと思うけど。

>>98
すでにMySQLやPostgreSQLにスペース区切りという、
特定の言語に依存した全文検索機能がついている以上、
高度な検索エンジンではないとか言っても説得力が無い。

全文検索が必要かどうかの話はとっくに済んでいる。
英単語区切り以外の区切り方という、国際化対応の話なんだよ。

>>100
> すでにMySQLやPostgreSQLにスペース区切りという、
> 特定の言語に依存した全文検索機能がついている以上、
> 高度な検索エンジンではないとか言っても説得力が無い。
どこが？スコア付けもしない全文検索機能が「高度な検索エンジン」か？
ちがうだろ。