5ちゃんねる⇒WEBプログラミング@5ch掲示板
設定
ダークモード
広告表示
画像・外部リンク

UPLIFT会員は外部リンクへ直接移動します。確認は初期設定でオンです。

機能のオン・オフ

このブラウザ・このサーバーのみ。オフにしても保存済みデータは残ります。

UPLIFT

375コメント113KB

Namazu全文検索システム

垢版
全文検索システム Namazu
http://www.namazu.org/

日本語全文検索エンジンソフトウェアのリスト
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/other-system.html

前スレ http://tako.2ch.net/test/read.cgi?bbs=perl&key=981352718
垢版
Windowsバイナリは????
垢版
>>229-234
ワロタ
垢版
人がいないので話題をふってみる

検索結果について質問なんですけど
ttp://www.kaiho.mlit.go.jp/cgi-bin/namazu.cgi?query=%8B%DF%8AC&max=20&result=normal&sort=score
↑こんな風に検索語句と該当箇所が赤く強調されるのってどうやるんですか?
ttp://www.city.katano.osaka.jp/cgi-bin/namazu.cgi?key=a&submit=%B8%A1%BA%F7%B3%AB%BB%CF%21&whence=0&max=20&format=long&whence=0&dbname=reiki
自分のは↑こんなふうに参照したページの上部しか表示されません。

垢版
返信 [1]
正常に赤強調されるけど?
http://www.city.katano.osaka.jp/cgi-bin/namazu.cgi?query=%B8%F2%CC%EE&whence=0&max=20&result=normal&sort=score&idxname=reiki

NMZ.headにデフォルトで strong.keyword { color: Red; } あるから、
「ちゃんとしたキーワード」なら赤くなるハズ。
垢版
>>240
本当だ・・・キーワードの入れ方がまずかったようです。
自分のnamazuでやり直したらちゃんと表示されました。
無知で申し訳ありません。
垢版
Perl版Namazuをレン鯖に置いてみましたが、
全角文字で検索すると検索語が”%a5%d0%a5%”みたいな感じで文字化けします。
検索結果画面はきちんと表示されますが、検索文字列だけが化けています。

もう一回全角で検索すると文字化けが直ります。1回目だけ必ず文字化けします。
何が原因でしょうか?
垢版
↑うわ、UNIX板に書くつもりだったのに間違えた

ごめんなさい、無視してください。
垢版
検索は問題なく出来るのですが、
ヒットしたファイルが日本語のファイル名だと、
ブラウザ上に表示されているファイル名を
クリックしてもファイルをオープンしません。

検索対象ファイルの、
ファイル名が日本語でも対応してますか?
ちなみにWindows版(2.0.12)です。
垢版
http://suwako.plala.jp/pukiwiki/index.php?%5B%5BPHP%A4%C7Namazu%5D%5D
↑ここ見てnamazuの全文検索システムのソースを入れてみたら
無事に検索は出来るんですが検索された先のリンクがなぜか全てnamazu.phpがある
カレントディレクトリになってしまいます。
これはどうすれば対処することが出来ますかね?
垢版
.namazurc弄ればいんでない
垢版
返信 [1]
namazurcの48行目にあるReplaceを参考サイトを見ながら
いじってみましたがやはり結果は同じです。
一体どこがおかしいんだろう?
例えばnamazu.phpをC:\homeに置いたら
検索結果はちゃんと表示されるんですがリンクが全て
namazu.phpを置いているディレクトリになってしまいます。(この場合はC:\home)
変えるべきところはnamazurcのReplaceのところとは思うんですが
何度変えても同じ結果になってしまいます。
どうすればちゃんとしたリンク先になってくれるかな?

参考にしたサイト↓
http://ponx.s5.xrea.com/hiki/ja/hiki.cgi?xrea_tdiary_namazu
http://you-like.to/nekomimi/works/w2k20001110.html
垢版
>>247
何でだろうね?ところで自鯖でやってるの?
垢版
Replace A(インデックス作成時のパス) B(Aを置換したい文字列)

だよね。ちゃんとそうなってる?
 
垢版
pnamazu.cgiの検索結果に表示される「著者」の欄がウザイのと、
この欄の ${author} が一体何を表示するのかがわからないので
ソースを追跡してみたのですが自分には具体的に読み解くことができませんでした。

sub field_init {
%FieldAlias = (
'author' => 'from' ,
'title' => 'subject' ,
'url' => 'uri' ,
);
あたりまではなんとなく分かるんですが・・・

Perlのすごい人! だれか教えて!
垢版
著者を消したいだけなら NMZ.result をいじったほうが早いよ。
著者がなにかを知りたいんだったらpnamazuではなく、mknmzのほうを解析するよろし。
垢版
.namazurcで

Replace /index.html /
Replace /C\|/namazu/nurupo/ http://hoehoe.ne.jp/~nurupo/

と、2つの置換を行いたいのですが、当然できません。
正規表現が使えるみたいなことが書いてありますが

Replace /C\|/namazu/nurupo/(.+)/index.html http://hoehoe.ne.jp/~nurupo/$1/

では全てが http://hoehoe.ne.jp/~nurupo/$1/ にされてしまいます($1が展開されない)

どうやればこの置換を実現できるのでしょうか?
垢版
む?もしかして$1じゃなくて\1なのか・・・?そうなのか・・・?
垢版
ああ・・・やっぱ\1でも駄目だ・・・いったいどうすれば・・・
垢版
返信 [3]


Namazuの検索結果って、
全部ドキュメントの行頭あたりしか表示しないけど
Googleみたいにマッチした前後の文章を表示できんの?
垢版
>>255
できない。
レスポンスを重視した結果、今の仕様になっていると思われる。
垢版
>>255
Googleっぽい動作が希望なら
Estraier使ってみるとか
垢版
Estraier はNamazu ほど敷居は低くないよなぁ・・・
>>255 有りものの中でなら msearch がお勧め
垢版
そういや微妙に商用はいってる2ちゃん検索もmsearch使ってるっぽいな。
http://find.2ch.net/
垢版
CGIで複数の基本インデックスの指定は不可?
F:\index
   +aaa
     +001
     +002
     +003
   +bbb
     +001
     +002
     +003
aaaとbbbを指定したいのだが…
ぐぐたら無理ぽいな
ttp://search.luky.org/vine-users.2/msg02960.html
垢版
001とか002とかもインデックス?

javascriptとかでチェックボックスをコントロールするとかじゃ駄目か。
垢版
多分無理かな。以下のようにcccを指定する
じゃダメ?

F:\index
  +ccc
   +aaa
   +bbb
垢版
>>261-262
数字のフォルダがインデックスで大まかに分けてある。
やはり1つのフォルダ以下にインデックスの入ったフォルダを置くしかないのか。
垢版
インデックスと結果表示をutf8でできないでしょうか…
垢版
本家のperl版まだー?
垢版
お聞きしたいのですが…

wgetで落したHTMLファイルをNamazuで検索しています。
Namazuの検索結果の順番を自分で決めたいんですが、
NMZ.field.uriの順番をいじると全てのページがNOT FOUNDになってしまいます。

どなたかいい方法知りませんか?
垢版
返信 [1]
インデックスの作成を速くする方法ないですか?
namazuはcなのにmknmzはperlなのはどうして?
垢版
>>267
インデックスの作成を早くするには分散して作成してからマージすればよいかも。

namazuがcなのはcの方がリクエストの度にコンパイルがない分、早いから、
mknmzはインデックス作る時しか使わないので文字の操作が楽チンなPerlを・・・。
ちなみにpnamazuっていうPerlで書かれたnamazuもある。
たしか2chもread.cgiはCだけど、bbs.cgiはPerlだったと思う。

質問は一個ずつにしてね。
垢版
とりあえずローカルで動かそうと思ったんですが、どうしてもインストールが
うまくいきません。
インデックスを作ろうとするとNKF.pmが無いといわれます。
PPM-INSTALL.BATを動かしてもうまくいきません。どうすればいいのでしょうか?
垢版
すいません、自己解決しました。
垢版
一日費やして何とかNamazuをサーバーでうごかせれるようになったレベルなんですが、これでñとかóのような外国語をブラウザから検索してみると激しく文字化けしてしまいます。
なんか改善する術ってありますでしょうか? 教えて誰かエロイ人!!
垢版
返信 [1]
namazuのwin32版をインストールしたのですが、mknmzrcの$ALLOW_FILEのところで、
2行目以下のwordなどの設定が対応メディアタイプに反映されません。
2行目以下も#は外しているのですが…。
茶筌のところ#を残しているのですが、それもちょっと変かもです。
うまくいかない原因がわかる方どなたか教えてください。

読み込んだ設定ファイル: D:/namazu/etc/namazu/mknmzrc
システム: MSWin32
Namazu: 2.0.12
Perl: 5.006001
NKF: module_nkf
KAKASI: module_kakasi -ieuc -oeuc -w
茶筌: chasen -j -F '%m '
わかち書き: module_kakasi -ieuc -oeuc -w
メッセージの言語: ja_JP.SJIS
言語: ja_JP.SJIS
文字コード: sjis
CONFDIR: D:/namazu/etc/namazu
LIBDIR: D:/namazu/share/namazu/pl
FILTERDIR: D:/namazu/share/namazu/filter
TEMPLATEDIR: D:/namazu/share/namazu/template
対応メディアタイプ:
application/x-gzip
message/news
message/rfc822
text/hnf
text/html
text/html; x-type=mhonarc
text/plain
text/plain; x-type=rfc
text/x-hdml
垢版
返信 [1]
>>272
まず最新の2.0.14を使いましょう。
それと
D:/namazu/etc/namazu/mknmzrc の$ALLOW_FILE
のところを全行はりつけてよ。
どこの#を外したのか見てみないとわからんよ。
垢版
返信 [1]
>>273
最新って言ってもベータ版らしいので…。
とりあえずこんな感じです。

#
# This pattern specifies file names which will be targeted.
# NOTE: It can be specified by --allow=regex option.
# Do NOT use `$' or `^' anchors.
# Case-insensitive.
#
$ALLOW_FILE =".*\\.(?:$HTML_SUFFIX)|.*\\.txt" . # HTML, plain text
"|.*\\.gz|.*\\.Z|.*\\.bz2" . # Compressed files
"|.*\\.pdf|.*\\.ps" . # PDF, PostScript
"|.*\\.tex|.*\\.dvi" . # TeX, DVI
"|.*\\.rpm|.*\\.deb" . # RPM, DEB
"|.*\\.doc|.*\\.xls|.*\\.ppt" . # Word, Excel, PowerPoint
"|.*\\.j[sabf]w|.*\\.jtd" . # Ichitaro 4, 5, 6, 7, 8
"|\\d+|[-\\w]+\\.[1-9n]"; # Mail/News, man

垢版
あれ?連続する半角スペースとタブが消えるのは2ちゃんの仕様でしたよね。
垢版
>>274
Windows版はβ版扱いになっていますが、
インストーラがβというだけで本体に問題はないですよ。

たぶんフィルタが必要としているMS-Word等の
アプリケーションが入っていないのでしょう。

こちらのフィルタを使うとよいでしょう
ttp://www.geocities.co.jp/SiliconValley-Oakland/8718/namazu/index.html
垢版
関係ないが消えるのはタブだけ。
垢版
そういえば2.0.12は2002年か…。
Office2003だということもあるのかな。
拡張子だけで判断してるのではないんですか。
まずは最新版をインストールしてみます。
用事があって今日これからはできないので、うまくいかなかったらまた後日質問させてもらいます。
回答ありがとうございました。
垢版
返信 [3]
Redhat9、namazu2.012にて全文検索システムを作成しています。
ページが増えてきたので階層ごとにインデックスを作成し階層ごとに検索ページを
作りたいと考えております。しかしインデックスファイルを作成しnamazuコマンドでは
検索できるのですがブラウザから
http://サーバIPアドレス/cgi-bin/namazu.cgi?idxname=aaaとすると
allインデックスから検索されてしまいaaaインデックスから結果を表示してくれません。
aaaインデックスから結果を表示するにはどのようにするのでしょうか?

ページの階層
/apache/htdocs/aaa
/apache/htdocs/bbb
/apache/htdocs/ccc

インデックスの格納場所
/apache/cgi-bin/namazu/index/all
/apache/cgi-bin/namazu/index/aaa

index/all内のNMZ.head.ja
<input type="hidden" name="idxname" value="all"> ←allに変更
<a href="{cgi}?idxname=all">[検索方法]</a> ←?idxname=allを追加

index/aaa内のNMZ.head.ja
<input type="hidden" name="idxname" value="aaa"> ←aaaに変更
<a href="{cgi}?idxname=aaa">[検索方法]</a> ←?idxname=aaaを追加

cgi-bin内にある.namazurc
Index /apache/cgi-bin/namazu/index
Template /apache/cgi-bin/namazu/index/all
Replace /apache/htdocs/ http://サーバIPアドレス/
垢版
>>279
mknmzの内容教えれ
垢版
ご返答ありがとうございます。mknmzの結果は下記の通りです。

mknmz -O /apache/cgi-bin/namazu/index/all /apache/htdocs
合計の文書数 602
合計キーワード 5,499
わかち書き module_kakasi -ieuc -oeuc -w

mknmz -O /apache/cgi-bin/namazu/index/aaa /apache/htdocs/aaa
合計の文書数 9
合計キーワード 441
わかち書き module_kakasi -ieuc -oeuc -w

よろしくお願いします。
垢版
こっちですね。
KAKASI: module_kakasi -ieuc -oeuc -w
茶筌: no
わかち書き: module_kakasi -ieuc -oeuc -w
メッセージの言語: ja_JP.eucJP
言語: ja_JP.eucJP
文字コード: euc
CONFDIR: /etc/namazu
LIBDIR: /usr/share/namazu/pl
FILTERDIR: /usr/share/namazu/filter
TEMPLATEDIR: /usr/share/namazu/template
対応メディアタイプ:
application/pdf
application/x-bzip2
application/x-compress
application/x-gzip
application/x-rpm
message/news
message/rfc822
text/hnf
text/html
text/html; x-type=mhonarc
text/plain
text/plain; xtype=rfc
text/x-hdml
text/x-roff
垢版
すいません。間違えました。
mknmz -C
読み込んだ設定ファイル: /etc/namazu/mknmzrc
システム: linux
Namazu: 2.0.12
Perl: 5.008
NKF: module_nkf
KAKASI: module_kakasi -ieuc -oeuc -w
茶筌: no
わかち書き: module_kakasi -ieuc -oeuc -w
メッセージの言語: ja_JP.eucJP
言語: ja_JP.eucJP
文字コード: euc
CONFDIR: /etc/namazu
LIBDIR: /usr/share/namazu/pl
FILTERDIR: /usr/share/namazu/filter
TEMPLATEDIR: /usr/share/namazu/template
対応メディアタイプ:
application/pdf
application/x-bzip2
application/x-compress
application/x-gzip
application/x-rpm
message/news
message/rfc822
text/hnf
text/html
text/html; x-type=mhonarc
text/plain
text/plain; xtype=rfc
text/x-hdml
text/x-roff
垢版
>>279
Template /apache/cgi-bin/namazu/index/all
としているから
常に index/all内のNMZ.head.ja
が読み込まれているということでないか
namazurcのTemplateの行をコメントアウトしてみたら
垢版
返信 [1]
>>279
亀レスだけど、
Namazuでは 「/cgi-bin/namazu.cgi?idxname=aaa」 みたいな直接指定はNGだったはず。
きちんとhiddenとかから送らないと。
垢版
>>285
それってどこでNGにしてるんでしょ。Namazu本体じゃなくて
pnamazuとかインターフェースのところでやってるんですよね。
垢版
返信 [1]
>>284-286 ありがとうございます。
検証が遅くなり申し訳ありませんでした。
サーバIPアドレス/cgi-bin/namazu.cgi?idxname=インデックス名&query=キーワード
で検索したらうまくできました。htmlにhiddenで指定した場合もOKでした。
ご教授ありがとうございました。
しかし検索結果はOKなのですが、aaaインデックスを検索しても結果はOKなのですが
ヘッダーの部分がallのもので表示されてしまいます。
(現在602 の文書がインデックス化され5,499 個のキーワード)
検索結果ページから再検索するとあるはずのページでも検索できません。
(allインデックス及びaaaインデックス両方とも。インデックスネームがうまく指定されない為?)
namazurcのTemplate部分をコメントアウトするとインストール時?の古いインデックスが
表示されてしまいます。
複数インデックスがある時のTemplate指定はどのように行っているのでしょうか?
垢版
>>287
Templateが選択される順序は説明書にあるとおり
http://www.namazu.org/doc/manual.html#form-idxnames
再検索をする際にWebブラウザで表示ページのソースを調べて
どのNMZ.headが読み込まれているか確かめてはどうですか。
垢版
返信 [1]
会社で鯰使うらしいので、オフィとか見てみました。
日本語全文検索ってほぼGoogleでカバーできてるのでは?
Winではあまり普及していないらしいし、導入に面倒がありそうだし
今、敢えてNamazuで検索を作るうまみってなんですか?
垢版
んーどうだろう
垢版
Googleはイントラネット内も検索できるようになってんですかそうですか
垢版
>>289
イントラの情報を検索できること
検索結果画面をカスタマイズできること
カテゴリ検索ができること
文書の最終更新日をファイルスタンプから識別できること
垢版
返信 [1]
今使うならnamazuじゃなくHyper Estraierにするな. 俺なら.
垢版
>>293
そのソフト最近人気らしいけど、Namazuに比べてどの辺が優れてるの
垢版
>>291-292
なるほど、イントラ内検索がGoogleにはないうまみっぽいですね。
だんだん鯰の位置づけがおぼろげながらわかってきました。
どうもありがとうございます。
垢版
Namazuだったら正規表現も使えるんじゃない?
あれは便利だお。
垢版
正規表現はすばらしい
垢版
(i)←こういうやつ?<性器表現
垢版
   〃∩ ∧_∧
   ⊂⌒(  ・ω・)  はいはいわろすわろす
     `ヽ_っ⌒/⌒c
        ⌒ ⌒
垢版
返信 [1]
namazuのなんかのバージョンで、検索指定した文が
ハイライトされて、(そのページの上のほうからのテキストだけでなく)
検索された部分が表示されるというやるがあるらしいよ

と先輩に言われたのですが、どこにありますか?
あるいはカスタマイズで処理するもんなのですか?
教えてください。
垢版
返信 [1]
>>300
EmphasisTags じゃなくて?
垢版
>>301
ありがとうございます、調べてみます。(`・ω・´)ゝ
垢版
返信 [1]
やってみましたが、どうも指示されたものと違うようです。

たとえば文中にキーワードがヒットしても、プレビューで表示されるのは
そのページの文頭から指定文字数分ですよね?
それを、キーワードの該当部分前後をプレビューに表示させたい
という話でした。
垢版
>>303です。
指示者がEstraierと混同していた可能性大です。
自己解決しました。どうもありがとうございました。
垢版
返信 [2]
Namazu はPerlだけでしょうか?
できればPHPでサイト内検索ができるスクリプトをご存知でしたら教えてください。
垢版
>>305
ネタっすか
っ[google]
垢版
>>305
Namazu自体はPerlじゃないし。
垢版
な、なんだとーこのこのー
垢版
Namazuと言えばみみずんの2ちゃんねる過去ログ全文検索システムだな。
って思ったら>>30に書いてあった・・・
垢版
現在phpから動的にページを生成して出力しているのですが、
このPHPから出来上がるページをnamazuで検索したいと思っています。
どのような手法がありますでしょうか?
垢版
返信 [1]
その動的に出力してるやつを静的なHTMLとして書き出す。
垢版
動的なページを静的HTMLとして書き出してインデックス化するような処理をnamazuの方で出来ますか?
それとも、やはりこちら側であらかじめ静的ページを作っておいて、それをインデックス化するしかないでしょうか?
なんとかコマンド一発で出来ませんかね?
垢版
返信 [1]
wget -> namazu
っていうシェルスクリプト書けば一発でしょ。
垢版
返信 [1]
Namazuはファイルのインデキシングを行うのみ。
動的なページをインデックスするには
http://pc8.2ch.net/test/read.cgi/unix/1113150661/116
垢版
>>311さん
>>313さん
>>314さん

親切にありがとうございます。
よくわかりました。とりあえずwgetの方法を試してみようと思います。
垢版
wget!
垢版
キタ━━━(゚∀゚)━━━!!!!
垢版
2006-01-29: Namazu 2.0.15 を公開

ISO-8859-* に関する文書の間違いを訂正
RedHat ソフトウェア namazu.spec の不必要なパッチは削除
File::MMagic 1.25 を同梱
MeCab の正式対応
mknmz に -b 及び --use-mecab オプションを追加
mknmz および namazu に --norc オプションを追加
mknmz に --decode-base64 オプションを追加
新しいフィルタ(Gnumeric, Koffice, Mainman/Pipermail, Zip, Visio)を追加
mknmzrc に MECAB, DENY_DDN を追加
ファイル名がDDN である時にスキップ。
日付フィールドによるソート機能の追加
nmzcat, nmzegrep コマンドの追加
フィルタの Windows 対応
(msword.pl, excel.pl, powerpoint.pl, postscript.pl, 等...)
OLE コントロールフィルタ更新
QUERY_STRING の区切りに';' 使用可能
Perl版テストプログラム(pltests) を追加
各種バグフィックス
垢版
1年9カ月ぶりなのね
垢版
返信 [1]
http://www.namazu.org/
は、MacのSafariで見れないのは、なんか理由があるのかな?
垢版
>>320
http://www.namazu.org/index.html.ja ならOK
Content-Locationヘッダをうまく扱えてないみたい。
他所ではちゃんとリダイレクトされるんだけど、namazu.orgではNG。なんでだろう?
垢版
返信 [1]
Namazuをローカルサーバーに組み込みたいのですが
何のファイルをサーバーに送れば良いのか教えてください。
垢版
>>322
ttp://www.namazu.org/installation.html
垢版
>305
PHPでnamazu検索???

こんなの??
ttp://www.c-boxs.net/PHP/NamaP/
垢版
返信 [2]
AN HTTPDとnamazuでLAN内のファイルサーバ全文検索システムを構築しました。
この勢いでローカルにある2ちゃん専ブラのdatファイルもインデックス化したいんですけど
良い文書フィルタはありませんか?
垢版
>>325
自分で作ったほうが出来がいいぞ
垢版
返信 [1]
>>325
っていうか2ちゃんにどっぷりハマってるような
人間のクズは氏んだほうがいいぞ。

専ブラ+dat保存なんて、何をたくらんでいるのやら・・・おー、こわ。
垢版
にくちゃんねる2号だろ
垢版
>>327
単なるナレッジ・マネジメント・システムの構築を目指してるだけですよ。
「おーこわ」って・・・なにを勘繰ってんですか
垢版
返信 [1]
namazuがN-gram対応
垢版
>>330
しないよ
垢版
インディックス作成時に読み込む文字種を正規表現で指定できますか?
記号は除外するとかです
垢版
返信 [1]
自己解決しました
垢版
>>333
http://pc8.2ch.net/test/read.cgi/unix/1113150661/195-197

マルチで「自己解決」とは笑わせてくれるな
垢版
返信 [2]
こいつの検索判定明らかにおかしい。
何でもそうなのだが、部分一致ができない。

ファッキントッシュは、バカの使うOS

を検索するとする

「ファッキン」で検索すると一致なし
「ファッキントッシュ バカ」 で検索しても一致せず
「ファッキントッシュはバカの使うOS」でやらないと一致しない。

まるでMSNの検索エンジンだ
あれとまったく同じ
垢版
ファッキン!
レスを投稿する


ニューススポーツなんでも実況