★負荷軽減対策委員会（Perl、PHP)★

サーバ上にPerlやPHPを置く場合、何よりも重視しなければ
ならないのはサーバへの「負荷」。
負荷の高いCGIの使用は削除対象となるのが目に見えてます。
負荷を軽減させるにはどうすればいいか？
どういう書き方をすればいいか？
そんな委員会を開設しました。

>>262
質量保存の法則ですか?

電源から電気をもらっているわけで
ＨＤの容量が変わると電荷の分増えたりしないのか？

>>264
んなこたーない。

２ショットサイト作成中なんですが、チャットってログはテキストより
SQLにした方が負荷は低いですか？
チャット自体はモジュールのPHPで動かす予定なんですが。

>>266
ログは多くても100件保存できればOKでしょ？
だったらテキストの方が良いに決まってる。

>>266
チャットは
mod_perlで常駐させて
配列にログ入れて
ファイルアクセスをなくすと
めっちゃ早かったでつ。

んで、保存ログは20行以下に切り詰めて
ブラウザ側でJavaScript使ってログを保存・表示させていく方式が
よろしかろう･…というか、よろしかったでつ。

>>276
チャット一つあたりのログは精々10〜20件ぐらいですね。
他に管理者用のｺｿｰﾘ覗き見スクリプト（ログ全件保存）ってのも
作ってあったりしますが＾＾；

>>268
mod_perlは普通に動くスクリプトをそのまま動かせるんだったら
試してみようとも思うんだが。お手軽さならPHPに流れちゃうね。
そういえば自分、JavaScriptは全然わけわかめだった＾＾；

>>244
1ページ分を1つの変数に入れたとしてもせいぜい50KB。
たいしてメモリを食わないと思うんだがどうだろう？

辞典みたなものをCGIで作ろうと思ってるんだけど、データをHTMLで保存するか
ログファイルに保存して毎回CGIで表示するか迷ってる。
CGIサーバが5MBしか容量ないので保存データ量を節約したいけど負荷が気になる。
1日500件もアクセス無いはずだから別にいいかな？

>>271
辞典の更新頻度、検索の手段によるのでは

（＾＾）

質問です。

Windows2000
Apache 1.3.26 win32
ActivePerl 5.6.1

でCGIのテストをしているのですが、
CGIの負荷を数値等で表示してくれるツールってないですか？

今は、タスクマネージャーで見ているのですが、
もっと詳細に負荷の具合を調べたいのですが、

ご存じの方、よろしくお願いします。

>>274
DProf を試してみたら？

（＾＾）

あのー、
Perlで、myやlocalをほとんど使っていないってのは、
どのくらいの負荷要因でしょうか？ベスト１？

あぼーん

>>278
それで変数のコピーを抑えれば効率的と言えるかも。

>>278
perlの実行ファイルで既に1M近くあるし、モジュールとか読んだら、
もっと増える。
気にするやつは馬鹿。自己満足。知症。
たとえれば、ボルトを全部チタンにして100gの軽量化に成功！とか言ってる
車オタと同類。

このスレ的な話題をあつかった本って、あります？

プログラムとデザインをわけようとして、
テンプレート読み込み型のデザインをしていたんだけど、
そのせいなのかなー、急に重くなった気がする

>>283
データ更新の機会がそれほど発生しないものならば、動的にHTMLを生成する
のではなく、データ更新時、静的HTMLを随時生成するのに切り替えるのも一つの
手かと。

あぼーん

あぼーん

http://www.atmarkit.co.jp/flinux/special/php5/php5a.html
速くなるのでしょうか・・・？

>287 phpに速さを求めちゃイカン。

>>288
そう，PHPは実行速度より開発速度

Perlもそうだよ〜

Perlで3MくらいのCSVを読み書きするのって、
かなりの負荷？

あと、ここのみなさんは、どうして負荷について知識があるんでしょうか？
経験上？

>>291
一回しかやらないのなら
大した負荷にならないが
BBSのログとかだったら負担になるかもね

オブジェクト指向のプログラムは負荷軽減になるの？

ならない

>>291
DBM使え。簡単だぜ。
郵便番号ファイル（郵政省--いま何たっけ--の）で速度5倍だぜ。
http://www.ichikoro.com/webp/bk/00060.htmlのベンチマーク。
あれ、２Mくらいじゃなかったっけ？

>>288
そうそう。よほど非常識なことをしなければ、スクリプト言語で効率を考えるのはナンセンス。

>>296
>>295にあるように効率はいつも考えるべき。

>>297
そうだね。コードの一つ一つで効率を考えることによって、
全体としてそうとうの負荷軽減になる。例えば、
http://www.mikeneko.ne.jp/~lab/perl/numerical_transform/#h4を
ベンチマークで検索してみれ。

>>292
そうかー、ちょっと反省。

ところでどなたか、↓の質問答えてほしいです。。。

＞あと、ここのみなさんは、どうして負荷について知識があるんでしょうか？
＞経験上？

あと、負荷軽減について詳しい本（の一部とか雑誌でも）ないでしょうか？

>>299
ラクダ本買っとけ。

負荷がどうとかと言う人ほど、use strictしたままリリースしそう。

use strict すると負荷がかかるんですか？

>>302
検査する時間が増えるだろ、アクセスごとに検査させるのか。

Cでいえばassert有効にしたままリリースってのに似ているな。
わざとそうしている人もいるみたいだけど・・・

負荷を測るのってどうすればいいの。
自分のPCで動かしてもよーわからん。

あぼーん

メモリについて質問させて下さい。
例えば
$x="abc";
の後、
$x="";
という記述なしに
$x="def";
とした場合、メモリは、
abcの○○○分と、defの○○○分の
○○○○○○分が確保されてしまいますか?

$x="abc";
$x="";
$x="def";
にすれば
メモリ確保は○○○だけになると思うのですが。

>>307
たぶん・・・
変数へ上書きしたら、ちゃんと初期化（開放）してから、
代入してくれると思ふ。

>>308
そうですか。
では$x="";は無駄ですね。
ありがとうございます。

Perlは最初に確保したメモリ空間を開放しません。
たとえ、ゼロに初期化しても。undefなら別。
http://www.mikeneko.ne.jp/~lab/perl/tuning/

あぼーん

あぼーん

あぼーん

>>310
何が言いたいのかわからん。

>>310
すんまそん。
メモリ確保を解放するかしないかは分かります。
メモリ確保は○○○分で済むのか、○○○○○○分確保してしまうのかを聞きたいのです。

あぼーん

あぼーん

詳しく知りたかったら、Perlのソースを読むしかないと思うけど。

>>315
>>310 の記述を見ると、３バイト分しか確保しないように思えたけども。

apacheのログ２，３日分。約４M。PHP。極貧マシン。
while & fgets & copy -> 処理50秒前後　メモリ使用４M前後 CPU100％
file & foreach(or list&each) & copy -> 処理60秒前後　メモリ使用１５M前後　CPU100％
fread & copy -> 処理0.5秒前後　メモリ使用４M前後　CMP100％

>>320
PDA以下だね･･･。

━―━―━―━―━―━―━―━―━[JR山崎駅（＾＾）]━―━―━―━―━―━―━―━―━―

ったく、山崎のおかげでｽﾚ順めちゃくちゃだ。

>>324
open IN, '<' . $src or die;
open OUT, '>' . $dst or die;
my $buffer_size = 1024; # 適宜調整
my $buffer;
print OUT $buffer while read IN, $buffer, $buffer_size;
close OUT;
close IN;

>>325さん
それが最適なのですか。
勉強になります…。
サイズ1024は何を意味しているのだろう…

あぼーん

>>326
1024 byte は 1 kbyte だろ？
コンピュータの基礎じゃねえか。

ま、俺だったらFile::Copyモジュールを使うかも。
バグがあるかも知れないソース書くより楽だし。

my $buffer_size = 1024; # 適宜調整
すいません。
これを記述することで何が得なのかを知りたいのでした。

>>329
実行エンジンにもよるんだけども、メモリを確保する場合、8byte単位とかそういうのが多いから
(アライメント）。
Perlだとどうだか？って気もするけども。

8・・・

>>329
微妙に意味がわからんな……
推測をして回答してみる。
1.$buffer_sizeを設定することで、何バイトずつコピーするのかの設定が可能になる。
この数値を小さくすると、コピー回数が増えるが、メモリーへの負担は減る。
この数値を逆にすると、その逆。
サーバーの具合を見て適宜調整することができる。
2.わざわざ変数を一つ設定することの意味は、変数の名前をわかりやすくすることで、
その変数が何に使われているのかをわかりやすくする。
「昨日の自分は他人」の言葉どおり、後から見た時になんでその数値にしたのか等が判断しやすくなる。

何が聞きたいんだろう……

3. 設定(定数)と実働部分はできるだけ分離する。
>>324のコード片がスクリプトのどこに埋もれていても、
変数 $buffer_size としてスクリプトの頭の方で定義しておけば
簡単にバッファサイズを変更できる。定数で埋め込んでしまうと
変更したい時にいちいち探し回る事になる。

s/324/325/

Perlは最適化とかしないのかな？
@buf = <IN>
のほうが早かったりして。

open(IN, $src);
open(OUT, '>'.$dst);
print OUT while(<IN>);
close(IN);
close(OUT);

こう書くかも。
readで読み出すバイト数は多い方が速いと思う。当然だけど。
ただ多過ぎるとそれはそれでメモリくったり。

>>335-336
ベンチ取れば分かる事だが、@buf = <IN> はメモリを一気に
確保する = System CPU time を食う。行入力演算子による
取得は「行末」を探す = 可変長入力なので潜在的に read
より遅い処理。もちろん扱うデータのフォーマット & 量次第
だけどね。

どうしても行入力演算子でやりたければ
$/ = \1024;
while (<IN>) { ... }
で 1024 byte 単位で読めるけど、素直に read 使った方が
速かったかと。

たしかにそうですね。
改行コードを探しながら進むので遅いと。

age

ファイルの書き込みを追記にしたばあいの負荷ってどうなるんですか。
たとえば書き込むものは同じとして、
追記先のファイルが1行のときと1000行のときでは
ＣＰＵメモリ負荷はどうなるんでしょう。
追加するだけだから大して変わらないかなと思ったんですけど。

あぼーん

$kazu=(((($my_tech-int(rand($my_tech/4)))*$job_dmg[$job])*$tarou)/$mstamina)*$stamina;
このように一気に計算させるのと、
いくつもに分けて計算させていくのでは
負荷は変わるのでしょうかね?
変わるのならどちらが軽いと思いますか?

>>341
追記の場合、元のファイルの大きさはほぼ影響しない。
Cをやっている人間ならわかる（はず）だが、
追記と言うのは、ハードディスク上のファイルの終端を探し出して、
そこから新たなデータを埋めて行き、最後にファイルの大きさを示す数値を変更する作業だ。
従って、ファイルの終端を探し出す作業だけが、ベンチマークに影響する。

>>343
メモリの占有率を調べたいなら、そういうソフト入れてベンチマーク取ればわかる。
そして結果を発表すると皆から感謝される。

むしろ、その式は人間が見やすいかどうかを考慮した方がいいと思う。

下記の中で最も負荷が少ないのはどれでしょうか？

1.printを使い一行ずつ出力
2.ヒアドキュメントで出力
3.別ファイルを作り読み取らせて出力

3は後々便利そうだけど、負荷が気になる…。

2

>>346
負荷が少ないって、どっちの？

「省メモリ」？ それとも「ＣＰＵ占有の少なさ」？

>>346
>3.別ファイルを作り読み取らせて出力
>3は後々便利そうだけど、負荷が気になる…。

じゃあ外部ライブラリとかあまり使わない方がいいよ。CPANもね。

>>346
1.出力処理が遅い。
2.出力処理は早い。
3.良識ある人間のやること。

一般に、メモリ占有量の低いものの方がウェブには向いているよ。

>>350
そうか？次々とくる要求に迅速に対応するために処理速度を優先しない？

webプログラムは、サーバへの負荷も気をつけないといけないと思うけど、
それよりも、トラフィックを一番に考えてる俺は間違ってますか？

>>347-351
どうもです。

そんな細かい事ぐらいでｻｰﾊﾞｰから言われる事はまず無いので
私も処理速度を優先させるべきだと思うねぇ。
というか、気にするほど大して変わらない。
基地外なほど膨大なデータを扱うならまだしも。

想定同時アクセス1000くらいの小さな案件で、
鯖を用意してやるなら、保守性を一番においても問題ないと思う。

>>355
>想定同時アクセス1000
これって小さいの? 秒間同時アクセス数1000ってことだよね?

共有メモリを活用する、繰り返し使用する正規表現はlexで、
大きなプロセスは常駐させてローカルソケットでCGIと通信してCGIは小さく作る、
データベースは下手に使わない、巧く使える場合にだけ使用する。

>>354
サーバーがつんでるメモリーの量によってどっち優先かは変わると思われ。
メモリー使い切ったらswapのオーバーヘッドがかかってかえって遅くなるし。
まあ、最近のサーバーはメモリーを湯水のように持っているからそんなこと考える必要ないのかな?

Perl5からＰｅｒｌでもコンパイルした状態で設置できるようになったと読んだんですがどうすればできますか？

>>359
perlccを使う。
使ってどの程度早くなるかは知らんけれどね。

>>358
共有鯖ならいくらメモリ積んでいようと割り当てられるのは
微々たるもの

>>360
散々言われてていることだが、perlccではモジュールはろくすっぽ使えないので注意。