moeBBS 勝手に説明書 Ver050526

wwwTools氏を讃えて、スレから適当に情報をコピペしました。
DesktopSidebarのスライドショーと併用してかなり有用させていただいております。
デザイン・細部・内容など、どなたかもう少しまともに改訂してくださいorz

インストール方法
moeBBS公開サイト
http://www.geocities.jp/wwwtool/moeBBS.lzh
適当なフォルダに解凍して、moeBBS.cfgをテキストエディタで編集してからmoeBBS.exeを起動するだけ。
【基本仕様】moeBBS.cfgの設定の仕方

<コマンド>

BBS <名前>
URL <url>
<設定>
END

BBS <2個目>

END

【<コマンド>に入れる設定項目】
TEST <名前> テストモード
デバッグ用の 1.tmp,2.tmp …というファイルを
出力するので、その中身を見てもらえば…
左から <tag> <url> [<文字列>] と並んでいます。
LOOP <秒数> moeBBS.cfg を頭から繰り返し実行する間隔
PATH <絶対パス> 全 BBS に共通な保存フォルダは、moeBBS.cfg の先頭に
PATH D:/moe/save
…と書くことで指定できます。
(最後の文字は / でないこと)

BBS 毎にフォルダを指定したい場合は
BBS a
FOL <folder_name>
END
…で指定します。

例えば…
PATH D:/moe/save
BBS xxx
FOL xxx
END
…とした場合、xxx のファイルは
D:/moe/save/xxx/0001.jpg
D:/moe/save/xxx/0002.jpg
D:/moe/save/xxx/0003.jpg
…のように保存されます。

BBS によっては、スレッドごとにフォルダが別れていたり
するので、そのような場合は FOL は使わないでください。
(ファイル名が衝突するとダウンロードしないです)
FOL <絶対パス>


【<設定>に入れる設定項目】
TOP {top-def} {next-def} {top-def}にマッチする全てを巡回
SUB {sub-def} {next-def} {sub-def}にマッチする1つだけを巡回
IMG {img-def} {next-def} {img-def}にマッチするファイルをダウソ
{next-def}にマッチするものがある場合は「次のページに進む」
{def} は <tag>,<url部分>,<文字部分>,<除外部分> の並び
<tag> には A,I(img),F(form),f(frame) など…
<url部分> はマッチさせたい URL の一部分。
<文字部分> はマッチさせたい文字列の一部分。
<除外部分> はマッチさせたくない URL もしくは文字列の一部分。
REF <ref-url>
URL <url>
リファラーではじかれる場合の設定
PROXY aaa.bbb.com:8080 プロクシの設定例
SAV <save_file> どこまでファイルを落としたか、ファイル名の数字部分を <save_file> に記録します。
ある巡回でダウソしたファイル群の最大値が記録されます。
次回の巡回では、その数値以上の名前のファイルがダウソされ
その数値未満の名前のファイルは skip されます。

ファイル名の右側から数値部分を抽出します。
abc123_456.jpg → 456
左側から抽出した場合は、OPT LeftNum を併用します。
abc123_456.jpg → 123

<save_file> はテキストファイルですので、中身を確認してください。
誤った指定をすると、ダウソしたいファイルも skip しちゃいます。
CMP <cmp> ファイル名の左側から <cmp> と同じ文字数だけ <cmp> と比較して
「以上」のファイルだけをダウソします。
CMP 200503 と指定すれば、200503*.jpg や 200504*.gif はダウソしますが
200502*.jpg は skip(comp) します。
OPT <オプション文字列>
OPT <option1>,<option2>
逃げの手段です(w
場当たり的に実装したので、本人も把握し切れていません。

複数のオプションを指定する時は、空白で区切らないように
カンマ , で区切ってオプションを並べてください。
・OPT Page0
デフォルトでは 1,2,3… とページをカウントして行きますが
これを 0,1,2… に変更します。
ページは、>>4 の <url部分> や <文字部分> に %d と書くことで展開されます。
[1] [2] [3] とか並んでいるリンクを巡回した場合は TOP A,,[%d] ね。

・OPT ResetPage
TOP や SUB でページを潜る時、ページカウントをリセットします。
(正確には「ネスト」してリセットします)
TOP で全スレッドをスキャンして、各スレッドに [1][2][3] のような
ページが其々存在する場合に使用します。

・OPT NoFORM
FORM タグを無視します。

・OPT noimg
IMG タグを無視します。

・OPT localonly
ローカルリンクだけを対象にします。
("://" を含む URL を無視します)
・OPT MaxPage=***
***の部分にはページ数
OPT MaxPage=10 としておくと、ページを 10 ページ以上手繰りません。
JPN EUC EUC文字コードを使用します。
※デフォルトは ShiftJIS です。
JPN UTF8 UTF8文字コードを使用します。
※デフォルトは ShiftJIS です。
GAP <待機秒数> 何かファイルをダウソした後
次のファイルをダウソしに行くまでの待機時間を <秒> で指定します。
混んでいる BBS では十分な空き時間を設定してくだちい。
そのほうがダウソも確実です。
負荷を掛けて IP-BAN されたら、それまでです。

尚、moeBBS.exe は24時間稼動で、ファイルをひとつづつ
のんびりダウソするように設計されていますので
同時接続数は 1 固定です。(隠しオプションは探しても無いから)
(URLリスト作成) IMG …

KEY …(KEY は IMG と等価)

PRN …
と書き換えると、ファイルをダウンロードするかわりに
そのファイルの URL を moeBBS.lst に出力します。
USR
PAS
認証が必要な場合の設定
(※詳細追加希望)

【PostURLの使い方】
PostURL を使う場合は、まず Form の存在するページを
テストモードでまわってみるとイイです。

BBS aa
URL http://bbs.avi.jp/73518/
END
↑これで巡回すると 1.tmp というファイルが出来ます。
その中に、以下の行が含まれます。
これが POST すべき URL です。(但しパスが空欄の場合)
F /73518/?tid=&wid=&kid=73518&mode=&br=pc&p2=&=認証 [認証] POST

同時に 1 というファイルも出来ます。
これは http://bbs.avi.jp/73518/ の html ファイルです。
これを覗くと、以下のような行が発見できます。
<input type="text" name="p2" size="8" maxlength="8" value="">
これがパスワードの入力欄です。
p2 という名前が付いていますので、上記の URL の p2= の部分に
パスワードを指定します。
/73518/?tid=&wid=&kid=73518&mode=&br=pc&p2=***&=認証

>Aで設定したときもあったのですが、TOPを設定していたり、無駄な項目も追加していました。
>いつもテンプレートとして掲示板のURL、サムネイルのURL、サムネイルに設定されたリンク(リダイレクトになっているhtmlへのURL)、
>目的地の画像URLを書き出して、それぞれのディレクトリにあった設定を作っていました。

【2ページ目にいかない時】
2ページ以降に行かないということですから
A,,次 の部分の指定のしかたですね。

よくあるのが、フォームのボタンを使った「次のページ」で
この場合は1文字目に A ではなく F を指定します。
A は <A href=... のアンカータグ
F は <FORM> の意味です。
,の1引数目には、URL の部分文字列を。
,の2引数目には、画面上での表示文字列の一部を指定します。
【途中でタイムアウトして、複数の掲示板が同時進行し始めますがコレは仕様ですか?】
仕様というか、サイトのタイムアウトに引っ掛かっているんですね。
moeBBS.cfg の先頭に、以下の指定をすることで、タイムアウト時間を指定できます。

FILE_TIMEOUT <秒数>  :1ファイルのタイムアウト時間。デフォルト60秒
SITE_TIMEOUT <秒数>  :サイト全体のタイムアウト時間。デフォルト600秒

ダウソに時間の掛かる巨大なファイルや、応答の悪いサイトに接続した時に
これらのパラメータを調整する必要があります。
-1 を指定すると無限大です。
私の場合、苺の時に、双方 -1 を指定してあります(w
(苺は重すぎて、それでも全部はダウソできないけど…)
【重くて混んでる時の間隔のあけ方】
BBS~END の間に、GAP <秒数> と指定することにより
ファイルとファイルのダウンロードの合間に <秒数> だけ休止期間を入れます。
GAP はダウンロード間隔の秒数です。
常時接続とかで、時間に余裕のある時は、大きめの数字を指定しておくと
サーバーにやさしいです。
とりあえず最初に全部ダウンロードするような場合は、大きく設定して
一晩くらい放っておくのが、環境にやさしいエコなカンジ。
【無駄な重複ダウンロードをさける方法】
ファイル名が img20050426032409 とか連番の場合
SAV <save-file> を指定することにより、この連番を記憶し
次の巡回の時に、この連番以降だけをダウンロードします。
無駄な重複ダウンロードを避けられるので
サーバーにも、自分のPCにも、やさしいです(^^;

SAV に記録される数字ってのが、ファイル名の一部の場合があるんです。
例えば 20050414_001.jpg, 20050414_002.jpg …のような場合。
OPT LeftNum を指定すると、20050414 が SAV に記録されます。
ある巡回の後、20050414_099.jpg がアップロードされた場合
20050414 だけで判断しては、ダウンロードしそこねちゃうんです。
そのため、< でなく <= で判断しています。
SAV mio は mio というファイルに、ファイルの連番を記録して
次回からのダウンロードで、ダウンロード済みのファイルをスキップさせる設定です。
これはサーバーにも自分にも、やさしいカンジですので、ぜひ設定を。

ファイル名が 0000-0.jpg ですので
SAV の機能は使えません。

デフォルトでは - の右側の数値を採用しますので
0,1,2…が記憶されてしまい、ほとんどが skip される結果に…

OPT LeftNum を指定すれば左側の 0000 が採用されるので
これで良しとする場合以外、SAV は使えません。

CMP なんかも、そう…

OPT MaxPage=*** なんてオプションも有ります。(***の部分にはページ数)
OPT MaxPage=10 としておくと、ページを 10 ページ以上手繰りません。

【画像以外のファイル(swfやwmvとか)は落とせる?】
特にファイルの種別は見ていません
但し、巨大なファイルだと、FILE_TIMEOUT に引っ掛かったり
リトライが発生して、ダウンロードに失敗する可能性は大です。

FILE_TIMEOUT -1 を指定して、試してみてください。
それでダメな場合は、moeBBS.exe では URL の抽出だけを行い
iria 等、ダウンロード専用ソフトにまかせたほうが賢いです。
moeBBS.exe は、リジューム受信や分割ダウンロードのような
高度な受信処理は行っていません。(一番単純で簡単なのだけ^^;)
【自動巡回設定の仕方】
moeBBS.cfg の先頭のほうに LOOP と書いておくと
その moeBBS.cfg を繰り返し実行します。

一定間隔の設定はできませんが、LOOP <秒数> と書くことで
次回の巡回までの間隔を指定できます。

LOOP 3600

…で、1時間おきの巡回。

または定時の巡回には、Win2k の at コマンドを使っています(私の場合)。

at 6:00 /interactive /every:M,T,W,Th,F,S,Su C:\moeBBS2\moeBBS.exe

↑こんなカンジ。(毎日6:00に巡回)
【画像のみを拾う方法】
A,fob/ の fob の前に ./ を付けると、画像のみ取ってきてくれます。
【フォルダの指定について】
FOL を絶対パスに対応させました。
FOL D:/jpg …とかで試してみてください。
2文字の : で絶対パスかどうか判定しています。(いいかげん^^;)
【除外するファイル拡張子の指定方法】
除外したい拡張子を指定する NOT も追加してみました。
NOT zip,lzh,mp3 …など、拡張子を「小文字」で
「拡張子の . は含めず」「 , で区切って」指定してください。
指定は BBS 毎です。
【重複ファイルの削除おすすめツール】
UnDup 重複ファイル削除
Dup Detector 類似画像検索・削除
設定例
【imgboard や joyful】
BBS xxx
URL http://xxx.com/~xxx/cgi-bin/imgboard.cgi
IMG A,img-box/ F,,次
END

【ふたばにじ裏】
BBS [二次元裏]
REF http://www.2chan.net/
URL http://www.2chan.net/bbsmenu.html
SUB A,,[二次元裏]
TOP A,red/,thumb/ F,,次の
IMG I,src/
GAP 3
SAV [二次元裏]
END

【串の刺し方】
PROXY xxx.xxx.xxx.xxx:yy で串指定可能。
BBS xxx
USR <user_id>
PAS <password>
END


【sweetnote系 】
BBS xxx
REF http://www.sweetnote.com/board/xxx/
URL http://www.sweetnote.com/board/xxx/
TOP A,/xxx/,,admin
KEY A,images/ A,,次の
JPN EUC
OPT div_article
GAP 3
END

【bbs.avi系】
BBS xxx
URL http://bbs.avi.jp/xxx/
TOP A,bbs_th.php A,,[%d]
TOP F,photo.php
IMG I,/photo/
END




【苺あぷろだ:レスより】
むぅ…苺ですか…
ここは大変混み合っているので、確実に廻る方法は存在しません。
以下のように LOOP でリトライを繰り返して、24時間連続で
1時間おきに巡回を繰り返すような設定にしないとダメかも…
(これでも確実ではありません)

FILE_TIMEOUT -1
SITE_TIMEOUT -1

LOOP 3600

BBS 苺1
URL http://strawberry.web-sv.com/cgi/up/all.html
TOP A,ia/
IMG A,./
SAV 苺1
END



Yahoo!繧ク繧ェ繧キ繝�ぅ繝シ繧コ
Yahoo!繧ク繧ェ繧キ繝�ぅ繝シ繧コ