wget全オプション日本語訳
まずはwgetをダウンロードしてくる。いくつもリンクがあるが、特にこだわりが無いなら「If you don't know which version to get: GET」以降のlink(2008/06/16日現在は「THIS ONE:1.10.2 complete」)からダウンロードして展開する。(ここにwgetを使うのに必要なものが全て含まれている)
ただ使うだけなら、コマンドプロンプトを立ち上げてwgetが置いてあるフォルダに移動し、「wget url」とすればダウンロード可能(例 「wget http://yagi.s321.xrea.com/」)。
出来る事としては大雑把に言うと、該当サイトを全てダウンロードし、その内部リンクを全てローカルのものに書き換える、ダウンロード対象ファイルを外部ファイルに記述する、proxy(プロキシ認証でも)を使用する、事も可能。詳細は以下のオプション群を参照の事。
また、タスクスケジューラ等でスケジューリングすればrssGetterとしても使用可能。オプションの組み合わせと考え方次第で「こんな事できるかな？」が実現できてしまったりする。
その他、コマンドで全て指定せず環境設定ファイル(「.wgetrc」)を使用する事も可能。余談だがwindowsの場合、通常は「.」から始まるファイル名(.wgetrcの事)は作成出来ないが、例えばメモ張を開いて、「名前を付けて保存」を選び「ファイル名」に「.wgetrc」ファイルの種類に「すべてのファイル」を選択して保存すれば作成する事が出来る。(ここでは関係無いが「.htaccess」もこれでOK)
以下ページ最後までオプション一覧。カテゴリ分け、並び順序は--helpのカテゴリ分け、並び順序と同一。
wget 実行時オプション
| -V |
--version |
wgetのバージョンを表示する。 |
| -h |
--help |
ヘルプを表示する。 |
| -b |
--background |
wgetをバックグラウンドで実行。 |
| -e |
--execute=COMMAND |
.wgetrcスタイルのコマンドを実行( 例： wget -e input=./download.txt )する。 |
wget ロギングと入力ファイルオプション
| -o |
--output-file=FILE |
ログメッセージをFILEに出力(出力ファイルが存在する場合は上書き)する。 |
| -a |
--append-output=FILE |
ログメッセージをFILEに出力(出力ファイルが存在する場合は追記)する。 |
| -d |
--debug |
デバッグ情報を出力する。 |
| -q |
--quiet |
処理状況等を一切表示しない。(wget URLとwget -q URLで試してみると分かりやすい) |
| -v |
--verbose |
処理状況等を表示する。(デフォルト) |
| -nv |
--no-verbose |
適度に処理状況を表示する。(-vと-qの中間) |
| -i |
--input-file=FILE |
FILEに記載されているURLsをダウンロードする。(URLsのsがポイント、複数記述可、urlを記述するファイルは1行1url) |
| -F |
--force-html |
HTMLとして入力を扱う。(wget -F www.google.co.jpとして実行してみると分かりやすい) |
| -B |
--base=URL |
-F -i オプション使用時のベースとなるURLを指定する。( -i オプションで指定されるファイルには-Bオプションで指定したURLの続きを記載する) |
wget ダウンロードのオプション
| -t |
--tries=NUMBER |
リトライ回数の上限を設定(0であれば無制限)する。 |
| |
--retry-connrefused |
接続を拒否された場合でもリトライする。 |
| -O |
--output-document=FILE |
ダウンロードした内容をFILEに出力する。(複数ファイルをダウンロードする際にこのオプションが指定されているとFILEに全部まとまってしまうので注意) |
| -nc |
-no-clobber |
既にファイルが存在する場合はダウンロードで既存ファイルを上書きしない。 |
| -c |
--continue |
部分的にダウンロードされたファイルの続きから再開する。 |
| |
--progress=TYPE |
プログレスバーの種類を指定する。(dot、barを指定可能) |
| -N |
--timestamping |
タイムスタンプを比較して、ローカルに既に存在するファイルよりも新しいファイルだけを取得する。 |
| -S |
--server-response |
サーバの応答を表示する。 |
| |
--spider |
何もダウンロードしない |
| -T |
--timeout=SECONDS |
全てのタイムアウトをSECONDSに指定する。(秒) |
| |
--dns-timeout=SECS |
DNSの問い合わせのタイムアウトをSECSに指定する。(秒) |
| |
--connect-timeout=SECS |
接続タイムアウトをSECSに指定する。(秒) |
| |
--read-timeout=SECS |
読み込みタイムアウトをSECSに指定する。(秒) |
| -w |
--wait=SECONDS |
ダウンロードの間にSECONDSだけ間隔を空ける。(秒) |
| |
--waitretry=SECONDS |
リトライする間にSECONDSだけ間隔を空ける。(秒) |
| |
--random-wait=SWITCH |
ダウンロードの間に0〜2秒だけ間隔を空ける。(on、offが指定可能) |
| -Y |
--proxy |
プロキシを使う。 |
| |
--no-proxy |
プロキシを使わない。 |
| -Q |
--quota=NUMBER |
ダウンロードサイズの条件を指定する。(バイト) |
| |
--bind-address=ADDRESS |
ローカルアドレスとしてADDRESS(ホスト名かipアドレス)を使う。 |
| |
--limit-rate=RATE |
ダウンロード速度をRATEまでに制限する。 |
| |
--no-dns-cache |
DNSの問い合わせ結果をキャッシュしない。 |
| |
--restrict-file-name=OS |
OSで使用可能なファイル名だけに制限する。 |
| |
--user=USER |
ftp,httpのユーザを指定する。 |
| |
--password=PASS |
ftp,httpのパスワードを指定する。 |
wget ディレクトリ(フォルダ)のオプション
| -nd |
--no-directories |
ディレクトリ(フォルダ)を作成しない。 |
| -x |
--foce-directories |
強制的にディレクトリ(フォルダ)を作成する。 |
| -nH |
--no-host-directories |
ホスト名のディレクトリ(フォルダ)を作成しない。 |
| |
--protocol-directories |
使っているプロトコル名のディレクトリ(フォルダ)を作成する。 |
| -P |
--directory-prefix=PREFIX |
PREFIX/以下にダウンロードしたファイルを保存する。 |
| |
--cut-dirs=NUMBER |
リモートディレクトリ(フォルダ)のNUMBER階層分を無視する。 |
wget HTTPのオプション
| |
--http-user=USER |
httpのユーザにUSERを設定する。 |
| |
--http-password=PASS |
httpのパスワードにPASSを設定する。 |
| |
--no-cache |
サーバにキャッシュされたデータを許可しない。 |
| -E |
--html-extension |
HTMLは".html"拡張子で保存する。 |
| |
-ignore-length |
"Content-length"ヘッダを無視する。 |
| |
--header=STRING |
送信ヘッダにSTRINGを追加する |
| |
--proxy-user=USER |
プロキシユーザ名にUSERを設定する。 |
| |
--proxy-password=PASS |
プロキシパスワードにPASSを使う。 |
| |
--referer=URL |
リファラにURLを設定する。 |
| |
--save-headers |
HTTPのヘッダをファイルに保存する。 |
| -U |
--user-agent=AGENT |
ユーザエージェントにWget/VERSIONでは無くAGENTを使用する。 |
| |
--no-http-keep-alive |
HTTPの持続的接続機能を使わない。 |
| |
--no-cookies |
クッキーを使用しない。 |
| |
--load-cookies=FILE |
FILEに指定したクッキーを読み込む。 |
| |
--save-cookies=FILE |
FILEにクッキーを保存する。 |
| |
--keep-session-cookies |
セッションで使うクッキーを保持する。 |
| |
--post-data=STRING |
POSTメソッドを使用してSTRINGを送信する。 |
| |
--post-file=FILE |
POSTメソッドを使用してFILEの内容を送信する。 |
wget HTTPS(SSL/TSL)のオプション
| |
--secure-protocol=PR |
セキュアプロトコルを指定する。(auto、SSLv2、SSLv3、TLSv1から一つ選択) |
| |
--no-check-certificate |
サーバの証明書を検証しない。 |
| |
--certificate=FILE |
クライアント証明書にFILEを使用する。 |
| |
--certificate-type=FILE |
クライアント証明書の種類にPEMかDERを指定する。 |
| |
--private-key=FILE |
秘密鍵にFILEを使用する。 |
| |
--private-key-type=TYPE |
秘密鍵の種類にPEMかDERを指定する。 |
| |
--ca-certificate=FILE |
CA証明書にFILEを使用する。 |
| |
--ca-directory=DIR |
CAのハッシュリストが保持されているディレクトリを指定する。 |
| |
--random-file=FILE |
SSL PRNGの初期化データにFILEを使用する。 |
| |
--egd-file=FILE |
EGDソケットにFILEを使用する。 |
wget FTPオプション
| |
--ftp-user=USER |
ftpユーザ名にUSERを使用する。 |
| |
--ftp-password=PASS |
ftpパスワードにPASSを使用する。 |
| |
--no-remove-listing |
".listing"ファイルを削除しない。 |
| |
--no-glob |
FTPファイル名のグロブを無効にする。 |
| |
--no-passive-ftp |
"passive"転送モードを使用しない。 |
| |
--no-retr-symlinks |
再帰取得中に、シンボリックリンクリンクされたリンク先のファイルを取得する。(ディレクトリでは無い。) |
| |
--preserve-permissions |
リモートファイルのパーミッションを保存する。 |
wget 再帰ダウンロードオプション
| -r |
--recursive |
再帰ダウンロードを行う。 |
| -l |
--level=NUMBER |
再帰ダウンロード時の最大階層深度をNUMBERに設定する。 |
| |
--delete-after |
ダウンロードが終了したらファイルを削除する。 |
| -k |
--convert-links |
ダウンロードしたhtml中のリンクをローカルに変更する。 |
| -K |
--backup-converted |
リンク変更前のファイルを*.origで保存する。 |
| -m |
--mirror |
-N -r -l 0 --no-remove-listingを省略したもの |
| -p |
--page-requisites |
HTMLを表示するのに必要なファイル(画像等)を全て取得する。 |
| |
--strict-comments |
HTM中のコメントの処理を厳密に行う。 |
wget 再帰ダウンロード時のフィルタ
| -A |
--accept=LIST |
対象ファイルの拡張子を,区切りで指定する。 |
| -R |
--reject=LIST |
対象外ファイルの拡張子を,区切りで指定する。 |
| -D |
--domains=LIST |
対象ドメインを,区切りで指定する。 |
| |
--execute-domains=LIST |
対象外ドメインを,区切りで指定する。 |
| |
--follow-ftp |
html中のftpリンクも対象とする。 |
| |
--follow-tags=LIST |
対象タグ(html中の)を,区切りで指定する。 |
| |
--ignore-tags=LIST |
対象外タグ(html中の)を,区切りで指定する。 |
| -H |
--span-hosts |
再帰中に別のホストも対象にする。 |
| -L |
--relative |
相対リンクのみを対象にする。 |
| -I |
--include-directories=LIST |
対象にするディレクトリ(フォルダ)を指定する。 |
| -X |
--execute-directories=LIST |
対象外ディレクトリ(フォルダ)を指定する。 |
| -np |
--no-parent |
親ディレクトリ(フォルダ)を対象外にする。 |
作成日：2008-06-16