2007.10.04 Thursday
WGETでのプロキシ超え
wgetコマンドはコマンドラインでプロキシを指定することはできないので環境ファイルにてプロキシ情報を与える。
/etc/wgetrc
コマンドライン:
09/12/21追記:
・インラインでのプロキシ超え
・リンクされている画像を全部ダウンロード例
参考:
wgetでコンテンツ定期取得sh(proxy利用)
/etc/wgetrc
#httpの場合http_proxy = http://proxy.hoge.com:8080/
[ユーザ認証ありの場合](username:passowrd)
http_proxy = http://username:passowrd@proxy.hoge.com:8080/
#ftpの場合ftp_proxy = http://proxy.yoyodyne.com:8023/
#常時プロキシを利用する場合はuse_proxy = on (*1)
コマンドライン:
$ wget http://www.yahoo.co.jp/ --proxy-user=suzuki --proxy-passwd=himitsu
(*1)を指定しない場合$ wget http://www.yahoo.co.jp/ --proxy-user=suzuki --proxy-passwd=himitsu --proxy=on
09/12/21追記:
・インラインでのプロキシ超え
wget -e HTTP_PROXY=xx.xx.xx.xx.xx:8080 http://xxxx
[ユーザ認証ありの場合](username:passowrd)
wget -e HTTP_PROXY=http://username:password@xx.xx.xx.xx.xx:8080 http://xxxx
・リンクされている画像を全部ダウンロード例
wget -r -A jpg,jpeg,gif http://xxxx→ツリー構造が作成されファイルが格納されます
-r ... 再帰ダウンロード
・再帰オプション
-A ... 対象拡張子をコンマ区切りで指定
-r ... 対象外拡張子をコンマ区切りで指定
-D ... 対象ドメインをコンマ区切りで指定
-H ... 別ホストも対象に
-np .. 親ディレクトリは遡らない
-L ... 相対リンクのみ対象とする
-I ... 対象DIRリスト
-X ... 対象外DIRリスト
参考:
wgetでコンテンツ定期取得sh(proxy利用)