[linux-users:82011] Re: jspを使用したウェブのページの取得ツール

[Satoshi Osabe <s-osabe _at_ xxxxxxxxxxxxxxxxx>]

長部です。

Takeaki Kato wrote:
> 
> 加藤です。

こんにちは。どうもありがとうございます。

> 欲しいファイルを、リンクしてあるページを指定して、
> wget -br URL
> とか、欲しいURLの一覧を、ファイルに書いといて、
> wget --input-file=filename
> とか。

いろいろ、思考錯誤して、wgetの使い方がある程度わかって
きました。例えば、www.foo.co.jpというサイトに、ディレク
トリ /A、/B、/Cがあり、/Aの下を全て、/Bの下のうち、
/B/Dの下を除く全てをゲットしたいとき、

wget -rb -X /B/D,/C -I /A,/B http://www.foo.co.jp

とすると、不要なディレクトリがダウンロードされないことが
わかりました。

ただし、もう一つやりたいことがあります。
このままだと、指定したディレクトリ下のファイルを片っ端から
全てダウンロードすることになり、指定したurlのサイトに
迷惑をかけることになります。それで、リモートのサイトの
ファイルの作成、更新日時を見て、ある日時以降のファイルのみ
をゲットするオプションがないかと思うのですが、wgetのman、
infoを見てもないようです。ウエブページを取得するときには、
皆さん、片っ端から取得しているのでしょうか。