Web魚拓やWeb Archiveに代わる何か
|
自分用メモを残しておきたい。 Web魚拓やInternet Archive(WayBack Machine)は便利だ。 Web魚拓( http://megalodon.jp/ )は自分でページをスクラップするのに便利だし、 Internet Archive( http://archive.org/web/web.php )は、今もう閉鎖されてしまったページなんかを見るのにかなり都合がいいサービスだ。 大抵のことはこの二つを使えばなんとかなる。でも、なんとかならない時もある。 ページによってはWeb魚拓がうまくできないことがあるし、Internet Archiveに残ってない時もある。 今回は、とあるページで魚拓をとろうとしたのだが上手くいかなかったので、色々試してみた記録をここにつけておこうと思う。 参考までに。僕が残したかったページはここだ。スクラップして、それを公開したかった。 （後日このような形で公開した） Robots.txtでクロールが禁止されていたわけではなかった。しかし魚拓をしてみたところ（おそらくJavaScriptを駆使したサイトのため）画像が全然保存されなかった。 ちなみにInternet Archiveには保存すらされてなかった。即座保存されたが、画像は保存されていなかった。 というわけで、画像も保存すべく、色々ためしてみたわけだ。 試してみた順に色々とサービスを列挙していく。 Denmoh( http://denmoh.com/index.html )という会社が運営する短縮URL発行サイト。 短縮URLを発行する時に「キャッシュ＋短縮URl作成」という機能を使うことによって、Webページのキャッシュも同時に残すことができる。 僕がためしてみたところ、少し時間がかかったがキャッシュはとることができた。 しかしWeb魚拓同様に、画像をスクラップすることはできなかった。 いつ終わるか分からないサービスだけに、いつまでも残しておきたいスクラップをするようなサイトでもないだろう。 ちなみにこの時とったスクラップがこちら HeartRails( http://www.heartrails.com/ )という日本の会社が運営する英語のサイト。 Webページを画像として切り抜いて引用(quote)できるようにする。 サンプルとして、運営会社のHP(上記URL)を引用したものが置いてあった (コチラ → http://kwout.com/t/fzehu648 ) 「おっ、これはなかなかイケルのでは？」と思ったが、引用できる最大範囲が600×600pxという罠。 ホームページ全体を引用するのは難しかった。 もし無料で使えたらものすごく使えそう（だった）アーカイブサービス。 ここのサイトで紹介されていて、なかなか使えそうだと思って飛んでみたら、2008年には無料だったのに今では有料サービスになっているようだ。 ちなみにそのここのサイトによると、 iterasiは（中略）表示中のWebページ全体をアーカイブすることができる。アーカイブデータはiterasiに送られ、画像やCSS、 JavaScriptを含めて保存される。これにより、万が一元サイトのデータが削除されたとしても、いつでもそのサイトを確認できるようになる。 Flashは画像に変換されて閲覧できる。 うーん、悔やまれる。 無料から有料になったいきさつについてだが、TechCrunchのこのページにこう書かれていた。 Iterasiは完全に無料だが、創業者のPete Grilloは、そのうち特殊な有料サービスの提供を開始すると言っている。 (2008年8月21日) 公式サイトのF&Qには How much does it cost? Because the needs of our clients vary so much from one customer to the next, we need to evaluate the sites and pages you want to archive, and understand your archiving goals before we can discuss pricing. If you’d like a quote please contact us through the form on the contact page. と書かれているだけ。無料だったらこんな感じにスクラップできたのになあ。 尚、iterasiが紹介されているといったここのサイトには他にもサイトが紹介されていたが、 「ScrnShots」( http://www.scrnshots.com/ ) → 閉鎖 「Slogger」( https://addons.mozilla.org/ja/firefox/addon/slogger/ ) → ローカルに保存なので用途違い 「Tombloo」( https://github.com/to/tombloo/wiki/ ) → 惜しい。下で解説。 上に書いたTomblooはfirefoxのアドオンだった。僕が使っているのはchromeだったから、Tomblooのchrome版を探すと、なんとTomblooの公式サイトにそのままリンクがあった。 モノとしては、Webページのスクリーンショットを撮って、それを画像としてタグやテキストと一緒にSNSへ共有できるエクステンション。 だが、惜しい。今回の場合別に画像共有でも構わなかったのだけど、どうやらこいつでキャプチャできるのはウィンドウ内に表示されている範囲だけで、サイト全体とはいかないらしい。 元々、kwoutと同じく引用用のアプリなので、そういう想定はしていなかったのだろう。 待てよ？単にWebページ全体のスクリーンショットを撮って共有するのでもいいんだったら、こいつでもいいじゃないか、と思って思い出したのがこのエクステンション。 僕は以前からこいつを自分のchromeに入れていた。というか、この記事にある画像を撮ったのもこのエクステンション。 Webページ全体のスクリーンショットを撮れる。それをローカルに保存できるから、あとは何か画像共有アップローダにでもそれを上げて、URLを共有すればいいじゃない、という結論に至った。 ここで一応僕の悩みは解決したのだが、「いやいやでもまてまて。ここまでやったんだし色々試してみようぜ」、ということでまだまだ色々と探索してみることにする。 「新gooメール不具合まとめwiki」の内部サービスとして作られたサービスのようだ。 ページを画像としてそのwikiに保存してしまおうとするものだったみたいだが、一般の魚拓としては全く機能していない。 おそらくgooメールの内容を記録するものとして作ったんだろうなあ。ということでボツ。 ここに挙げるのもあほらしいくらい、用途と違う。 でも一応試してはみたのでここに挙げておく。 見た目使えそうなサイトなんだけど、なんかアクセスが不安定だった。 トップにアクセスできることも何回かだったし、スクラップに至っては一回も成功しなかった。 僕のやり方が悪いのだろうか？ スクラップされた後のサイト( http://backupurl.com/***** 形式のサイト)は閲覧できるし、2012/05に作成されたスクラップも確認できたので、おそらく僕の環境が悪いのだろうと思う。 bit.lyみたいなアーカイブサービス。 自分が過去にアーカイブしたものをリストにして見れるらしい。 残念ながらこいつも僕の求める画像をスクラップできなかった。 (この時の結果はこちら) 以上だ。 無料のアーカイブサイトを色々と回ってみたが、どれも無理だったという結果になる。 僕の環境が悪い可能性もあるので、全員がそうなるとは一概に言えないが 少しリッチなサイトはうまくクロールできないんじゃないかなぁ……。 有料でもいいんだったらこんなにたくさん選択肢があるのだけど そこまでするつもりは毛頭ないので、キャプチャ画像で諦めることにする。 ここまで自分用メモでした。 それでは。
|
ブログではありませんが書きました
WebCite
h ttp://www.webcitation.org/
h ttp://webcitation.org/
ここはどうでしょうか
私が試したら画像も保存できました
2012/12/22(土) 午後 9:53 [ http://akkonohorse.zxq.net/ ]
http://akkonohorse.zxq.net/ さん、コメントありがとうございます。
紹介くださいましたWebCiteというサービスですが、なかなか面白いです。
現在「人間」のホームページは、既に僕がスクラップしたかったものとは別のバージョンになってしまっているのですが、それでも一応スクラップを試してみたところ、うまくできました。
この記事を書いた当時にWebCiteに出会えなかったのが悔しく思います。
どうやらWebCIteはJavaScript等もきちんと保存してくれているようで、2012/12/23現在の「人間」ホームページを以下のようにスクラップしてくれました。
http://www.webcitation.org/6D7L7nQxN
きちんと動いています。
ご報告ありがとうございました。
2012/12/23(日) 午後 2:02