Internet Archive総合 (web.archive.org) #5

なんだかんだでお世話になってるInternet Archiveについて語りましょう
Internet Archive
http://archive.org/

インターネット・アーカイブ - Wikipedia
http://ja.wikipedia....wiki/InternetArchive
　------------------
Twitter
https://twitter.com/internetarchive/

関連スレ
【保存・記録】ウェブアーカイブ総合 Page.01
https://mevius.5ch.n...internet/1554553882/


前スレッド
Internet Archive総合 (web.archive.org) #4
https://mevius.5ch.n...gi/esite/1628793497/
https://twitter.com/5chan_nel (5ch newer account)

【QA】

Q.Internet Explorerで日本語などの2byte言語のページのWeb Archiveキャッシュを見ようとしても
真っ白なページ＆文字化けが起きる＆極端に重いなどの症状が出てしまう
A.[表示]もしくは右クリック→[エンコード]→[日本語(自動選択)]やその言語の文字コードに則したものをクリック

Q.Web Archiveでダウンロードしたzipなどが開けない＆CRCが違うと表示される
A.よくWeb Archiveは1byte欠けを起こすのでバイナリエディタなどで該当ファイルを開き、
16進数の最後の末尾に「00」を付加すると正常なファイルになることがあります。

Q.寄付したいんだけど?
こちらから金額,一度きりか毎月か,送金方法を選んで寄付してください
https://archive.org/donate

Q.すぐに保存したい場合は?
Save Page NowにURLを入力して「SAVE PAGE」ボタンを押す
https://web.archive.org/save/

Q.アカウント作ったらなんかいいことあるの?
A.ページのスクリーンショットを保存したり、ページの全てのリンク先を保存できる「Save outlinks」という機能が使える

Q.spn@archive.orgにメールでURLを送ったら保存されるの?
A.1週間後に保存完了のメールが届いたり、何も戻ってこない失敗した場合があるので、確実に保存したいなら辞めたほうがいい

Q.インスタのURLが保存できないんだけど
A.ログインしないとコンテンツが表示されない仕様になったので保存自体が無理になってます

Q.robots.txtでia_archiverをDisallowしても無視されるの?
A.中古ドメインでサイト見れなくするやつのせいでrobots.txtを見ない仕様になったので無視されることも従うこともある。保存できることもあるので確認してみたほうが早い

Q.鯖落ちしてる?
A.ここで鯖状態を見れる
https://analytics0.a...ive.org/stats/wb.php
https://archive.org/stats/

Q.Temporarily Offline The Internet Archive's sites are temporarily offline. We apologize for the inconvenience. って何?
A.たまにメンテやってサイト見れなくなることがあるので、待ちましょう。ツイッター(@InternetArchive)でメンテ予告は発表しています

Q.Save Page Nowの制限などの仕様は?
A.ここを参照
https://docs.google....tSgpKHu4mk0MnrA/edit

Q.Save Page Nowで保存完了しても保存されたページが表示されないんだけど
A.完全にページが見れるようになるのと、/*/のページ一覧やカレンダーに反映されるまで時間かかるので最大数日待ってください
ほとんどは数分後には見えるようになってるはず、もしくはウェブブラウザのキャッシュを削除するといいかも

Q.「The capture is estimated to start in XX minutes.」って何?
A.Save Page Nowの保存サーバーの空きがなくて保存処理に時間がかかってる状態、急いでなければあとでやるのも手

Q.The same snapshot had been made XX minutes and XX seconds ago. We only allow new captures of the same URL every XX minutes.
A.同じURLを短期間の間に何度も保存できない仕様になっています、誰かが数分前に保存したか、自分で保存したときに一部の画像がかけて保存されている状態でも表示されることがあります
気になるなら1時間後ぐらいにもう一度保存してください

Q.The server didn't respond in time for https://(保存しようとしたURL)
A.極端にページの返答が遅いサイトを保存しようとするとこの表示が出ます、何度かやれば保存できることもあります

Q.「You have already reached the limit of active sessions」が出た
A.同じIPアドレスからの同時保存制限に引っかかってる状態。2021年5月24日以降はログインしていないユーザーは同時保存は3個まで。1分ほど待てば制限解除される

Q.「This URL has been already captured 10 times today. Please email us at "info@archive.org" if you would like to discuss this more.」が出た
A.1日に同じURLは10回まで保存できる制限に達したので、また明日(UTC)

Q.「This URL has been excluded from the Wayback Machine. 」って何?
A. robots.txtのブロックや、サイトの運営者や著作権者がドメインやこのディレクトリごと非表示化の申請をした可能性があります、
ただしURLの保存はできますし、将来的にブロックが解除されて見れるようになる可能性もあります

Q.「Cannot get status of spn2-乱数」のエラーは何?
A.Save Page Nowで保存中にサーバーの状態が取得できなかったときのエラーで、/*/で保存されているか確認して、されてなければもう一度保存してください

Q.「404 Not Found」のエラーは何?
A.サイトが存在していてもこのエラーが出ることがあります。その場合は時間あけて一度保存してみましょう

Q.「Sorry Job failed」が出た
A.このエラーが出たとしても一部画像やスクリプトファイルが欠けた状態でページ保存できていることがありますので、/*/で確認してみてください
保存できてない場合はやり直してください

便利なツール
https://github.com/w.../webrecorder-player/
https://github.com/i...#query-result-limits
https://github.com/h...k-machine-downloader
https://github.com/o...-machine-spn-scripts
https://github.com/akamhy/waybackpy
https://github.com/J...erArchivist/snscrape
https://github.com/bibanon/tubeup

拒否URL関係まとめ

This URL has been excluded from the Wayback Machine.
https://note.com/
https://gigazine.net/
https://boards.4channel.org/
https://bokete.jp/
https://yoshidakenkou.net/
https://tanteifile.com/
https://motherless.com/
https://www.lancers.jp/

This URL is in our block list
https://finance.yaho...o.jp/brokers-hikaku/ 以下全て
https://movie.eroterest.net/
https://anime.eroterest.net/

サイトの仕様で取れないもの
https://ch.dlsite.com/matome　記事本文が取得不可、todayなら取れる
https://www.pixiv.net/ 投コメのみ取得可、todayなら取れる

ArchiveTeamのexcludedまとめ
https://wiki.archive..._the_Wayback_Machine

アーカイブ済のURL一覧を出力する方法
1. http://web.archive.o.../cdx?url=example.com*&output=txt にアクセス
2. example.comのところをアーカイブしたページのトップページURLに変える。*を誤って消さないようにすること
3. 大量のテキストが出るので全選択してコピー
4. Excel立ち上げてCtrl+Aで全選択して貼り付け
5. 「テキストから列へ」を選んでスペースを基準にセルを区切る
6. セル列のアルファベット文字をクリックしたらその列が全選択になるからURLの列をコピーしてテキストエディタに貼り付けるなりする

同じURLでも保存した時間分の数書いてあるから置換ツールで重複した行を消すこと
IAのURLsでは10000個までしか表示できないがこの方法使ってアーカイブされたURLの正確な総数がわかるはず
WEB版のExcelだと貼り付け時に容量オーバーで受け付けてくれないことがあるからその場合はLibreOffice Calcでも使えばいい
LibreOfficeの場合貼り付け後、表全体の全選択を解除し、1回セルAをクリックしてセルAを全選択した後、データ→テキストから列へ を選ぶことでセル分け可能


引用元: https://exposureninj...ct-urls-archive-org/
https://mevius.5ch.n...esite/1628793497/332

>>1おつ

Internet Archive総合 (web.archive.org) #2
https://mevius.5ch.n...i/esite/1475246713/5

5 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2016/10/01(土) 04:24:53.46
テンプレのＱ＆Ａ二件、まだそんなやり方が通用すると思ってる奴いるの？

おつでありんす

todayだとヤフーニュースが保存できなくなってる
だからInternet Archiveで保存することが増えた

慶応vs横浜だけじゃない…甲子園目指す球児とファンを悩ます高校野球「パイア問題」とは？
news.yahoo.co.jp/profile/comments/55eb7cbd-6f69-41ed-ab91-6d7a3ebd5d16

私も19年前鹿児島県大会の夏、三塁塁審の誤審により三点本塁打となり高校野球を終えました。
主将を務めていた私は何度も三塁塁審へ抗議にいきましたが、塁審は「私が間違う訳がない」の一点張り。
その日に放送されたニュースでもしっかりファウルである映像が映し出されましたが判定が覆ったわけでもなく、
むしろその誤審をした審判は今や鹿児島県高野連の審判長まで登り詰めております。
ただ試合後主審の方が私を呼び出し、「審判も人間だから間違うときもあるからね」と声を掛けられました。
誰が見てもわかる誤審であっても審判長にまで登りつめるためには誤審を認めるわけにはいかない、
審判の方々も会社と一緒でそういったなかでされていて大変なのかもしれないとこの歳になって少しわかってきました。

todayでも↑のコメントを保存したかったなあ…

盲人でも野球の審判を業務として行えるという実例ですね

twitterのプロフィールはwaybackmachineで保存できなくなった
個別のツイートは保存できるけど、コメント欄は保存できないし、いろいろ改悪されたなあ

tubeupでひたすらサムネイルだけ上げてる奴って何が目的なんだ？
他の人がアップロード出来なくなるから普通に迷惑なんだが

ニコニコとかYouTubeってarchiveで保存しても動画再生出来ないの？

>>16
自分は魚拓サイト初心者だから専門的な知識とかは余り持ってないけど
IAやtodayでは動画サイトの動画は恐らく保存されないと思う

>>16 >>17
IAはYouTubeだけ特別に動画も保存される仕様になってる

>>14
今はプロフィールも保存できるね（ログインしなくても閲覧出来る）

方針コロコロ変えすぎでわけが分からないよイーロン

動画サイトが動画直リン保存すればいける場合もあんのか

またTwitterのプロフィール取れなくなってるわ
あのさぁ・・・

あれ？また取れるようになってるな
非ログイン状態でも見れるプロフィールと見れないやつがある？
条件が分からん

なんかtwitterのプロフィール保存すると、過去ツイがランダムに表示されるだけで、最新のツイートが保存されてない。

もう訳わからんわw

archive.orgって画像複数を一括保存とか出来る？
いちいち一つずつURL入力保存しないといけないの？

>>24
API が公開されているから、画像に限らずそれ利用するスクリプトを組めばよい。
https://docs.google....tSgpKHu4mk0MnrA/edit

>>24
Have you ever wanted to archive all the web pages linked from an email message?

Well, you are in luck because now you can forward that email to savepagenow@archive.org”
and after a few minutes you will get an email back filled with Wayback Machine playback URLs.

>>7
>
> サイトの仕様で取れないもの
> https://ch.dlsite.com/matome　記事本文が取得不可、todayなら取れる
> https://www.pixiv.net/ 投コメのみ取得可、todayなら取れる
>





↑今春までならtodayで取った完全アーカイブをarchive.orgへ再取り出来たんだが拒否URLにされたのか弾かれるようになってしまった。。
　
　

前スレ埋まってないんだから前スレに書きなよ

dclogもサービス終了

>>29
終了告知から終了まで1か月もないとはひどいサービスだな

音楽レーベル、デジタル化されたレコードコレクションをめぐりインターネット・アーカイブを提訴
https://www.reuters....llection-2023-08-12/

Sheetsのbatch処理ここ数日ずっとqueuedのままや
そんなに使ってる人おるんか

archiveってpornhubとかエロ動画直リン保存ってしていいの？

>>33
やめとけやめとけ、お前のお母さん悲しむぞ

こんなのも絶対に見ちゃいかんｗ
https://archive.org/details/adultcdroms

>>31
日本語記事も出た

ソニーら音楽各社、著作権侵害でInternet Archiveを提訴。SPレコード2749作品以上をデジタル化・公開
https://www.techno-e...2023/08/13/1742.html

>>33
internet archiveの規約を見た感じ特にルールは設けられてなさそうだけど、
archive teamによるとコンテンツが削除されたり、アカウントが凍結されたりする可能性はあるらしい

余談だけど、archive teamは元々ポルノはネット上で最も分散保存されているコンテンツだからアーカイブしないという方針だったんだけど
wikiの編集履歴確認したら、今年8月からは通常のコンテンツと同様の扱いにするという方針に切り替えたっぽいな
https://wiki.archive...m.org/index.php/Porn

最近フラッシュのページのアーカイブ見るとruffleっていうＳＷＦエミュレータが起動してフラッシュを再生してくれるようになったな

xtubeの動画のアーカイブもなんとかなりませんか
どうせどっかにあるんだろ

SPN2のAPIのドキュメントに、「anonymous user」って表記があるんだけど、anonymous でAPI叩くには何を指定すれば良いの？
authorizationヘッダを付けずにAPI呼ぶと、
"You need to be logged in to use Save Page Now."
ってエラーになっちゃう。
anonymousの制約で十分だから、APIキー無しで使いたいんだけどな

>>39
それ、応答を HTML でも返せるところを
Accept ヘッダでわざわざ JSON 形式を要求すること自体が要アカウントっぽいんだよね。
どーしてまたそんな所に匿名ユーザ制限が入ってるのかは解らんけど。

現状のSPN2APIはよく分からん仕様が多くて「痒い所に手が届かない」感じなので
あまり深く考えない方がいい

ヤフー知恵袋、SPNだと取れるのにoutlinksの方だけエラーになってるぽいな

ここ最近自動でアーカイブされてないこと多いよな。
御叱りでも受けたか？

>>14 イーロンの仕業か。

ここ数日やけに接続エラーが起きてると思ったらこれなんだよね。
スクリプトは当面 HTTP へ切り替えるかぁ。

>>45
道理で最近つながりづらいことが多いと思ったら・・・
俺環だけではなかったのか

久々に SPN2 API のドキュメントを見返していたら、
/save/ に新設のパラメータがあることに気づいたぁ。

use_user_agent=<XXX>
Use custom HTTP User-Agent value when capturing the target page.

2022-07-28 日付けの版で追加されてたのね。

Sorry Job failed
と表示されるarchive.orgのページが保存される謎バグに遭遇して笑った
ただの表示バグだと思いたい

Atwikiってspn で取れなくなってる？
エラー吐いてる

と、何のエラーか説明すらできない言語障碍児が申しております。

おま環じゃなかったか
アニオタwiki消えそうだから保存しようとしたんだけどなー
Archiveboxで自分でwarc取るしかないか
センキュー

HTTP status=403
atwiki側が意図的に排除してる

エラー吐いてる、だけじゃ何もわからんな

atwikiって前は取れた気がするけど
方針変えたのか？

https://web.archive....wiki.jp/aniwotawiki/
403から200に戻ったｗ

Googleだとなぜかhttpの方がインデックスされてるせいで繋がらないな
というかいい加減httpからhttpsに転送するようにして欲しい

Internet Archive総合 (web.archive.org) #4
https://mevius.5ch.n...esite/1628793497/975

975 名前：名無しさん＠お腹いっぱい。[] 投稿日：2023/07/24(月) 07:55:27.47
放置してたらURL8万行分集めてて、もう飽きたからこれアーカイブしてdatアーカイブやめます
保存されるやつみたら文字化けしてるし意味あるのかなといった感じでもある
普通の過去ログやる方が有意義におもう

↑エアプ野郎ｗ

http://homepage2.nif...J-R/enjoy%20pich.htm
↑のアーカイブを見ようと思ったら「This URL has been excluded from the Wayback Machine.」となってて、つまり除外設定されてるんだけど
これの理由(誰が、いつ申請したか)を知る事って出来る？

禁止しているドメインの一覧は多分↓なんだろうけど、このページ自体は2019年くらいから作られるし、リストに追記される理由とか何も書いてないから詳しくがわからん
https://wiki.archive..._the_Wayback_Machine


個人が作るHPスペースをまるごと除外設定するのが通るのは、インターネットアーカイブの目的としてもちょっと勘弁して欲しいなあ
個人HPこそ後世に残したい

>>56
> 保存されるやつみたら文字化けしてるし

テキストエンコーディング変換前のファイル見れるだろ

>>58

多分このことじゃね？

https://web.archive....e/dat/1608930977.dat

スクリプト回してるのにim_とかid_とか知らないって嘘くせぇ
https://web.archive....e/dat/1608930977.dat

>>57
理由は公開されないけど基本的にサイトの管理者が除外申請した場合だね
確かにアーカイブの目的には反してるが、ここをしっかりしないと著作権侵害で突かれる可能性があるので
あとexcludedであってdeletedではないのでIAには残ってるはず、オンラインでアクセス不可になるだけ

YouTUbeの再生ページがアーカイブされるの遅過ぎだろ。
何やってんだよインターネットアーカイブに保存する人は！全然チェックされてないじゃん！
やる気あんのか？寝てたのか？
どうして誰も保存しないんだ？自動アーカイブはどうした？

https://www.youtube..../watch?v=jjZEQ9Nocp4

https://www.youtube..../watch?v=lnlyZlIRO1U

YouTubeの再生ページがアーカイブされるのがかなり遅いケースがもう10か月以上も続いている。
公開から10時間後とか。
自動アーカイブはどうしたのか？

5chをアーカイブしてもエラーページになる事が増えたなぁ
重くなってるのか？

一番上に書いてあるvideoとかmusicってなんですか？
いろいろありますけど保存してもいいんですかね？

昔と違い私的理由で使う人が多すぎて
ゴミ集積場化が止まらない

archive.today繋がらない
おま環？
>>66
たとえばどんなサイトの事言ってるの？

>>64
同感

たとえば「【文春砲】令和の米騒動、現場写真がリークされる」というスレッドも
8月31日の11:32:22は保存できているのに、それ以降はエラーが起きて保存されていない

web.archive.org/web/20230000000000*/https://nova.5ch.net...vegalileo/1693474206

同じスレを何度も保存する意味あるの？

1000までいってないなら意味あるんじゃない

もう「なんでも実況(ガリレオ)」板のスレは過去ログの魚拓とれないのかもな

【悲報】安倍晋三語録、「同意」を表すものが存在しない
nova.5ch.net/test/read.cgi/livegalileo/1693837620

IAではserver errorとなるしアーカイブトゥデイでも「Not Found (yet?)」となる　→　archive.is/I6WEN

昔の魚拓見ようにも重いのかエラー出るな

>>71
nova.5ch.net は 7 月から継続的に DDoS 攻撃を受けているサーバのうちの一つ。
その対応で、おそらく日本以外の IP 向けに L4 レベルのアクセス制限を掛けている。

https://agree.5ch.ne...erate/1673084281/16-

>>73
なるほど
確かにエラーが起こるのはnovaが多かったな
永久に解除されない、なんてことにならなきゃいいが・・・

【悲報】17歳の上玉白人美少女ちゃん、交通事故の罪で終身刑を言い渡される
nova.5ch.net/test/read.cgi/livegalileo/1693978274

このスレもサーバーエラーで魚拓とれなかったからグーグルのキャッシュ経由で魚拓とった
archive.li/pGUd4

家のWi-FiでCONNECTION REFUSEDしか出ないから試しに携帯回線につなぎ替えたら普通に繋がった。
手動で取ってただけでアク禁にされたのか

>>76
それ、一週間前にうちもやられた。
仕方なく筑波 VPN 挿して、同じようにガンガン回したけどそっちは止められることが無かった。
何が引っ掛かったのか、全くもって判らん。

>>76だけど半日くらいで解除されたっぽい

>>73-74
eggもエラー起きるな

Twitterまた取れなくなってね？

前スレのころ20分ぐらいつながらないことがあったが、
それ以上に長くつながらない・・・

81の件、ようやくつながった

twitter、じゃなくてX取れなくなってるな
個別のポストはtodayの方で辛うじて取れるが

twitterで良くね
Xとか勝手に名称変えたアホ以外誰も言ってねえわ

ジャスコ、ダイエー、サティ、ダイヤモンドシティ、イオン、

前スレ955への返信だがグーグルキャッシュなどを経由すれば
好き嫌いドットコムのコメント欄も魚拓とれる場合がある

webcache.googleusercontent.com/search?q=cache:syMmr8fOqbkJ:https://suki-kira.com/people
/result/%25E3%2582%2586%25E3%2581%259F%25E3%2581%25BC%25E3%2582%2593

>>76
アク禁にされたっぽい
保存はやってなかった、心当たりがあるのは多数の保存済みアーカイブを一斉に開いただけ

ツイートと付随する動画像をCSVでまとめて落とせる国産ツールない？
イーロンになってからアーカイブサイトにいれるだけじゃ不安だから、自前で持っておいて必要に応じてアップできるようにしたい

Batch process Google Sheetsがabort出来ないバグ何とかしてくれ
相手側に負荷がかかってたらどうすんだよ

やっと止まったわ、遅すぎ

5ちゃんも有料化云々でヤバそうだし
スレアーカイブしといた方が良さそうだな…
そろそろ消えそうな予感

いつ復旧するかなー

Attempts to archive this video failed.
はなんなんだよ

savepagenowを実行したあとにgoogleのサポートページ？に飛ばされるのはどういう仕様？

twitterの記録取れなくなるのは将来に禍根を残すと思うわ。
数百年後に歴史を振り返った時にSNSは史料的な価値があると思う。

今のツイッターって?failedScript=vendorつけても無理になったの？

ﾌｳｰεε=( ~ε~ )y-ﾟﾟﾟ

teacup. byGMOレンタル掲示板あんま残ってねえな

もう5chの過去ログ課金しないと見れないっぽいね

>>99
現役鯖の分はまだ落ちてくるけどなぁ
https://mevius.5ch.n.../1628/1628793497.dat
/oyster/ 以下のディレクトリインデックスが掘れなくなってはいるが

Sorry
Cannot resolve host ipv6.icanhazip.com.

IPv6 の名前解決ができなくなってる

todayがちと重い

>>99
単純に重いだけじゃない？

今繋がらないんだけど、私だけですか？

Wi-Fiに切り替えたら繋がった。
どうやらアク禁らしい。
普通に閲覧してただけだし、何も心当たりないんだけど…

>>105
その「閲覧」もヤバい

>>106
えっ、そうなの？
とりあえず今はアク禁解除されたっぽいけど、
アク禁になる条件って、短時間にたくさん見るとか？

人間レベルの閲覧でアク禁になるなんて聞いたことないが
ただの勘違いじゃないの？

画像が大量にあるページでそのほとんど取れてなかったりするとすぐ開けなくなる

>>109
> 画像が大量にあるページでそのほとんど取れてなかったり

その取れてない画像、全て/save/にリダイレクトされてるから
結果として大量にアーカイブ要求を発行することになるんだよね

んで、その時にアーカイブされるのは3つ程度であとは全て429エラー
運が悪いとそのままアク禁

>>99
過去ログについては一応、2chSCへも殆どがミラーされてるはずだけどな…。

油断は禁物

あとpink系は全部だめ
５ｃｈ新設板系も全部だめ

ｓｃはクロールされてるなと思って後で確認すると途中でクロールが止まってそのままというのがかなりある
こういう状態になるとクロール再開しないケースが多く５ｃｈ側が飛んだ時に頭のほうしか控えが取れてなかったりする

過去ログ、今年中は見れない可能性あるらしいな・・・

0119Ace ★
2023/10/13(金) 09:40:26.65ID:CAP_USER
過去ログについてですが、現状はアーカイブ圧縮状態で
展開再配置は相当に時間がかかる見込みです。
完了は年を越す可能性もあります。

https://agree.5ch.ne...erate/1697113482/119

たまに総アーカイブ数が294 billionって表示されるの何なんだ？

>>112
一応なんG板とか、2014年春以降に新設された板でもSC側のbbsmenu一覧ページに追加されてないだけで、

［　http://tomcat.2ch.（えすしー）/livegalileo/　］

…の鯖名から開けばアーカイブされてたりするけど、PINKともども最近の過去ログについては本鯖のモノが未だ活きてる。

X保存できるようになってる

X保存できるようになってる

X保存できるようになってる

連投すまん
ミスった

>>107-108
残念ながら自分も・・・
前は20分ぐらいつながらなかったのが、
最近は締め付けが厳しくなりそれでは済まないレベルに

>>107-108
残念ながら自分も・・・
前は20分ぐらいつながらなかったのが、
最近は締め付けが厳しくなりそれでは済まないレベルに

video.twimgとれなくなった？

>>123
普通に取れるけど

こんなのがいつのまに
2022年11月18日 23時00分レビュー
無料＆広告なしで個人サイトを作成できるGeocities風サービス「Neocities」を使ってみたよレビュー
https://gigazine.net...cities-free-website/

利用者の多いコンテンツの生殺与奪を特定小数人が握ってるのは危なっかしいよな
https://hayabusa9.5c...newsplus/1698901347/
まあつべはバックアップを隠し持ってそうだけど　こんな金になりそうなもん手放さねえだろうし　一般人が直に利用できないだけで

日本の書籍が著作権ありのもたまにいいのがアップされてたのが、騒動以後いっこもアップされなくなったなあ
結構暇つぶしにいいのに

質問です
・今開いているサイトの魚拓をワンクリックで取る方法はありますか？
（いちいちInternet Archiveのサイトを開いてコピーしたURLをペーストして決定を押すのがちょっと面倒です
）
・サイト全体（orサイトの複数ページ）を自動で保存してくれる機能はありますか？

>>128
公式のページで使えと書かれている拡張機能
https://chrome.googl...adcjpehmlllkndpkmiak
https://chrome.googl...hedmeklebabdgagipbia

アクティブチーム何やってんだよ。
なんで下記のURLは誰もアーカイブしてないんだ？

https://www.youtube..../watch?v=XGeNeLWnYdc

アクティブチームｗ

どうしてもすぐにアーカイブしたい動画があるならtubeupを使って自分でうpするか
Yt-dlpを使ってメタデータを含めてローカルに落とすのが理想や！

ArchiveTeamは特定の動画(削除の危機がある, ニュース, 政治etc)に限定して保存してるから、保存したい動画は手動保存する必要がある
リソースは有限だからね
↓詳細
https://wiki.archive...ex.php/YouTube#Scope

Wayback Machineに保存されてるそこそこ古めのページを表示すると、一部の画像が表示されない事ってよくあるよね。
あれって何でああなってるの？たとえば以下のページなど。
https://web.archive....rdriller/page01.html

このページは2002年保存だけど、比較的新しい2010年とかに保存されたページでも同現象になってたりする。
当時保存した人も、ちゃんと保存できてるか確認して、当時は問題なく表示されてたんだと思う。
今俺たちが保存してるサイトも、10年後には画像がところどころ抜け落ちて不完全な状態になるのかと不安。

確認されてないから画像が抜け落ちてる

>>134
そもそも Internet Archive でヘッドレスブラウザを実装したのがほんの数年前のことで、
それまでは指示された単一のファイルをアーカイブするだけだったから。

アーカイブされた HTML をクライアント側のブラウザで表示したときに
個々の画像等の保存リクエストが Internet Archive へ発行されるような実装が
なされたこともあったが、それ自体も 2010 年代中盤だったはず。

そうかなぁ？
俺はInternet Archive側にある画像ファイルが何らかの理由で勝手に消滅したと思ってる。
以下のサイトとかもそう。画像が1つも保存されてないのはおかしいだろ。
https://web.archive.....co.jp/fr/index.html

>>137
それ Alexa のクローラが保存したアーカイブだしｗ

>>137
https://ja.wikipedia...AB%E3%82%A4%E3%83%96
IA自身がクローラーを回して収集活動を始めるまでの歴史について知っておくと良い。

昔のエッチサイトで自分が見たいところだけ抜け落ちてる悲しみ(´･ω･｀)

IAのアーカイブって色んな団体のアーカイブがまとまったものだからな、SPNなんてごく一部だよ
画像も収集してる団体もあれば、HTMLだけを取得してる団体もあるのでアーカイブ次第
例えばウェイバックマシンを使ってるとよく目にするCommon Crawlはほぼ画像が取得されてない

確実に保存したい時は
InternetArchiveとArchive.todayどっちもアーカイブしてるわ
それで大体残ると思うけどどうだろ

>>141
それで精度だったり保存量にばらつきがあるんすね

ここ最近自動アーカイブがされてないようだけど一体どうしたんだ？

ここのアーカイブ開いても年齢確認から先に進めない

ラズパイでエロゲ
https://sirius10.net/Games/hgames.php

>>145
クッキー喰ったことにすればアーカイブはできるな。
使うのは API の capture_cookie パラメータ。
https://web.archive....net/Games/hgames.php

えっ？年齢認証のページも保存できたの？初めて知った。
以前、以下のページを保存したかったけど諦めたんだ。
https://www.konami.c...games/pcemini/jp/ja/
もしこのページ保存できるなら、上部メニューの8ページほど保存しといてほしい。もしくはそのAPIの使い方を具体的に教えてほしい。
まだ誰も上手く保存できてないみたいだし。

保存してほしいのは以下の6個のURL。もし保存できるのであればだけど。
https://www.konami.c...games/pcemini/jp/ja/
https://www.konami.c...opics/jp/ja/topics_9
https://www.konami.c...emini/feature/jp/ja/
https://www.konami.c...s/pcemini/faq/jp/ja/
https://www.konami.c...emini/inquiry/jp/ja/
https://www.konami.c...emini/product/jp/ja/

保存したい気持ち、解るなぁ
https://web.archive....games/pcemini/jp/ja/

>>149
確認できたわ、ありがとう！
Internet Archiveを極めてるね！

>>146
すげえ、ありがとう

If something goes wrong please click here to send us an error report.
ってやつ、下じゃなくて上に配置してくれないかな・・・
何回誤送信したか分からん

twitter保存できないことが最近増えてるみたいだけど、archivetodayでも保存できない場合は、cacheリンクをぶち込むと保存できるでー

twitter以外の保存できないサイトも、

https://webcache.goo....com/search?q=cache:保存したいリンク

をWabackmachineに入れればキャッシュを保存できる。

認証要る系は無理

twitterならnitterで良くね？

リダイレクトページを保存して過去のアーカイブ上書きして使いづらくする問題
なんで放置されてんだよ！

俺も基本nitterキャプってるなTwitter取得する時は

"The requested video has been archived but is not currently available for playback."と"Attempts to archive this video failed."が出たときが一番ダルい

イーロン・マスクのせいで、１tweetごとにarchiveしないといけなくなったけど、
より問題なのは、tweet群が本人の削除やアカウント停止などで消されてしまったら、
archiveがあってもtweet同士のつながりがわからなくなること。
以前はtweetを1カ所か何カ所かwayback machineで押さえれば、スレッド丸ごとarchiveできたのに。

何度保存しても「Hrm.　The Wayback Machine has not archived that URL.」が出続ける。

>>160
ほんとゴミだよな
戻してくれないもんかね…

>>161
https://web.archive.org/save/

このページからやればできる。

>>161
> 何度保存しても

数日後、その何度も保存したのが一斉にカレンダーに登場するパターンｗ

SPNって一日1000ページ保存が上限なのか。初めて引っかかった。outlink込みでやってたからか。

あと最近頻繁にログアウトしてしまうんだけどこれも不具合なのかな。

>>162
戻る可能性もありそう。

ツイッターの閲覧制限　「経済的な理由という指摘もある」と辛坊治郎
https://news.1242.com/article/448206
Twitter閲覧制限 の理由：データスクレイピング の全てを わかりやすく 説明します
https://sotatek.jp/b...tter-new-view-limit/
「情報はタダじゃない」訴える意図？ Twitter閲覧制限 “スクレイピング”…サーバー負荷にマスク氏不満か
https://news.ntv.co....4432a4ae38cecc2a2cf4
【解説】ツイッター“閲覧制限”なぜ？ 考えられる2つの理由 マスク氏の狙いは
https://news.ntv.co....431889171d51800beb37
Twitterの閲覧制限が起きた理由｜今後のビジネスへの影響は？
https://blog.formzu.com/twitter_limit

>>165
> SPNって一日1000ページ保存が上限
それ何処から来た数字よ？

https://web.archive.org/save/status/user

イーロンの野郎また何かやらかしたのか。

どっとうpろだ.orgサービス終了かよ
知らなかった

忘れた頃に消えてくれるからお世話になったなぁ・・・
長いことおつかれさんでした

saveできない状態

普段は「Not Found」が出ても何遍か更新すると正常に戻るが、今は何遍更新しても・・・

マジか。保存対象URL側に問題あるのかと諦めて魚拓で済ましたけどIA側の問題だったのか

URL側の場合は「Not Found」というか普段から「このURLは保存不可」的なのが出るが、
今はどのサイトを入力しても「Not Found」

JSON で user status を得ようとしても 503 が返る
逝っちゃってるねぇ
https://web.archive.org/save/status/user

今日朝からnot foundだったから来てみたらおま環じゃなかったか

ようやくできるようになったが、4時間待ち（待ち時間は環境によるだろうが）

復活したけど、これじゃ今日のページ存できないな
The capture will start in ~7 hours, 39 minutes because our service is currently overloaded. You may close your browser window and the page will still be saved.

待ち時間未明よりは減ってるが、まだ1時間待ち（環境によるだろうが）
ただし、PDF絡みの取得は問題なし

重い

14 hoursとか取得時間かかりすぎ

やっと直ったか

ページを保存しようとしたら

The capture will start in ~3 hours, 5 minutes because our service is currently overloaded. You may close your browser window and the page will still be saved.

と言われて、まだ終わらないけど、MP4動画単体を保存したら瞬時に保存された。

2023/12/03(日)19:39:14
URL: https://video.twimg....WJL1FSGpy8aLWnvc.mp4
Job: https://web.archive....7f4e7c9b1139d337b0d8 [success][0.29s][初]
成功: https://web.archive....WJL1FSGpy8aLWnvc.mp4 - 2023/12/03(日)19:39:15

>>183
.jpg とか .png とか .zip とか、ヘッドレスブラウザでレンダせず
ファイル単体を保存するだけで済むものはそんな感じ。
.pdf も outlinks の走査はされるけど何故か速い。

でた蔵の過去のテレビ番組のアーカイブ2022年12月以前の削除されちゃったんだな、最悪
gooといい価格コムといい削除するなら最初から公開しなきゃいいのに
NHKも一時期過去の番組表見れないようにしてたし何の目的なんだろうな
維持するのも金がかかるのかねえ

更新終了および閉鎖のお知らせ
2017年7月より更新を続けてきたウェブメディア「wezzy」ですが、2023年12月31日をもって更新を終了する運びとなりました。長年のご愛読ありがとうございました。
2024年3月31日にサイトの完全閉鎖を予定しております。

https://wezz-y.com/archives/95862

更新終了および閉鎖のお知らせ
2017年7月より更新を続けてきたウェブメディア「wezzy」ですが、2023年12月31日をもって更新を終了する運びとなりました。長年のご愛読ありがとうございました。
2024年3月31日にサイトの完全閉鎖を予定しております。

https://wezz-y.com/archives/95862

こんな糞重いクルクルクルクルしてるだけのゴミクズサイト
すでに2億円も寄付されてるの糞受けるな
裏金アベノイミン党みたいな連中だ

Not Found
The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.

saveできない
また逝ってるのかな

またエラー吐いてる・・・

まーた404 NOT FOUNDだぞー

OH!! NO!!

やっと復旧した

┃ 午前9:18 ・ 2023年12月6日
┃ https://twitter.com/.../1732192819098292677
┃ Jason Scott @textfiles
┃ Power has gone out at the @internetarchive primary datacenter; waiting for it to return.

┃ 午前10:04 ・ 2023年12月6日
┃ https://twitter.com/.../1732204429066289608
┃ Internet Archive @internetarchive
┃ Sorry, http://archive.org and http://openlibrary.org will be back in a few,
┃
┃ but a short term power outage was long enough to make recovery take a little while.
┃
┃ We apologize.
https://twitter.com/thejimwatkins

停電多すぎね？アメリカってそんな停電するの？

あ゙あ゙あ゙あ゙あ゙ーーー

ここ何日か>>195のような表示がそのときそのときで出たり出なかったり
取得そのものができないよりは増しとはいえ・・・

>>196
やっぱそうだよね、自分の環境のせいかと思ってたけど

Donateしまくらなきゃな

11 時間 42 分経過、結局アーカイブされてなかったからリクエスト発行し直した。
てゆーか 10 時間とか 20 時間とか言われても、数分後に同じ URL のアーカイブを
再リクエストしたらタイミングによってはすぐ保存してくれることもあるので
こういう時はやり直すのが正解だと理解することにした。

緑色の一日おき程度に取得した不完全なのを見かけるけどこういう事象の跡なのね

Save outlinksで取得出来るページ数減らされてる…

何個まで？

まあここ最近、調子悪いからな。
しばらくすれば元に戻るかも。

近い内にサーバー飛んでサ終かもな

Sorry

You cannot make more than 100 captures per day. Please email us at "info@archive.org" if you would like to discuss this more.

なんかめちゃスムーズにspnリクエスト送れるようになってる
昨日ぐらいまでめっちゃ糞詰まり起こしてたのに

>>205
アカウント作れよ、上限が 300 倍に増えるぞ

てゆーか登録ユーザの daily_captures_limit の値、30000 まで減ってるのな

Sorry
Job failed
ってIAの画面がアーカイブされてる？ときって失敗ってことなんかな

>>208
自分の経験ではアーカイブできてる事も失敗してる事もある
そういう時は web.archive.org/web/2/ に対象の URL を付けて
最新のアーカイブを表示させてみてる

せっかく>>206と思ったら今度は・・・
今までの1割とは落差がでかい

何回やってもどのサイトでもsorryになって保存できない

ろくに英語も読めないのにここでアーカイブ取ろうとしてるからだよ

？
日本語のサイトしか保存した事ないけど…
つか1日100件なんて保存してないのに⇓が出る
前にキャッシュcookie消去したらarchiveでの履歴も消えちゃったから消すの嫌なんだけどなあ

Sorry
You cannot make more than 100 captures per day. Please email us at "info@archive.org" if you would like to discuss this more

100件も取得してなくても出るとか・・・ますます謎

>>214
> 2023/12/13(水) 08:59:55.49

カウンターがリセットされる時刻の 5 秒前ｗ
昨日の分も一緒にカウントされてるんじゃないの

画像とか含めてじゃないの

>>215
214だが、>>213と同一ではない
こっちは100件超えてたからまだしも、>>213のようなこともあると驚いたまで

>>207
同時実行可能なセッション数も微妙に調整してますね

2023/02/18(土) {"available":6,"daily_captures":0,"daily_captures_limit":100000,"processing":0}
2023/08/21(月) {"available":6,"daily_captures":0,"daily_captures_limit":80000,"processing":0}
2023/09/06(水) {"available":6,"daily_captures":0,"daily_captures_limit":70000,"processing":0}
2023/09/29(金) {"available":8,"daily_captures":0,"daily_captures_limit":70000,"processing":0}
2023/11/23(木) {"available":8,"daily_captures":0,"daily_captures_limit":50000,"processing":0}
2023/12/12(火) {"available":7,"daily_captures":0,"daily_captures_limit":30000,"processing":0}

一方、アカウントなしの場合は>>4にあるとおり1分あたり3件
昨年の途中まで4件、今年でもわずかに4件だったことも
https://mevius.5ch.n...esite/1628793497/453
https://mevius.5ch.n...esite/1628793497/637
https://mevius.5ch.n...esite/1628793497/729

「日付」が切り替わってカウント数が0に戻るのは日本時間朝9時です

SPN2APIでリファラーって送る方法ある？

無いね
ページ内で使われてる画像なんかには送られてるみたいだけど

>>222
無いか〜・・・、サンクス

nitter.net保存できなくなってる。
nitter.czならtodayの方で保存できるが

Twitterはもう保存できなくなったのか？
保存した後、だいぶ経ってから保存されているはずの日付を見に行ったら中身が何もない。
そういうのばかり。

Twitter側の仕様変更のせいで見た目はアーカイブできなくなった
ソースを見るとツイート内容はアーカイブされてるっぽい

本家のtwitter.comも、nitter.netもウェイバックマシンでは保存できなくなってる。
今は、nitter.czをarchive.todayの方にぶち込むしか方法がない。

今でも更新続ければ保存はできるけど、数日待たないとできなかったりで安定はしない

登録しても制限をかけるなら、有料プランを導入してくれ

最近すこし保存しようとして更新するとすぐアク禁されて駄目だわ

アク禁ってされたことないんだけど、どんな表示でるんだ

アク禁ってされたことないんだけど、どんな表示でるんだ

すまん連投になってもた

>>231-233
相手サーバが無反応になる
何も返らないからブラウザ組み込みのエラーメッセージが出る

２〜３秒に1回位のアクセスに抑えておけばまずアク禁はされないと思うが

アーカイブチームの皆さんは自分の事しか考えてないの？
あれだけ顧客第一つったろ！

>>236
アーカイブチームって覚えられたんだｗ
すごいね

次はアーカイブチームとインターネットアーカイブは無関係って事を覚えような

自動保存できなくなったの？

https://archive.is/rt7gI
Archive.org is DOWN for everyone.

SPNとSPN-outlinksで結果が変わるの謎過ぎるな
SPNだと取れるのにoutlinksの方はエラーが出るサイトがたまにある
わざわざ別の環境使ってるのか？

と書いておいて何のエラーか一切説明しない低能

>>220

φ(｀д´)ﾒﾓﾒﾓ...

archive.todayのほう死んでます？

一時間くらい前、ぐるぐるアイコンを表示したままリロードを繰り返す状態だったな。

アーカイブ開こうとすると実アドレスの方に飛ばされる症状が出てる
アーカイブに保存された形跡はある　ただこれも保存済みアドレスが検索で出たりでなかったりがある

相変わらずこの時間帯の Tor 経由でのアーカイブは厳しいｗ
あと 15 分待つか

既出だったらｽﾏﾝ
アーカイブされたページ自体をユーザ側のアクションで検索エンジンのインデックスに登録することって可能なんかな

検索してみるといくつかの日本のサイトのアーカイブがGoogleにインデックス登録されてるんだよな
でもWaybackが自分でクロール申請したはずはないから何か方法があるんじゃないかと思ってる

例えば自分で立てたサイトにアーカイブへの直リンクを貼っておいて、自分のサイトをインデックス登録してリンク先をクロールさせるとか

うまいことpixivのアーカイブ取る方法はないものか

閉鎖したサイトを丸々コピーして稼いでる攻略サイトが増えてるわ
https://xneo.jp/
https://kouryaku7.com/

うーむ
特定のホストにて、各 URL につき「一時間以上空けろ」ではなく
「一日一回のみアーカイブ可」ということか。
ちなみにホスト名は www.sqlite.org。

そんなにSPNの条件厳しくなったのか

昔このスレに居たスポーツ新聞野郎なら発狂してる事案ｗ

>>18によるとYouTubeは動画も保存される仕様とのことだけど
その仕様になったのは最近？
6～7年前にアーカイブされたYoutubeページに辿り着いたら
動画部分は保存されていなかった

ログインしても数個取るとすぐログアウトさせられるのはおま環？

クッキーを消した、有効期限切れ (一年間)、それ以外の原因でのログアウトは無いな。

>>254
動画によって保存されてたりされなかったりする、基準は分からん
why:のところにyoutubecrawlが無いスナップショットは動画が保存されてない

Save Page Now browser crashed on http://naenara.com.k...main/index/ja/first.

初めて目にしたかも

IAで、ディレクトリ内のファイル名に対して検索をする方法ってある？

IAで、ディレクトリ内のファイル名に対して検索をする方法ってある？

ごめんダブった

>>260-261
タイムスタンプ部分とディレクトリ名末尾に "*" とか
https://web.archive.org/web/*/www.sqlite.org/2023/*

検索対象の母数が一万件を超える場合は CDX Server API でリストを出してから
ローカルで抽出とか
https://mevius.5ch.n...e/1628793497/332-333

>>263
リプありがとうございます。
せっかく教えてくださったのに、自分の説明が足らなくて分からなかったのですが、やりたいことはこんな感じです

たとえば、↓のshow allを開くとディレクトリ内のコンテンツが表示されますが
その中のG71-VNW1013.isoを検索して見つける事はできますか？
https://archive.org/...r-driver-and-utility

https://archive.org/search
に入力して検索をした場合、タイトルや説明欄しか拾わないので
どうしたものかと思っていました

ファイル名での検索が可能なら、例えばこんなアップロードは
もっと閲覧数が増えているのではないかと思います。
https://archive.org/...s0000000000020160306

>>265
そっか…ありがとうございましたm(_ _)m

検索システムはもっと強化してほしいよなぁ
一度も閲覧されてない化石と化したアーカイブとか大量にありそう
まぁあまり強化するとDMCA案件が増えそうなので悩ましいけど

ログインしても同時保存制限厳しい…(4つまで)
あと、一気にまとめて取得する方法ってないの？一個一個やってると面倒臭い

4 つねぇ、どうしたのかしら。
https://web.archive.org/save/status/user

>>268
savepagenow@archive.org に電子メールを送信／転送するとメール中のURIをアーカイブした結果のメールが数～数十分後に返信されてくる

「ウェブ魚拓」や「archive.today」では保存できるのに「wayback machine」ではできないということは、
Xは「wayback machine」を嫌がっているということか？

ウェブ魚拓
https://megalodon.jp/
archive.today
https://archive.md/

別に今でもX保存できるけど

>>272
保存した日付のところを見に行った？

たとえばこれ。


Saved 1 time January 13, 2024.
https://web.archive....g/web/20240000000000*/https://twitter.com/.../1745945126793626064
https://megalodon.jp.../1745945126793626064
https://archive.md/clxnV
https://twitter.com/thejimwatkins

「保存」は出来てるよ、表示が崩れてるだけ
CTRL+Uでソースを見ればツイート内容は保存されてるのが分かる

https://web.archive..../1747091305128477149

これなんかは動画まで含めてちゃんと取れたことを確認した
https://twitter.com/thejimwatkins

>>274
見られないなら保存した意味がない。

インターネットアーカイブのブログ、ずっと同じ糖質に粘着されてるの笑う
それでも削除しないのは流石だがｗ

スラドのアーカイブを取ろうと思ったら、このサイト記事一覧ページって無いのか？
ajaxでmore moreで辿るしか無いんだろうか・・・
もう終わりだよ

>>278
日付別の一覧、例えば昨日 (2024-01-26) のストーリー一覧なら
https://srad.jp/story/24/01/26/
から
https://mobile.srad....ry/24/01/24/2339228/
https://mobile.srad....ry/24/01/24/2346248/
https://it.srad.jp/s...ry/24/01/24/2351254/
https://srad.jp/story/24/01/25/1337233/
https://it.srad.jp/s...ry/24/01/25/1340217/
・・・
と記事番号とカテゴリ名を含む URL は得られるかと思います。

おっとそれは一昨日だったｗ
PC を UTC タイムゾーンで動かしているのでうっかり・・・

>>273
https://web.archive..../1723541214925029490

これもそうだけど、スマホでなら見られるのにPCだと見られないのはなぜだろうか？

>>275
それはPCでも見られた。
https://twitter.com/thejimwatkins

>>279
すごい、ありがとう！
そのURLは気付かなかった。
しかし、ページングは無さそうだから1日1リクエストとしても日記タレコミ記事で3*365*年数 か・・・。

あと3日半だから絶望的じゃん

月曜日に発表があって週末が1回しかないって急すぎるよ。
しかもスラドってコメント欄がperlのajaxで読み込んでるからアーカイブだとまともに表示できないだろうし

savepagenow@archive.org に取得したいページのURL送ったんだけど、ほとんどError! Capture timed outになる・・・
これってサーバー重くて失敗したのかな？

Save Page Now browser crashed
なんかエラー吐いて来るね・・・
取れてる奴もあるけど違いがわからん

それ Linux バイナリをアーカイブさせると良く出くわすな。
force_get=on を指定すると問題無く行けてるから、おそらく
コンテンツをヘッドレスブラウザでレンダしようとして失敗してるんだと思う。

Srad はアーカイブチームが動いてるって見たけど
個人でバックアップしている人もおるんか

スラド閉鎖撤回したな
まぁ不安定な状況である事には変わらないからアーカイブはした方が良い

The capture will start in ~1 hour, 1 minute because our service is currently overloaded.
また1時間後とか言われるようになっちゃった・・・

個人的に巡回ソフトでアーカイブ出来てたシンプル極まりない頃が懐かしい

Save Page Now browser crashed
ヤフオクのページを取得しようとすると出る

アーカイブしても画像が保存されないのキツイな
昔から収集方法変えてないみたいだけど
運営陣は変えるつもりないんだろうか
色々相性問題とかあって変えられないのかな？

>>293
大ぼら乙

サイトによるのでは

今でも画像はアーカイブ開いて取得しないといけない

【2020 年頃まで】
画像の保存は完全にユーザ任せ
(クローラを使っていたり、或いは
普通のブラウザでも保存開始後にすぐ閉じたりすると保存されない)
【それ以降】
ヘッドレスブラウザを実装、ある程度の画像は同時にアーカイブできるようになった

>>293 の言う昔って、いつの話よ?

動的サイトを取ろうとして取れないと勘違いしてるパターンじゃない？
画像は4年前から取れてるし、最近だと自動でアウトリンクまで辿ってくれるようになってるが

Tor を使っていると、本当にいろんな体験ができるｗ
この時の出口ノードは 🇳🇴 185.243.218.61。

Google検索のキャッシュリンクが廃止で過去のページが閲覧不可に
https://pc.watch.imp...cs/news/1566730.html

>Googleは、検索結果ページで利用できたWebページのキャッシュへのリンクを削除した。

これまで検索結果の各Webページのキャッシュにアクセスできるリンクが用意されており、Webページの過去の状態や削除される前の状態などが確認できたが、このリンクが削除されたかたち。検索演算子「cache:」を使ったアクセスはまだ行なえるが、将来的にはこちらも利用できなくなる予定だという。

これにともないGoogleでは、キャッシュへのリンクに代わって、Internet Archiveへのリンクを追加したいとも考えているという。

オープンになったことで話題のBlueskyはarchive.todayで昔のTwitterみたいにスレッド丸ごとアーカイブできるようだ。
ところがWayback Machineでは保存できないみたい。

>>300
IAにリンク貼るならGoogleから多額の寄付金もらえそう

とうとう古い端末から Archive.md が開けなくなってしまた。


>>300
回線が重い時テキストだけ読むので重宝だったのにGoogleキャッシュ廃止メチャク不便やん。

流れをぶった切って済まんが
https://download.sysinternals.com/ 配下の URL にて >>251 に遭遇。

ソフトウェア配布サイトをターゲットにした措置だとは思うが
Sysinternals のようにファイル名にリビジョン番号を記載せず
同じ URL のまま中身を差し替えていくサイトでは、
短期間で更新が繰り返されると保存されないリビジョンが出てくる。

This URL has been already captured 6 times today, which is a daily limit we have set for that host. Please try again tomorrow.
10回制限からなんか減った？

6 回バージョン登場か。

>>305
その後ろの関係詞節、高校辺り出てれば充分読めると思うが？
中卒は知らん。

>>306
いや以前は10回制限だったのに6回になったなってだけ

>>307
個別に 1 回だけとか 6 回までとか指定されてるホストが出てきてるんだよ、
だから関係詞節も読めと言ってるの。

Wayback Machineってdoc形式のファイルやdocx形式のファイルも保存できるんだね
ホント便利だな

一日一回のみとか１０回のみのエラーってAPIドキュメントには無いよね？
特別に指定されてるんだろうか

X(twitter)はnitter.czにリンクを変えて、archive.todayにぶち込んで保存してる。
他にも方法あるかもしれんけど

そういやnitterの開発終了したんだってな
今のところ動いてるインスタンスはあるけど、これからどうなんだろ

これからどうやってtwitter保存すればいいんだろう

youtubeの動画保存って無くなったのか？
youtubecrawlのコレクションは増え続けてるから動いてるはずなんだが、未だに保存されん・・・
国内メディアのニュース動画だからブロックされてる訳でも無いと思うんだがなぁ

>>313
Twitter保存できるようになってましたよ
https://web.archive..../1757474164850798632
https://web.archive..../1757840768923021363
https://web.archive..../1757924482885583112
https://twitter.com/thejimwatkins

>>315
ホンマや

>>281 が PC でも見られる、ってことは保存し直しの必要は無しか。
しかしアーカイブの表示内容が変化するってのは、別の意味で気持ち悪い。

ページ数、なかなか9000億超えないな

今もだけど、たまにアーカイブ数が減るのは何なんだろうか
しばらくすると元に戻るけど

取得時間がまた2時間とか伸びて面倒

ヘッダー部分の下からが表示されないんだねど自分だけかな。キャッシュ消したり再起動しても直らん

>>321
サイトが重いとそうなる
その場合でもhttps://web.archive.org/saveに直接飛べば保存できたりする

ブルースカイは、アカウントの設定(ログアウトしたユーザーからの可視性)よっては取得できないから注意

セッションハイジャック耐性の無いサイトなら
capture_cookie パラメータ辺り使えば行けるんだけどなぁ

数日前からtodayの調子が悪くて調べたらcloudflareDNSと相性悪いのか

ページを保存させて完了画面も確認したのに、そのページが表示されないな
カレンダー形式の一覧に反映されるまでにはこれまでも時間がかかっていたけど
保存ページ自体が数十分待っても出てこないのは初めて

今もう一度見てみたら、既にカレンダー形式の日付には青丸が付いているのに
さっき保存した保存時刻（UTC）をクリックしてもその内容が表示されないという現象が起きてる

最近はよくある
半日くらい待つと出てくる

i.imgur.comのページは一瞬で保存できるのなんでなんだろ

>>329
1. 対象 URL に HEAD リクエストを投げる。
↓
2. レスポンスヘッダから単一の画像ファイルであることを検知。
(Content-Type: image/jpeg 等)
↓
3. ヘッドレスブラウザは不要と判断、後回しにせず即アーカイブ作業に移る。

対象が HTML の場合は後回しにされることが多いが、おそらく
ヘッドレスブラウザで HTML をパースして追加の画像等を拾ってきたり、
JavaScript を実行させる必要があるなど負荷が重いから。
HEAD リクエストが送られる件については >>3 のドキュメントの force_get の項を参照。

ニコニコ動画のフォロワー欄が途中までしか保存されない問題ってどうすれば解決できますか？

www.nicovideo.jp/user/23396749/follow/follower

https://archive.is/4Efzj

上記のユーザーならフォロワーは僅か40なので情報量が大きすぎるという訳でもないはずなのですが

5chのnovaサーバーだけ取れなくなってる？

今日調子悪い？

今日調子悪い？

>>332
>>73

>>333-334
capture_outlinks=on にしても全然 outlinks を拾ってくれないね、それ以外は知らん。

https://nova.5ch.net/livegalileo/
https://nova.5ch.net/novatr/
各板のトップは国外から見られるが、個別スレを開こうとすると 520 エラーが返る。
Internet Archive のサーバは米国にあるから当然エラーとなる。

今日は一日繋がらなかったな

>>331
じゅんじゅ@\( ･ω･)/　www.nicovideo.jp/user/41124243
元グリーンベレー　user/13675361　・　lalala　user/2765923
蘭‐Ｒａｎ‐　user/18878661　・　めざすくん　user/27507212
わるよい　user/3953893　・　ゆ〜の　user/2915294
sou　user/11352489　・　モッチチ　user/6511183　・　海鼠　user/4114082

イモグラの画像、保存できてない時有るな

ビタミーナ王国物語以外でイモグラなんてワードを見かけるとは夢にも思わなかった

【保存・記録】ウェブアーカイブ総合 Page.02
https://mevius.5ch.n...internet/1700519014/

imgur 画像のリファラ検査が始まり、直リンが禁止されてアーカイヴできなくなった。
https://i.imgur.com/8oRShxz.jpeg

↓
https://imgur.com/8oRShxz
ページ内の埋め込み画像はリファラが送られるが、この URL では駄目。
↓
https://imgur.com/8oRShxz/embed
この URL のアーカイヴを保存させればよい。
↓
結果
https://web.archive....gur.com/8oRShxzl.jpg

>>342
その方法を今試してみたけど保存できてないよ。
保存したファイルと元のファイル比較してみれば分かるけど解像度もファイルサイズも違うしURL末尾辺りに謎の小文字lが付加されてる。

>>343
あーほんとだ、気付かんかった

8oRShxz
8oRShxzl

何か良い方法は無いかな

dotupがやたらと嫌われてたけど俺はimgurの方が嫌いだわ（ ´_ゝ｀）

Loadingでずっと進まないんだけど
今archive.todayってTwitter保存できないの？
archive.orgの方は出来るみたいだけど
アドレスが長くなるからtodayの方を使いたい

>>342
関係ないけど
リファラ検査で出始めたJaneのimgurサムネイルエラーは
https://egg.5ch.net/...ware/1708963746/185n
で回避した

>>346
なんだ山下の犬か

NHKが運営するネット上の特設ページ、続々と運営終了。放送法改正を見据えた動きか

https://internet.wat...yajiuma/1577805.html

2024年4月1日10:00をもちまして、以下特設ページの掲載を終了（番組ストリーミングを含む）いたします。（NHKゴガク）
https://www.nhk.or.jp/gogaku/
NHK、「政治マガジン」など6サイト更新停止へ　新サービスを検討（朝日新聞デジタル）
https://www.asahi.co...75VHPS36UCVL04P.html
NHKやばいな。どんどんデジタルサービス終了させている。声調確認くんとか、凄く良かったのに。デジタル頑張っていた中の人たちが気の毒。（Togetter）
https://togetter.com/li/2334548

特許や意匠権の参考文献にURLが記載されてる事って多いんだけどさ
昔のホームページだと404かつ何処にもアーカイブされてないとかざら何だよな
せめてその辺は国がアーカイブしないと将来的に困ったことにならんのか？と思う

今死んでるな？

>>349
この国の政府って困ったことに未来にも過去にも興味が全くないですよ

>>349
WARPでアーカイブしてるよ
https://warp.da.ndl.go.jp/

>>352
これ特許庁自体は保存されてるけど、参考文献URLまで保存されてるってどこかに書いてある？

https://archive.org/...es/icon_savePage.png
なぜか "Save Page Now" の前のアイコンが
https://archive.org/about/404.html へリダイレクトされてしまっている。

現在繋がらない?

15分くらい前まで繋がってたけど今は繋がらないね、Temporarily Offlineだからメンテ中かな

https://twitter.com/.../1773203790159565077
また停電だってよ去年もあったね
https://twitter.com/thejimwatkins

503エラーちょこちょこ出るけど、復帰したね乙でした

Queue-Itの待合室経由みたいに、いったんリダイレクトされてJavascript動作してから本サイトにリダイレクトされるようなサイトはどうやってアーカイブするの？
save page nowではなくて、自PCでアクセスして表示したページをそのままアーカイブできる機能とかあればしりたい。

詐欺紛いのサイトがアーカイブを徹底的に拒否しているのは笑える
https://www.sotwe.com/DuceTCG

>>360
拒否してるのはサイトじゃなくてTwitterWebViewerの方だった。俺の勘違い

>>360
こっち見たらええやん
https://x.com/DuceTCG

UAによって弾いてるぽい

imgur、画像の直リンは無理だとしても postpagebeta=0 というクッキーを食べたことにして
こういうアーカイブを取れば行けるなぁ。
つまり capture_cookie パラメータを使用。
https://web.archive..../1/imgur.com/EwuqXZU

これは失敗。
https://web.archive..../1/imgur.com/sBfrwVv
imgur でアダルト判定を食らった画像を表示させて "Yes, I'm over 18" をクリックしたときに追加されるクッキーの中に
over18=1 ってのがあるけど、それも食べたことにすれば行けるかな。

おお、行けた行けた。
https://web.archive..../1/imgur.com/fb5LVDx

SPNではできないやつ？

どうも postpagebeta=0 のクッキーだけ送っておけば、
リファラ無しの画像直リンでも OK っぽいな。

>>367
スクリプト使うのも Save Page Now のページを使うのも、やってる事は全く同じなんだけど
後者では入力できないパラメータを送る必要があるんだよね。
https://web.archive.org/save/ を表示させて、次のブックマークレットで入力欄を追加してから
上の欄に imgur の画像 URL、下の欄に postpagebeta=0 を入力してボタンを押せば
たぶん保存できる。
https://pastebin.com/uEZ1Dbqi

>>368
サンクス。保存できたっぽい
こんな荒技があったとは

>>368
保存できていたのに保存できなくなったぽい？

えっ
https://web.archive....mgur.com/ASA6zDH.png

imgur の画像直リンが、クッキーを付けてあってもリダイレクトされるようになってしまったかも。
それでも拡張子の無い https://imgur.com/xxxxxxx 形式の URL を
クッキー付きでアーカイブさせれば、画像にはリファラが送られるので保存はできている。

Resources (ページ内画像等) としてアーカイブされた URL がカレンダ表示に登場するまでに
時間が掛かってる

APIでリファラも送れるようにしてくれないかな
cookieやUAは送れるのにリファラは対応してないの何で？

間違った転送先を保存してしまい何故か修正できないヤツ
https://web.archive....gur.com/UtKDI8X.jpeg
アニメ絵と実写エロ注意

大文字小文字違いかｗ
uTKdi8x
UtKDI8X

archive.today
数日前からX(旧Twitter)のアーカイブできなくなってる？

>>377
自分も、ここ最近X(旧Twitter)のアーカイブが取得できなくて困ってる。

404だ

Not Found
The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.

またイモグラ保存できなくなったんじゃないだろうな
もうイモグラは使わないでくれ

ふむふむ
https://web.archive....mgur.com/x0kLEHW.png

OutLinksを使うと保存できてる時もあるっぽいな。
これが原因か？

いや関係無いっぽいな。
試しにスクリプトが上げてるグ□画像を保存してみたらOutLinksなんて無くても一発で取れた。
取れる画像と取れない画像があるのか？

ゲッ、いつの間に同一URLの保存回数が一日5回までに減ってやがる…
https://web.archive....atbox.moe/xei3k9.PNG
19年の頃は保存回数制限もなく保存再開出来る時間も10分間隔だったんだがなぁ…

>>385
>>305-308
さらに少なく、一日一回だけに制限しているホストもあるからね。

保存回数上限がホスト毎に決められているけど、回数はURL毎に数えているってことか。

自分がアーカイブを取ってるサイトは大概 1 回だけなんだよなぁ。

そろそろやばいやばいっていわれてるけど、Archive.liがなくなる事ってあるのかね。
そもそもあいつの資金源どうなってんだ？

運営費がかさむかさむって言ってたし、ロシアでの運営じゃ厳しいだろ。
国を出ないなら、このまま吹き飛びそうだな。

【質問】Wayback machineで既に誰かがウェブサイトをアーカイブしていたときサイトのアーカイブは更新されるのか

拡張機能web archivesでwayback machineを選択する→既にアーカイブされている1年前のものが表示される

画像などが保存されていないので現在の最新の状態で完全なものをアーカイブしたいんですが可能なんですかね？やり方がわかりません
gyazo.com/2dea0146024edc6952878c8d25b9b572

Wayback machineで除名を申し入れされたとして、
それはそのウェブサイトは見かけ上保存はできてそうなんだけど閲覧できないだけ？
そのドメインを後から手に入れる事ができ、除名を解いたら、それまでに保存を要請してきたウェブサイトを見る事ができるようになると？

Wayback machineで除名を申し入れされたとして、
それはそのウェブサイトは見かけ上保存はできてそうなんだけど閲覧できないだけ？
そのドメインを後から手に入れる事ができ、除名を解いたら、それまでに保存を要請してきたウェブサイトを見る事ができるようになると？

>>391-393
アホー知恵袋にでも行って質問なさい、おじいちゃん
https://chiebukuro.yahoo.co.jp/

アーカイブチーム、いや、いつもアーカイブしている人たちは全員本当にやる気を感じない
YouTubeの動画のページが公開された時、すぐに保存されないケースが多いし。

>>395
「アーカイブ」ってまだちゃんと覚えてられてるんだｗ
>>130-131

あー重い重い

https://www.courts.g...95/088995_hanrei.pdf
グリーの弁護士、Wayback MachineのURL日付部分を日本時間基準だと勘違いして日付が一致しないとか言ってて草
検証の部分でUTC時間だから問題ないとちゃんと反論されていてよかった、ついでに裁判も負けてる

さっきまでめっちゃ調子よかったのに503

てかメンテの表示出てるじゃん。今夜はもう無理かな。

>>391 URLをそのままSPNで保存すればいいよ。そうすれば日付違いで保存されて表示されるはず。
>>392-393 前のドメイン権利者が除外要請を出した時と連絡先など一致してなかったり譲渡されたと嘘付いても、解除通るの?
>>395 ArchiveTeamの巡回を待ってるなら、自分でSPNから保存したほうが早いよ。動画ファイルも半分ぐらいの確率で保存してくれる。
削除予告が出ていて緊急なら#down-the-tubeのチャットで理由書いてコマンド打てばいい。量が多いと完璧に保存されないけど失うよりはいいし。両方やっとけば残る確率高くなる。
>>396 てか>>130で文句言ってるXGeNeLWnYdcの動画ファイル保存されてないね。昨日試しにSPNで保存したけど1日経ってもファイル保存されてねえわ。

てかメンテの表示出てるじゃん。今夜はもう無理かな。

>>391 URLをそのままSPNで保存すればいいよ。そうすれば日付違いで保存されて表示されるはず。
>>392-393 前のドメイン権利者が除外要請を出した時と連絡先など一致してなかったり譲渡されたと嘘付いても、解除通るの?
>>395 ArchiveTeamの巡回を待ってるなら、自分でSPNから保存したほうが早いよ。動画ファイルも半分ぐらいの確率で保存してくれる。
削除予告が出ていて緊急なら#down-the-tubeのチャットで理由書いてコマンド打てばいい。量が多いと完璧に保存されないけど失うよりはいいし。両方やっとけば残る確率高くなる。
>>396 てか>>130で文句言ってるXGeNeLWnYdcの動画ファイル保存されてないね。昨日試しにSPNで保存したけど1日経ってもファイル保存されてねえわ。

>>387
そういえば、ちょっと前にyoutube.comの1日の保存上限で8万回?ってエラー出てた。2年ぐらい前にエラー出た時はもっと数字が大きかった気がするけど。
確実に保存したいなら上限がリセットされるはずの日本時間午前9時から早い者勝ちで保存するしかないみたいだが。

>>401
130の動画なら保存されてるのでは？
youtubecrawlのコレクションに入ってるが

Tor Browser が Internet Archive の .onion 版が利用可能と検出してるけど
繋がらないんだよね・・・コード 0xF2 のエラーが返る
https://archive6zg5v...mhnyblq4h3ead.onion/

またメンテか
次はいつ復旧するのやら

>>403
今見てみたら、動画ファイルの保存まではできてないみたい。

確認用コード
curl -I "https://web.archive....mg/XGeNeLWnYdc"
ターミナルで動かしてヘッダー部分だけ取得すると、転送先の動画ファイルURLがlocation:として出てこないで404エラーになってる。
保存されていればgooglevideo.comの長いURLが出てくるはず。保存されるまで何度かSPNで保存繰り返せばいいけど。

>>403
今見てみたら、動画ファイルの保存まではできてないみたい。

確認用コード
curl -I "https://web.archive....mg/XGeNeLWnYdc"
ターミナルで動かしてヘッダー部分だけ取得すると、転送先の動画ファイルURLがlocation:として出てこないで404エラーになってる。
保存されていればgooglevideo.comの長いURLが出てくるはず。保存されるまで何度かSPNで保存繰り返せばいいけど。

Save Page Now browser crashed on https://imgur.com/p5BPbjq.

何回か連打してればバックグラウンドで保存に成功するケースが殆ど。

archive.todayってMicrosoftのサーバー経由してるのなんで？
MSのサーバーをhostsで遮断したら保存できなくなった

>>7
quoraもサルベージできない

全然違うfaviconが表示されるのってなんなんだろ

なんだこのエラー？
task_id must not be empty. Got None instead.

archiveのアニメをWEBで見てたがすごく遅くて適当にVPNで日本で見たらすぐ見れた

IP規制してる？？

X（twitter）やインスタを保存するのにオススメの方法があったら教えて。

すみません。
twitterアカウントを削除する前に、ツイート削除した場合、該当のツイートは見ることできますか??

>>415
スクショ
WEBアーカイブ
>>416
見れない
しかし動画や写真のURLさえわかればツイート削除後でも一定期間閲覧可能

>>417
ありがとうございます！

Amazonの商品ページの過去を見ることできますか？

>>419
見れる（保存されていれば）

今落ちてるか？

/save/status 以下の状態取得 API が生きてたりしてるけど他は 503
まぁそんな事もあるさ

現在503になって繋がらないけど他の方々はどうだろうか?

一瞬繋がったり503に戻ったり
ダメな日だね

>>420
確かに昔ブックマークしたのは見れた。

最近archive.orgは繋がらないことが多いな

imgurの直リンはarchive.orgでは不可だったけど
archive.todayでは問題なく撮れた

ここ今、運営が頭狂でURLが貼れなくなってるね

>>185
https://kakaku.com/tv/
テレビ紹介情報は2024年5月30日をもちましてサービスを終了いたします。

アーカイブ必須だな

テレビ、ねぇ。
あまり見んからなぁ・・・

Yahoo!テレビの番組コメは長年特別扱いのテレ東もしっかり叩かれてたのが良かったのに3月で終わってしまった

昨日繋がらなかったのはどうやらDDOS攻撃食らってたからみたいね
https://gigazine.net...e-under-ddos-attack/
そして今現在また503や504になってるがまたDDOS攻撃食らってるのか…?

今日は増しだと思ったら結局
もはや「まぁそんなことも」なんてレベルではない

なんでこの時期に突然DDOS…

>>430
https://x.com/intern.../1795451463465845141
Internet ArchiveのTwitterを見れば状況が判ったな

archive.orgで撮れなくてarchive.todayで撮れるサイトが近頃多い
Instagramもarchive.orgでは不可だったけど
archive.todayでは問題なく撮れた

>433
使い方の差ではあるのだろうが個人的にはwebarchiveで出来てtodayで出来ない点として
・大容量zip等とかが保存可能かどうか(todayじゃそもそもzipどころかmp4やmp3すら保存出来なかったような…)
・検索エンジンで足がつくか否か(todayの場合割りと簡単に足がつきやすい)
・そしてwebarchiveで言う所のSave outlinks機能があるかどうか
というのが引っかかってね…(ほぼ鯖側に負担がかかるのばっかじゃねえかって話ではあるが…)

today運営の素性がわからんしいつ消えるかもわからんしなー

>>427
ギャーーーー！！これ今知った！！！
こういうのも貴重な情報だったのに…なんてこった。・゜・(ノД`)・゜・。

でた蔵はちょくちょく、表からのリンク先のページが無かったりするし
起こされた内容もだいぶ偏ってて不完全なのがどうもなあ…

wayback-gsheetsにアップデートはいってて驚いた

>>434
archive.orgで撮って
撮れなかったらarchive.todayを使ってる
todayで撮れてorgで撮れないってどうなのかなって

>>435
それが問題
魚拓サイトなのに魚拓サイトが消えたら元も子もないｗ
todayはドメインが代わったりして大丈夫なのか感がある

archive.todayはURLがarchive.orgみたいに長くならないのが
5chなんかで使う時には良かったりもする

archive.orgを利用してて思うのは、
全く同じキャプチャが重複して何個も何個も撮られてて無駄だなって事と
セーブ時のSave error pages (HTTP Status=4xx, 5xx)の☑はデフォルト外しといた方が良いんじゃないかって事