X
Internet Archive総合 (web.archive.org) #4
レス数が1000を超えています。これ以上書き込みはできません。
0142名無しさん＠お腹いっぱい。2021/11/02(火) 18:50:30.74
インターネットアーカイブがサービス終了する未来はあると思いますか？
サーバーの維持費や違法性などが理由で
0144名無しさん＠お腹いっぱい。2021/11/03(水) 19:05:27.57
internetarchiveに寄付しよう
0146名無しさん＠お腹いっぱい。2021/11/04(木) 16:28:58.64
自分のツイートのアーカイブって消そうと思えば消せるの？
0151名無しさん＠お腹いっぱい。2021/11/14(日) 17:31:28.15
noteとInstagram保存したい
0152名無しさん＠お腹いっぱい。2021/11/15(月) 01:03:53.70
ヤフオクのページを取得しようとすると、
Unknown error for chrome-error://chromewebdata/ (HTTP status=0).
と出て取得できない。
0153名無しさん＠お腹いっぱい。2021/11/15(月) 03:36:09.51
>>152
試しに force_get=1 のパラメータを追加して保存させてみると
The server didn't respond in time for https:～ のエラーが返る。

ヤフオクが Internet Archive の接続を拒否しているのは間違いないね。
ただ、どうしてこれが IA から事前に送られているはずの HEAD リクエストで
検出できていないのかが解らん。
HEAD は 200 OK しておきながらいざ GET となると無応答で、
ヘッドレスブラウザの返したエラーページの chrome-error URL を
そのまま表示しちゃったりしているのか?

パラメータについても HEAD やら GET やらについても >>4 のドキュメントを参照。
0154名無しさん＠お腹いっぱい。2021/11/16(火) 06:06:12.95
This page is unavailable for archiving right now!
This page is available on the web but its quite busy. Please check again later.
0157名無しさん＠お腹いっぱい。2021/11/17(水) 02:09:52.09
imgurがserver errorやnot foundでとれない
0161名無しさん＠お腹いっぱい。2021/11/17(水) 23:42:00.76
中国とロシアからブロックされてるというのは中国ロシアの国からはアクセスできないってこと？
weibo普通に保存できたけど中国のサイトを日本人がアーカイブするのは可能なんだね
0166名無しさん＠お腹いっぱい。2021/11/21(日) 20:24:57.76
in ~1 minってどういう意味なん？

日本語で「～1分」だったら1分以内だけど文脈的に逆っぽい気がする
もし以上だとしたらどういう原理で前に~が付くんだろうか
0170名無しさん＠お腹いっぱい。2021/11/22(月) 23:31:51.26
もしかしてYouTubeのプレイリストでOutlinks使うと
表示されていない下の方の動画も保存しといてくれるのか？
0175名無しさん＠お腹いっぱい。2021/11/25(木) 10:09:28.50
普通にやるでしょ。
うpろだやImgurの画像を保存したい時とか。期限切れや削除依頼されてすぐ消えるじゃん。
0177名無しさん＠お腹いっぱい。2021/11/25(木) 16:32:19.77
画像付きってアーカイブしても何年後とかに消えたりしませんか？
昔のサイトを見ても画像だけ見れないの多くて
0180名無しさん＠お腹いっぱい。2021/11/26(金) 12:17:41.76
今でもJavaScript乱用していてスクロールやクリックしないとサイトの内容が完全に表示されなかったり、
レイジーロードで遅延読み混みしてるサイトは画像が保存されてない可能性がある。
画像のURLを抜き出してSPNで1個ずつ保存するのが一番確実だけど、まあめんどくさい。
Googlebotですら対応できてないものをIAでできないだろうな。
0181名無しさん＠お腹いっぱい。2021/11/26(金) 13:56:44.46
そもそもヘッドレスブラウザを実装して、必要な画像も一緒に保存できるようになったのが
Internet Archive の長い歴史の中でごく最近の話なんだけどな。

それまではアーカイブ済み HTML を誰かが表示して初めて画像の URL が IA に送られ
保存を試行するという仕組みが採られていたけど、種々の利用により
上手く動作しないことがあった。
0182名無しさん＠お腹いっぱい。2021/11/26(金) 17:30:44.16
昨日辺りからTwitterのツイートのページを取得すると新UIになってしまった・・・
数日前までは取得すると何故か旧UIで取得されるようになってたけど、ついに対策されたか・・・
0183名無しさん＠お腹いっぱい。2021/11/26(金) 23:50:05.84
twitterの魚拓の質が上がってきてるな
0184名無しさん＠お腹いっぱい。2021/11/27(土) 20:44:50.24
俺が7月にSPNで保存したページに表示されていた、保存失敗した画像を、
11月の今になってsave-page-now-outlinksが保存してるのを発見した。
過去のページをさかのぼって保存できてない画像を自動で保存してくれるのはありがたい。
0188名無しさん＠お腹いっぱい。2021/11/30(火) 01:01:47.65
No URL has been captured for this domain.

日本語がURLに入ると上のように出てダメです
どうやって保存したら良いですか？
初心者なので誰か教えて下さると有難いです
0189名無しさん＠お腹いっぱい。2021/11/30(火) 19:41:07.68
>>188
日本語URLでもアラビア語でも普通に取れるよ
ちゃんとsave page nowに入れてる？
そのエラーはspnでは出ないと思うけど
0191名無しさん＠お腹いっぱい。2021/12/01(水) 15:39:29.57
>>174
NHK系とか素直じゃない構造のやつとか期間が来たら別画像で上書きしたり引っ越したりするサイトで必要
0192名無しさん＠お腹いっぱい。2021/12/01(水) 22:24:22.95
>>186
えー、/web/http://&;#12316;をWebブラウザから見て、そのページの画像が保存されてなかったら自動で元のサイトに取りに行って保存して表示する仕組みは昔からあったよ。
少なくとも10年前にはあったはず。今のSave Page Nowの前身Liveweb Proxyでもやってた。SPN登場前は今みたいな同時保存回数の制限すらなかった。
といっても、サイト消えてる時にWayback Machineの保存ページを見るのがほとんどだから、消えたサイトの保存されてない画像は永遠に表示されないのが現実なわけで。
0195名無しさん＠お腹いっぱい。2021/12/02(木) 22:42:31.47
えー効いてるように思えるけどな
逆に、直近の 200 応答のアーカイブが無視されてしまい、
アーカイブしない条件のはずなのにアーカイブしてしまったことがある
0196名無しさん＠お腹いっぱい。2021/12/03(金) 00:33:15.45
前スレ836で捨てアドでアカウント作れないって書いてる人いたけど、色々試したが今は作れるみたい。
ただし、アップロードするときにお前のメアドはスパム臭えってエラーが出ることがあるので、
適当すぎる文字列じゃなくてフィルタに引っかからない自然なメアドでアカウント作ればOK。
0197名無しさん＠お腹いっぱい。2021/12/03(金) 00:36:39.06
あと、
ttp://web.archive.org/*/から始まる保存されてるページを一覧表示してくれる機能がちょっと新しくなったみたいで、表示できない問題が起きてる。

フォームにも書いてる人いる。
ttps://archive.org/post/1121385/urls-feature-on-wayback-machine-is-broken
0199名無しさん＠お腹いっぱい。2021/12/03(金) 20:38:52.18
サイト側から削除依頼以外で消されることってあるの？excludedって出る。復活掲載は絶望的かしら。
0201名無しさん＠お腹いっぱい。2021/12/04(土) 10:23:17.08
save out linksにチェックを入れてるのに無視しやがる…
最近は取得エラーも多発してたし、そんなに負荷のかかる代物なのだろうか…
0202名無しさん＠お腹いっぱい。2021/12/04(土) 10:35:35.43
IAに削除させたのに自社サイトに他社のIAアーカイブURLのリンク貼ってる企業ってどう思いますか？
A「B社は過去にこんなサイト内容でした、と」
A「おいIA、勝手にうちのサイトをアーカイブしてんじゃねえ！」
0204名無しさん＠お腹いっぱい。2021/12/04(土) 15:02:23.86
>>203
難しすぎてわかりません。
0209名無しさん＠お腹いっぱい。2021/12/08(水) 00:32:57.69
https://web.archive.org/web/*/
でドメインとディレクトリ指定して保存されてるページが一覧で見れるのが改悪してる！
今まで10万ページまでだったのに、1万ページに減ってるんだが

More than 10,000 URLs have been captured for this URL prefix.
0210アジア・バンバータ(北海道)2021/12/08(水) 22:28:45.46
ここの老舗魚拓サイトって、BATとかいう仮想通貨をコジってるよな
Braveってブラウザ使って閲覧すると、寄付の案内が出てくるんだが
この話既出だったらゴメン
0211名無しさん＠お腹いっぱい。2021/12/09(木) 22:30:51.97
そりゃBraveブラウザで広告費や寄付受け取るサイト運営者の登録やってるから表示はするでしょ。
寄附キャンペーン中だからってのもあるだろうけど、気になるなら広告ブロックか何かで要素ごと消せばいいよ。
0212名無しさん＠お腹いっぱい。2021/12/10(金) 05:27:52.68
BATが寄付出来るのはBraveブラウザの基本機能なんだがな・・・
単なるアドブロッカーか何かと勘違いしてないか？
0214名無しさん＠お腹いっぱい。2021/12/11(土) 17:06:24.95
腹立つわ　鍵の開け閉めを繰り返してすぐツイ消しする奴のツイート記録しようと思ったのにここ最近上手く記録してくれないから記録出来てない内にツイート消された

そもそもツイ垢のトークンとか使えるようにしてくれたら鍵垢の鍵が開くまで待って開いた瞬間から開いてる内に飢えたピラニアみたいにアーカイブ録りまくる必要もなくなるのに
0216名無しさん＠お腹いっぱい。2021/12/11(土) 21:57:37.67
>>214
自身はTwitterにログインしてないブラウザで取りに行ってるの？

俺が巡回してた鍵アカのログは直接本人にフォロー承認もらったから残そうと思えば何時でもブラウザのページ保存で残せるけど…

最近のTwitter社はアーカイブするとレイアウトが崩れたり議論ツリー記録しに行っても余計な「固定ツイート」まで混ざったりして改悪し過ぎだけど…
0217名無しさん＠お腹いっぱい。2021/12/11(土) 22:36:19.94
>>216
> 残そうと思えば何時でもブラウザのページ保存で残せるけど…

ローカル保存でオナって満足してる奴は巣に帰れ
0218名無しさん＠お腹いっぱい。2021/12/11(土) 23:55:31.56
>>214
今仕方なくPCとスマホアプリのTL参照しながらどれが消えててどれが消えてないかを確かめながらスクショをペイントに貼って1日のツイート纏めてるところ
twitterのTLもずっと残らないのが腹立つんだよなぁ

やり方さえ知ってればネット使える誰もが見れるってのがいいんだよ
暇さえあれば消えたツイ垢のツイートひたすら漁ったりするし何年も活動してる垢が将来的に消える可能性に備えてウン万ある過去のツイートを一個一個手作業で保存させたり…
この保存作業もたった一人の人力だと不毛なんだよなぁ　Wayback machineが自動でツイート取るようになる以前のツイートも自動で集めとけよって思う
0220名無しさん＠お腹いっぱい。2021/12/12(日) 09:50:54.47
TLS1.2の壁なのかどうしても取れなかったり、表示レイアウトの異なるUserAgent別（PC⇔スマホ⇔ガラケー等）には直接取り分けらなかったりするのは、いったんローカル保存してからどっかのレンタル鯖に上げ直してアーカイブしている。
0221名無しさん＠お腹いっぱい。2021/12/13(月) 20:11:59.31
jsonファイルで保存されたツイートのアーカイブって復元出来んのかなぁ
何て描かれてたかすらわからん
0223名無しさん＠お腹いっぱい。2021/12/14(火) 16:23:58.84
ウェイバック
0224名無しさん＠お腹いっぱい。2021/12/14(火) 17:05:35.98
営利企業がやってるやつとかtodayみたいに素性が不明のものは消える可能性が高いと思う
残るのはIAかCommon Crawlらへんだと思う
0225名無しさん＠お腹いっぱい。2021/12/14(火) 18:47:58.89
Waybackは広く浅くはいけるが深い所まで保存出来んのがな
ツイートの2分までしかアップロード出来ん動画すら保存されないという有様だ

動画みたいな重めのファイルを自分の手許にずっと置きたくはないけどネット上からは消えさせないようにするにはどこにアップロードするのがいいんだろうか？
0227名無しさん＠お腹いっぱい。2021/12/14(火) 21:56:30.93
twitterのプロフィールを片っ端から手動保存してる人おる？
0228名無しさん＠お腹いっぱい。2021/12/14(火) 23:01:17.40
Waybackは保存してるサイト自体は多くて助かるんだが検索機能が糞過ぎるんよな
0229名無しさん＠お腹いっぱい。2021/12/14(火) 23:02:57.85
昨日からサイトマップが何も表示されないんだが俺だけか？
https://web.archive.org/web/sitemap/http://www.2ch.net/
0230名無しさん＠お腹いっぱい。2021/12/15(水) 11:31:05.78
高性能なワード検索機能欲しいよな
0233名無しさん＠お腹いっぱい。2021/12/19(日) 15:01:04.51
Youtubeの規制が緩くなったと思ったら今度はTwitterが厳しくなってる
前から思うけど１分待っても取れないの笑う

Sorry
Please try again in ~1 min. Crawling this host is paused because they notified us that are overloaded right now.
0238名無しさん＠お腹いっぱい。2021/12/24(金) 21:50:09.68
Sorry
This URL is in our block list and cannot be captured.

これ初めて見た。公式Twitterだし変な内容でもないのに
0239名無しさん＠お腹いっぱい。2021/12/25(土) 01:03:49.06
>>238
それ最近増えた印象
まぁ妥当だろうなってサイトもあれば（アーカイブサイトとしてどうかとは思うけど）
何でこのサイトが？っていうのもあってよく分からない
0241名無しさん＠お腹いっぱい。2021/12/25(土) 11:12:34.49
まあ別にSPNに頼らず、捨て垢作ってarchive.orgの方にwarcかzipでアップロードしとけば保存できるし、
将来非表示ブロックが解除されたときに見れればいいので、ブロックされてようがあんまり気にはしない。
0242名無しさん＠お腹いっぱい。2021/12/27(月) 18:52:49.92
twitterの保存制限する理由がよくわからん
0244名無しさん＠お腹いっぱい。2021/12/31(金) 15:53:34.66
>>225
ソースコードから動画のURL（pbs.twimg.comから始まるやつ）を抜き出して、そのURLをそのまま保存すればいいよ、
と思ったが、最近Twitterの動画は仕様が変わって、mp4ファイルとかじゃなくて、m3u8とm4sファイルで小分けになってるのか。
UserAgent変えて昔のWebブラウザのに変えても完全なmp4ファイルのURLが流れてこなかった。
これは保存できないな。
0246名無しさん＠お腹いっぱい。2021/12/31(金) 23:32:11.69
m3u8ったらアニメイトのWebラジオをひさびさ端末に保存試行したさい遭遇して苦闘したことあったな…

あの後すぐ配信変更でもう付き合いきれなくなったわ
0248名無しさん＠お腹いっぱい。2022/01/01(土) 04:26:13.37
明けましておめでとう。
前からあるTwitterの動画URL抽出するサイトにツイートのURLを入れると、mp4とm4sファイルのURL一覧が出てくる。今でも機能するっぽい。(アフィ広告注意)
ttps://lab.syncer.jp/Tool/Twitter-Video-URL-Converter/
ちょっと検索して出てきたのは、Bearerトークンを使えばAPIからmp4のURLを抜き出せるらしい。こんなツールを公開してる人もいる。
ttps://github.com/89z/mech/tree/master/twitter

動画URL単独の保存もいいけど、保存したツイートのスナップショット自体に動画が表示されて再生できないと、証拠目的なら意味ない気がする・・・
0252名無しさん＠お腹いっぱい。2022/01/03(月) 14:58:50.23
たまにestimated toが表示されずに、割り込みですぐ保存できる場合もあるな
タイミング良く保存してるサーバーが空いたのかは知らんが謎
0256名無しさん＠お腹いっぱい。2022/01/04(火) 16:17:38.71
>>253
前スレでも書いてる人いたけど、Yahoo個人ニュースの記事は保存ブロックされてるの多いな〜
なんでだろ〜
0258名無しさん＠お腹いっぱい。2022/01/10(月) 19:03:37.94
twitter取れないのどうにかならないのか？
0259名無しさん＠お腹いっぱい。2022/01/13(木) 21:15:26.72
archive.orgのページ上部の〇〇billionの数字を更新し忘れてるのいつ気づくんだろ？ｗ
どうでもいいといえばどうでもいいんだけど
0260名無しさん＠お腹いっぱい。2022/01/17(月) 08:32:14.67
503 Service Unavailable
No server is available to handle this request.
0265名無しさん＠お腹いっぱい。2022/01/18(火) 13:02:41.80
You may close your browser window and the page will still be saved.
といっても保存できてたりできてなかったり
0266名無しさん＠お腹いっぱい。2022/01/18(火) 16:01:41.49
archive.is は http:// アクセスが https:// へ強制リダイレクトされちまうのをどうにかしてほしい

更新の頻繁なページを後で archive.org へ追加取りするとき、リンク先のオリジナルURLが判別可能なまま再アーカイブするには
anonymous のWebプロキシ（ http://anonymouse.org/cgi-bin/anon-www.cgi/http://www.～ ）経由でないと取れない仕様だったけど、anonymous はSSLアクセスに非対応だから http:// のままでないと接続エラーになっちまう…
0267名無しさん＠お腹いっぱい。2022/01/19(水) 06:39:39.44
なんか先週末の停電の後から、SPNの保存の仕様変わった?
今まで30秒ぐらいで保存できたのに、1分近くかかってるんだが
ブラウザでもcurlでも遅くなってるし、単独の画像やPDFファイルはここ数日保存できてない
保存始まる待ち時間増えたような感覚
ヘッダーにcapture_outlinks=0を付けても早くならないし
0269名無しさん＠お腹いっぱい。2022/01/20(木) 14:05:44.79
保存に少し時間がかかって違和感あるのを除いて上の障害は解消済み。
日本時間19日の朝5時半〜8時半は、save-page-nowの保存ファイルが1個しかないから、この時間帯は保存できなくて止まってたっぽい。
公式な発表はないし、発表すらしないだろうけど、記録として残しとくわ。

ttps://archive.org/details/save-page-now?&sort=-addeddate
spn2-20220118234307 Jan 18, 2022 web ← 通常の追加間隔
spn2-20220118233913 Jan 18, 2022 web ← 3時間でようやく新しいファイル、この間Save Page Now停止
spn2-20220118203649 Jan 18, 2022 web ← 18分
spn2-20220118201816 Jan 18, 2022 web ← 通常は1分〜10分で1個増えるのに、前のファイルからの間隔が24分
spn2-20220118195414 Jan 18, 2022 web
0270名無しさん＠お腹いっぱい。2022/01/20(木) 19:31:02.77
1回保存できませんでした…ってエラー吐かれたら何度保存させ直しても保存されないもんなの？
すっげぇ腹立つ
0272名無しさん＠お腹いっぱい。2022/01/21(金) 22:29:24.38
うーん、Twitterが死ぬとは思わなかった
Unknown errorだから詳細は分からないけど、Twitter側から拒絶されてるのか？
0273名無しさん＠お腹いっぱい。2022/01/22(土) 19:10:56.08
twitterとれるようになったね
0274名無しさん＠お腹いっぱい。2022/01/22(土) 19:31:50.70
今度は Archive.is が死んでるよ…
0276名無しさん＠お腹いっぱい。2022/01/23(日) 07:10:05.41
>>266
このサイトを使うのはどうかな
webページに注釈をつけて共有するのがメイン機能だけどプロキシとしても使える
非営利団体が運営してて学術団体と連携したりしてるから信頼性もそれなりにあると思う
稀にアクセスできないサイトもあるけど大抵はうまくいく
https://via.hypothes.is/http://www.〜
0277名無しさん＠お腹いっぱい。2022/01/23(日) 11:42:27.84
>>276
ありがと。そっちでArchive.isの拓へアクセスしても画像認証通さないと取ったページが開けないから .orgへの再アーカイブには使えそうにないけど他の取り方で選択肢が拡がりそうだ。
0278名無しさん＠お腹いっぱい。2022/01/23(日) 11:49:14.48
… .is アーカイブ済みページの画像認証も https:// 強制化で始まったけど、端末ブラウザの直アクセスなら今のところは異なる数種の UserAgent 変更でスルーできる。
0282名無しさん＠お腹いっぱい。2022/01/23(日) 20:31:59.27
GoogleとヤフーJAPANの画像検索結果が日本語の検索ワードだと変なパラメータ文字列に入れ替わられて、取りたいリンクとサムネイルが取れなくなってやがる。

ウェブ魚拓もMetaタグ妨害で既に取れなくなってやがるし…
0283名無しさん＠お腹いっぱい。2022/01/25(火) 17:48:32.48
保存されたページから違うページに飛べない(正確には同じページだけどリンク先をクリックすると補足が書いてある感じ)
urlが同じなのでこういう時はどうすれば良いんだろう初心者ですみません
0284名無しさん＠お腹いっぱい。2022/01/25(火) 21:17:12.42
>>283
ページ更新なしでサーバー情報とってきて内容が変化するサイト(例:google map)とか
更新有りで同じURLだけど、ユーザーのアクションに依存して内容が変化するサイト(例:画像認証付きサイト)とかは難しいと思う

実際に確認しないと分からないけどこのケースは後者に近いのかな？
Waybackでの保存が無理そうなら、Webrecorderとかのソフトを使ってローカル環境に保存するしか方法はないかもね

(※独自にローカル保存したアーカイブファイルを直接IAにアップすることは可能。ただしwaybackからの参照は不可)
0285名無しさん＠お腹いっぱい。2022/01/26(水) 01:00:59.97
Archive.st で取った分を.orgへ転送する形でページ内容の意図しない改変は避けれる場合もあるけど .stのエンジンが不具合長引きがちだからなあ
0286名無しさん＠お腹いっぱい。2022/01/26(水) 01:57:26.30
ローカル保存って今もあるんだ
なんか大昔そういうソフトで保存してたけどhttps非対応で最近のやつ全然取れなくなってしまったので離れていた
0289名無しさん＠お腹いっぱい。2022/01/29(土) 21:06:23.44
ブログだったらサイトマップや記事一覧ページを見れば全てのURL探すの楽だけどな
たまにサイトマップを非表示にしてるブログもあるけどさ
0290名無しさん＠お腹いっぱい。2022/02/05(土) 11:46:13.30
こないだまで問題なく使えてたのにirvineでファイルのダウンロードができなくなった
403エラーで切されてる・・・どうすればいいの
0292名無しさん＠お腹いっぱい。2022/02/11(金) 06:25:36.17
Got an HTTP 302 response at crawl time

これが出て開けないんだけど、どうすりゃいい？
0294名無しさん＠お腹いっぱい。2022/02/11(金) 10:54:11.58
>>293
待ってるとページは出るんだけど真っ白なんだよね
上にカレンダーとかは表示されてる
0295名無しさん＠お腹いっぱい。2022/02/11(金) 11:21:47.72
>>294
アーカイブされたのがその真っ白なページなんじゃないのとしか

HTTP や HTML についての知識がある人なら自分で調べて納得してるだろうから
そういう質問にはこう答えるしかない
0296名無しさん＠お腹いっぱい。2022/02/13(日) 21:12:12.36
>>294
カレンダーのとこのURLを直接開く
ダメなら そのURLの魚拓とArchive.todayを開く
ダメなら そのURLのGoogleキャッシュとBingキャッシュを探す
ここまでしてダメなら諦めるしかない
0298名無しさん＠お腹いっぱい。2022/02/15(火) 10:37:47.00
>>297
ブラウザ上のスクリプトで画像の読み込み処理してるっぽいからURLが違うとうまく動かないのかな
見た目だけでいいならwayback machineにユーザーログイン後に"Save screen shot"からスクショ保存したり、archive.today使ったりすれば保存できるよ
0299名無しさん＠お腹いっぱい。2022/02/15(火) 15:58:32.32
アフィでない個人サイトでoutlinksしてFirstArchive連発すると、
「ん゛ぎも゛ぢい゛い゛ぃ゛っ」ってなる
0304名無しさん＠お腹いっぱい。2022/02/19(土) 23:51:17.14
Too Many Requests
In order to protect the Wayback Machine we have limits on different services. Unfortunately you have hit one of those limits. It can be caused by:
Being an automatic bot that does not appear to be human
A playback page that has an unusual number of components
Excessive load on the Wayback machine not related to your activities
Saving too many pages in a give time frame
The best solution is to wait a few seconds and reload the existing page.

Please feel free to write to us at info@archive.org if you have questions about this. Please include the following information in your email:

Reference number: 0.000.000.00
Date: Saturday, 19-Feb-2022 14:47:00 GMT
Thank you
0306名無しさん＠お腹いっぱい。2022/02/21(月) 14:10:03.93
取得からだいぶ時間経過してるのに
「Hrm.
The Wayback Machine has not archived that URL.」
数日後きちんと反映されてるなら良いが・・・
0308名無しさん＠お腹いっぱい。2022/02/22(火) 17:36:35.60
画像だけ完全別サーバーにあるせいで
画像が保存されていなくてOutlinksで保存し直し。
Outlinksを使うとリンクされてる別記事を
通常保存してしまうので全てOutlinksし直し。
0310名無しさん＠お腹いっぱい。2022/03/04(金) 01:25:46.71
Your IP address is in our block list. Please email us at "info@archive.org" if you would like to discuss this more.
さっき使ってたVPNのIPアドレスがブロックリスト入りになってた、SPNで保存できない
このIPアドレスでどっかの業者が宣伝スパムでもやったんかな
0311名無しさん＠お腹いっぱい。2022/03/04(金) 17:06:43.00
またThe capture is estimated to start in ** minutes. You may close your browser window and the page will still be saved.か
エラーも出やすいし
今日でも未明はなんともなかったのに・・・
0314名無しさん＠お腹いっぱい。2022/03/04(金) 23:56:22.98
Temporarily Offline
Internet Archive services are temporarily offline.
Please check our Twitter feed for the latest information.
We apologize for the inconvenience.
0317名無しさん＠お腹いっぱい。2022/03/05(土) 00:46:59.99
みんな寄付してる？
便利に使ってるからちょっとくらい寄付しようかと思うんだけど
やっぱ30万くらいじゃ少ないのかな？
0319名無しさん＠お腹いっぱい。2022/03/05(土) 02:52:58.94
トップにはアクセスできるようになったが、取得はまだまだ・・・

「Not Found
The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.」
0320名無しさん＠お腹いっぱい。2022/03/05(土) 04:50:41.21
ようやく取得できるように
と思ったら・・・
「Sorry.
This snapshot cannot be displayed due to an internal error.」
0321名無しさん＠お腹いっぱい。2022/03/05(土) 13:26:17.52
クソ
0323名無しさん＠お腹いっぱい。2022/03/05(土) 15:20:25.25
されとるだろ
0324名無しさん＠お腹いっぱい。2022/03/05(土) 22:20:27.17
3/2以降のものは取得されてないことになってるか、残ってても
「Sorry.
This snapshot cannot be displayed due to an internal error.」

特定のサイトだけではなくいろいろなサイトでそんな感じ
0325名無しさん＠お腹いっぱい。2022/03/06(日) 04:14:49.44
恐らくロシアの連中が火消しして回っとるなこれ
0326名無しさん＠お腹いっぱい。2022/03/06(日) 12:31:45.17
IA側の問題だ
21/12/24に取ったものも一時消えてしばらくして復活して今また消えている
ほっとけばそのうち直る
0327名無しさん＠お腹いっぱい。2022/03/06(日) 21:31:43.65
復活確認
0328名無しさん＠お腹いっぱい。2022/03/07(月) 00:07:06.74
アーカイブ内で壊れた画像アイコンしか表示されないのは次の巡回待つしかないの？
でも既に巡回済みの分が連続して壊れてるんだよね。
0329名無しさん＠お腹いっぱい。2022/03/07(月) 00:47:28.56
その画像URLをそのままSPNでもう一度保存すればいい
元のサイトがすでに無いか初めから画像が壊れてるならご愁傷様
0332名無しさん＠お腹いっぱい。2022/03/08(火) 20:45:44.86
既出かもしれないけどアーカイブ済のURL一覧を出力する方法見つけたから書いとく

https://exposureninja.com/blog/extract-urls-archive-org/
から引用

まず

http://web.archive.org/cdx/search/cdx?url=example.com*&;output=txt

にアクセス、example.comのところをアーカイブしたページのトップページURLに変えればいい、*を誤って消さないようにすること

大量のテキストが出るので全選択してコピー

Excel立ち上げてCtrl+Aで全選択して貼り付け
その後「テキストから列へ」を選んでスペースを基準にセルを区切る
あとはセル列のアルファベット文字をクリックしたらその列が全選択になるからURLの列をコピーしてテキストエディタに貼り付けるなりすればいい
注意なのがこれ同じURLでも保存した時間分の数書いてあるから置換ツールで重複した行を消すこと
IAのURLsでは10000個までしか表示できないがこの方法使ってアーカイブされたURLの正確な総数がわかるはず

これに自分が集めたURLリストを付け加えて重複行消す処理を行うと未アーカイブURLだけ割り出せるのでだいぶ楽になる

WEB版のExcelだと貼り付け時に容量オーバーで受け付けてくれないことがあるからその場合はLibreOffice Calcでも使えばいい
LibreOfficeの場合貼り付け後、表全体の全選択を解除し、1回セルAをクリックしてセルAを全選択した後、データ→テキストから列へ を選ぶことでセル分け可能
0333名無しさん＠お腹いっぱい。2022/03/09(水) 12:41:29.79
おお便利だね
今まで保存されてるかどうかをページごとに判断するAPIをちまちま使ってたわ
ドキュメント見てもう少し使いやすくしてみた

http://web.archive.org/cdx/search/cdx?url=example.com*&;output=txt&fl=original&filter=statuscode:200&filter=mimetype:text/html&collapse=urlkey
・URLのみ表示
・ステータスコードは200のみ
・メディアタイプはtext/htmlのみ
・重複URL除去

あとは必要に応じて末尾にこれを追加すれば日付でフィルタリングできる
&from=yyyyMMddhhmmss&to=yyyyMMddhhmmss
例：&from=2010&to=2011

参考
https://github.com/internetarchive/wayback/tree/master/wayback-cdx-server
0334名無しさん＠お腹いっぱい。2022/03/09(水) 16:40:50.92
>>331-332
せっかくなんで、前に検索してたら見つけたこんなツールもあるよ。
あるドメイン(もしくはサブドメイン)下で保存済みの10万個までのURLが取れる。
日付範囲は適当に20年前からぐらいにしとけばいい。
ただし最近保存したURLはすぐに反映されない。これはCDXでも同じだと思う。

Download data from archive.org
ttps://share.streamlit.io/antoineeripret/streamlit-archive/main/app.py
ソースコード
https://github.com/antoineeripret/streamlit-archive/blob/main/app.py
簡単なPythonのスクリプトなので、個人的にプログラム動かしてるなら参考になるかも。
0338名無しさん＠お腹いっぱい。2022/03/13(日) 13:27:26.17
URL一覧から重複消すにしてもサクラエディタだと並び替えないと消せないからほかのツール使わないといけないっぽいね
このツールだったらソートせずに元の並びのまま重複行消せるから便利
上に書いてあるものが優先されて下のほうにある重複行が消されるから先にcdxをコピペして空白改行してその下にアーカイブ予定のURLリストを貼り付けたtxtを作って実行すればいい
ここからDLできる↓
https://sourceforge.net/projects/removeduplicatelines/
DLできなければここから↓
https://web.archive.org/web/20220313034128/https://priceless-panini-57a29d.netlify.app/RemoveDuplicate_V1.1.zip
それとcdxだと日本語URLのデコードが大文字と小文字混在して保存されてるから一旦サクラエディタで小文字に変換してからやれば全部重複消せるはず
英語のみのURLでも混在してる場合もあるだろうし
Naverまとめみたいに大文字と小文字を区別する特殊なサイトもあるけど大半は区別しないから問題はないはず、IA上でも区別せずに保存されてる
0339名無しさん＠お腹いっぱい。2022/03/13(日) 20:27:38.40
curlでもIAログイン状態に出来る方法はありますか?
0341名無しさん＠お腹いっぱい。2022/03/14(月) 00:32:21.41
>>340
すいません、具体的なURLかページ名でお願いします。
0342名無しさん＠お腹いっぱい。2022/03/14(月) 07:14:23.11
昨日あたりからまた時間かかるどころか、
大体が反映されず
何日かして反映されてるなら良いが、
時間かかった挙げ句反映されてなかったら悲しいなぁ
0343名無しさん＠お腹いっぱい。2022/03/14(月) 17:57:32.97
SavePageNowがSavingぐるぐるで終わらないときあるな
一応取れてるみたいだから終わらないっぽいときはページ閉じてるけど
なんかスッキリしない
0344名無しさん＠お腹いっぱい。2022/03/14(月) 22:14:18.22
>>343
Chromeだったら一旦別のサイトに移動してから戻るボタン押して少し待ったらdoneになるよ
0345名無しさん＠お腹いっぱい。2022/03/15(火) 09:03:53.04
>>343
344と動作的には同じだが「The capture is estimated to start〜」が出てきてないなら
1分ぐらいを目安にそのままページを再読み込みすればいいよ
保存終わってるか途中なら1分前に既に保存しましたってのが出てくるはず、出てこない場合は作業失敗してる
強制的に直近の保存状況を表示させる裏技だけど、こうすれば時間節約できる
待たされてる時はこの方法は使えない
0346名無しさん＠お腹いっぱい。2022/03/15(火) 21:30:24.29
>>333
これ欠陥あるっぽい
重複消すと違うURLでも同じサイトに繋がってる場合どちらかのURLが消える
URLから&collapse=urlkeyを消して重複除外しなくすると両方とも表示できるからそれでコピペして置換ツールで重複を消すしかないね
https://web.archive.org/cdx/search/cdx?url=example.com*&;;output=txt&fl=original&filter=statuscode:200&filter=mimetype:text/html

例えばこのサイトだと
https://web.archive.org/cdx/search/cdx?url=http://sumimarudan.blog7.エフシー2.com*&;output=txt&fl=original&filter=statuscode:200&filter=mimetype:text/html&collapse=urlkey
URLがNGワードっぽいからカタカナを英語に戻してね
.fc2.com/page-4.htmlが表示されず、かわりに.fc2.com:80/page-4.htmlになってる
&collapse=urlkeyを外すとfc2.com/page-4.htmlがちゃんと表示されるが、重複除外してないので同じURLが何個も表示される
普通にブラウザで見る場合URLは.fc2.com/page-4.htmlになるからこれが除外されて同じURLをアーカイブするという2度手間になる
.fc2.com/page-4.htmlと.fc2.com:80/page-4.htmlを両方表示したうえで重複消せたら便利なんだけどね
cdxのgithub見てURLいじってみたりしたけどいまいちうまくいかない
0347名無しさん＠お腹いっぱい。2022/03/15(火) 21:56:50.84
あ、既アーカイブ分を消すだけなら最初に重複を消さなくてもよかったんだ
自分が集めたURLから既アーカイブ分消すときに一緒に消えるし
とはいえ行が10万以上だと容量が大きくなるから重複しないにこしたことないけど
0349名無しさん＠お腹いっぱい。2022/03/18(金) 17:13:54.67
>>348
普通にキャプチャできたけど
0355名無しさん＠お腹いっぱい。2022/03/25(金) 15:31:35.95
複数の画像を個別に保存する場合

ttps://web.archive.org/save/http〜w.jpg
ttps://web.archive.org/save/http〜c.jpg

みたいに一つずつやらないといけないの？
0356名無しさん＠お腹いっぱい。2022/03/25(金) 15:57:23.54
>>355
それで大丈夫。混んでなければ1個10秒以下で終わる。
もしくは画像が載ってた元ページのURLをSave Page Nowで保存すれば画像含めて一緒に保存されるはず。
JavaScriptでぐちゃぐちゃになってるページは失敗する可能性あるけど。
0360名無しさん＠お腹いっぱい。2022/03/29(火) 03:17:07.75
アーカイブ入りしたページのうちリダイレクトされるページを除外するオプションねえのか
0361名無しさん＠お腹いっぱい。2022/03/29(火) 19:38:07.81
SPNで保存したときにリンク先をspn-outlinksのbotが数時間後にクロールしないようにするフラグとかってないの?
サーバーに猛アタックしてきて大迷惑かけてる気がする。余計なことしやがって。
0365名無しさん＠お腹いっぱい。2022/03/31(木) 05:01:37.02
消されたのを確認して念のため今日また確認したらアーカイブ復活しちゃってるんだがなんで
プロセスの自動化された部分がコースを実行し変更が有効になるまで最大1日かかりますって意味がわからんくなったし
0366名無しさん＠お腹いっぱい。2022/03/31(木) 06:44:41.09
もしかしてわいが依頼したニュアンスは表示させなくする依頼で停電によってアーカイブ見れるようになってしまった？
0369名無しさん＠お腹いっぱい。2022/03/31(木) 08:52:04.68
どうせまた魚拓が不都合な糞ロシア共が落としてんだろ
ほんましょーもない
0370名無しさん＠お腹いっぱい。2022/03/31(木) 09:48:34.48
>注意：本日午前7時～7時30分（太平洋時間）、当社の主要データセンター付近でPG&E社による計画停電が実施されます。このため、サービスに支障が出ることが予想されます。ご迷惑をおかけいたしますが、よろしくお願いいたします。
昨夜の切断はこれか…
0373名無しさん＠お腹いっぱい。2022/04/01(金) 03:48:17.84
過去スレ見てexpectedがアーカイブできない依頼って意味って思ってdeleteで再依頼したら担当者にブチキレられた
もう除外してますよって言われながら
停電してたらわかるわけない
別なアーカイブ削除依頼は除外されたとおもったら停電後に復活してやがるしどうなってんだかもうめんどいからいっそアーカイブサービス終了しないかな
0374名無しさん＠お腹いっぱい。2022/04/01(金) 03:51:17.86
間違ったexpectedじゃなくてexcluded
0375名無しさん＠お腹いっぱい。2022/04/01(金) 03:56:34.44
お、停電してない。This URL has been excluded from the Wayback Machine.って出た。けどやっぱり停電後は除外したはずのものがでちゃう感じ？陰謀論的なやつじゃないよな？ロシア関連。
0376名無しさん＠お腹いっぱい。2022/04/01(金) 04:05:16.10
もう暫くはメールスルーされそう
0377名無しさん＠お腹いっぱい。2022/04/01(金) 07:25:14.90
Sorry
This URL has been already captured 10 times today. Please email us at "info@archive.org" if you would like to discuss this more.
0378名無しさん＠お腹いっぱい。2022/04/01(金) 12:29:02.69
5gbのzipダウンロードするのに5時間とか言われてんだけど重すぎじゃね
他はそんなことないのに
0379名無しさん＠お腹いっぱい。2022/04/01(金) 14:08:12.38
試しにトレント使ってダウンロードしてみるとか
使ったことないから速度どんだけ出るか知らんけど
0381名無しさん＠お腹いっぱい。2022/04/02(土) 11:11:06.20
スプレッドシートのやつ結果のステータスが書き込まれなくなったんだけど俺だけ？
解決方法わかる人いますか？
0382名無しさん＠お腹いっぱい。2022/04/02(土) 13:43:58.22
twitter保存するとjob failedが繰り返し出る現象何
0383名無しさん＠お腹いっぱい。2022/04/02(土) 14:45:50.01
時間かかるうえに「Internal server error.」が何遍も出るのがなぁ
所要時間はどんどん後ろ倒しだし
「You may close your browser window and the page will still be saved.」とあるが、
こんなんではとても閉じるどころではない
0385名無しさん＠お腹いっぱい。2022/04/02(土) 16:49:11.25
6時間待ちでアーカイブ失敗してリトライしたら8時間待ちって
0388名無しさん＠お腹いっぱい。2022/04/02(土) 21:51:51.36
IAはアメリカのチャリティ登録法人だから検索すれば決算の書類出てくるよ
その書類曰くサンフランシスコの年収1000万円台のサーバーエンジニアなど5人雇えるぐらい金あるんだから予算に問題なんかないよ
一番給料高い日系人のWendy Hanamuraってメディア担当の人で2019年の給料は21万4385ドル
創業者は0ドルで頑張ってるのに寄付してるのがバカバカしくなってくるけどな
でももうちょっとSave Page Nowの保存制限を前みたいに緩和してサーバー増強してほしいよね不安定すぎる
0390名無しさん＠お腹いっぱい。2022/04/05(火) 20:16:53.31
Save Page Now servers are temporarily overloaded. Your captures may be delayed.
なんだこれ初めて見たぞ
0392名無しさん＠お腹いっぱい。2022/04/06(水) 02:44:35.09
過去のサイトの画像って正しく表示されない場合って見るのを諦めたほうがよろしい感じですか？
それとも見る方法があるのでしょうか
0393名無しさん＠お腹いっぱい。2022/04/06(水) 09:43:35.94
>>392
表示されない＝アーカイブされてないだから無理
最近は画像もアーカイブされるけど、昔はアーカイブされてないのが殆ど
念のため画像のURL単体で確認してみるといいんじゃない？
0394名無しさん＠お腹いっぱい。2022/04/08(金) 16:08:47.46
ツイッターに編集機能が追加されるらしい
Internet Archiveの出番かな
0395名無しさん＠お腹いっぱい。2022/04/08(金) 21:28:34.27
ロシア外交官追い出しニュースを見て、ロシア大使館のサイトを保存しようと思ったらtokyo.mid.ruごとブロックされてるんだけど
ブロックする理由あんのこれ?
0396名無しさん＠お腹いっぱい。2022/04/09(土) 04:57:08.67
今はだめな時間帯か？
0397名無しさん＠お腹いっぱい。2022/04/09(土) 04:57:49.95
>>395
ロシア政府が保存するなと通達すればそうなる
0398名無しさん＠お腹いっぱい。2022/04/09(土) 04:59:39.32
>>386
たまに80：とかがドメインにくっついてる奴が謎
0399名無しさん＠お腹いっぱい。2022/04/09(土) 13:07:53.26
>>398
あるURLの最古もしくは一番早いスナップショットがポート番号付きのURLでインデックスに登録された場合、
ポート番号付きのまま表示されてるだけなので特に意味はない。
といってもポート番号によって内容が変わるサイトもあるわけだから、違うポート番号を同じURL扱いするのはちょっととは思う。
将来的にはポート番号削ったURLに登録し直してほしいけど、ずっとこのままかもしれないな。
/*/でURLを並び替える時にちゃんと並ばないのは不便だけど。
0400名無しさん＠お腹いっぱい。2022/04/09(土) 18:28:59.17
twitterのURL検索は前できなかった気がしたけど、今確認したらできるようになってるな。これ使えるね。
0404名無しさん＠お腹いっぱい。2022/04/19(火) 19:18:40.19
>>403 ・・・と思ったけどこの日の夜になってやっと更新されたことで対象のURLのデータを見る事が出来たー！
良かった！
0405名無しさん＠お腹いっぱい。2022/04/20(水) 21:08:13.94
Hrm.
The Wayback Machine has not archived that URL.

This page is unavailable for archiving right now!
This page is available on the web but its quite busy. Please check again later.
0411名無しさん＠お腹いっぱい。2022/04/25(月) 13:05:09.91
SPN2 public API page docs に記載のある target_username と target_password の引数、
試しに BASIC 認証のページで使ってみたが上手く行かんな。
認証が通らず 401 エラーがアーカイブされてしまう。
ttps://web.archive.org/web/2022*/email.datacempro.com.br/messagelist
0413名無しさん＠お腹いっぱい。2022/04/30(土) 16:41:25.24
Ghost Archive
ttps://ghostarchive.org/
インスタのアーカイブ取れたり取れなかったりする

ただしエロや薬物系のページは禁止で、ページ容量の制限もあるので、ちょっと信用性の面では低い
ttps://ghostarchive.org/about.html
Momentoに対応してるのはいいけど、選択肢の1個としては使える
0415名無しさん＠お腹いっぱい。2022/05/03(火) 16:05:03.01
>>403
短縮URLじゃなくて最終的な転送先のURLで保存したほうがいいと思う。
転送先のURLじゃないとそのページ内までちゃんと保存されない可能性が出てくるので。
YouTubeの動画みたいに後から動画ファイルを保存される特殊な作業が必要になるものは特に。
めんどうなら両方SPNに突っ込んどけばいい。
0417名無しさん＠お腹いっぱい。2022/05/10(火) 15:41:09.33
metaタグやrobot.txtでクローラー除けしてるサイトを残す安定した方法ってある？
自分が知ってるのは「Google翻訳で日本語→日本語で表示してそのURLを保存」くらい。
0418名無しさん＠お腹いっぱい。2022/05/10(火) 19:24:45.13
昔はpste.euを使ってコピーサイトを作って、それをarchive todayとかで保存するとかあったけど、pste.euが閉鎖されたから無理だね
0419名無しさん＠お腹いっぱい。2022/05/10(火) 21:26:57.64
web串使うしかないね
後から参照できるように出来るだけ有名どころでURLに元のアドレスが乗っかるところが望ましい
0420名無しさん＠お腹いっぱい。2022/05/11(水) 01:35:01.48
>>417
魚拓（ megalodon.jp/ ）だとmetaタグやrobot.txtはweb串通しても取れないな。

archive.org/web はそれらに引っ掛かる不便自体あまりないけど
0421名無しさん＠お腹いっぱい。2022/05/11(水) 04:49:25.53
>>420
魚拓ってしょっちゅう消すわ通報もするわでオワコンじゃなかったっけ
投稿サイトと一緒で搾取サイトっていうか
0423名無しさん＠お腹いっぱい。2022/05/12(木) 20:32:18.74
拒否URL関係まとめ

This URL has been excluded from the Wayback Machine.
https://note.com/
https://gigazine.net/
https://boards.4channel.org/
https://bokete.jp/
https://yoshidakenkou.net/
https://tanteifile.com/
https://motherless.com/
https://www.lancers.jp/

This URL is in our block list
https://finance.yahoo.co.jp/brokers-hikaku/ 以下全て
https://movie.eroterest.net/
https://anime.eroterest.net/

サイトの仕様で取れないもの
https://ch.dlsite.com/matome　記事本文が取得不可、todayなら取れる
https://www.pixiv.net/ 投コメのみ取得可、todayなら取れる

ArchiveTeamのexcludedまとめ
https://wiki.archiveteam.org/index.php/List_of_websites_excluded_from_the_Wayback_Machine
0426名無しさん＠お腹いっぱい。2022/05/13(金) 05:08:07.05
支援

>>サイトの仕様起因
>https://uso.kkx.one
ユーザースタイルシートのカタログサイト、
Wayback Machineで保存しても白いページが表示されるのみ、
todayなら問題なく取れる
0427名無しさん＠お腹いっぱい。2022/05/13(金) 11:59:01.36
【PC】「玄人志向」のサポート掲示板が終了へ、15年の歴史に幕　閉鎖後は過去の投稿も閲覧不可に [あずささん★]

だそうです
0428名無しさん＠お腹いっぱい。2022/05/13(金) 23:03:55.15
FirefoxでもGoogle Chromeでも待機中が長くていつまで経っても保存されてない事が多いんだけど、どうしたらいいんだろう
テレビ局とか番組サイトのページなんだけど
0431名無しさん＠お腹いっぱい。2022/05/14(土) 02:53:15.43
>>429

半日～一週間以上経っても保存されてない時といつの間にかされてる時があるから、ページの閲覧（ブラウザに開いたまま放置）をいつまでも経っても止める事が出来なくて困ってる
archives.todayをやウェブ魚拓の方が何倍も保存速いのに、何でweb archiveが未だに1番手で利用されてるっぽいんだろう
>>430
エロルって何ですか？
検索してもエロ動画とかエロ広告って書かれたページしか該当ヒットしない
0432名無しさん＠お腹いっぱい。2022/05/14(土) 03:26:23.22
放置したところで、数分でセッション切れになるだろうから、タブを残したままにしてもあんまり意味ないと思うよ。
04344292022/05/14(土) 12:11:45.08
そもそも SAVE PAGE ボタンを押して Saving page http:～ のページに切り替わった後は、
それを閉じても保存に全く影響しないんだけどな。

ぐるぐる表示している間は何をやっているかというと、保存の進行状況を
タイマーで繰り返し表示しているだけ。
単に「保存が成功したか失敗したか、運が良ければ教えてくれる」だけで、
ページを閉じたからと言って保存が中止される訳ではないし、
タイマーが止まって表示が一切更新されなくなることすらある。
どーせギガバイト級のファイルでも 5 分もあれば保存できるのだから、
保存開始後しばらくしたら web.archive.org/web/2/ を付けた URL で
実際に保存できているか試したほうが良いと思うな。
04354292022/05/14(土) 12:13:07.09
少し専門的な話。

Save Page Now 2 Public API のドキュメント
https://docs.google.com/document/d/1Nsv52MvSjbLb2PCpHlat0gkzw0EvtSgpKHu4mk0MnrA/edit
これと対比させて考えてみればよい。

保存開始のリクエスト方法は Capture request の節に書かれているが
同じ https://web.archive.org/save の URL を使っていて、パラメータの与え方が異なるだけ。
保存のリクエストを出したら、それ以降はユーザ側で制御する必要は無し。

これとは別に、出されたリクエストの進行状況を調べる API が用意されていて、
それは Status request の節で説明されている。
ぐるぐるの表示中も、バックグラウンドでこれを繰り返し呼んでいるだけ。
(で、たまに止まってしまう。ブラウザのタブをバックグラウンドにするとかなりの確率で止まる。)

進行状況を調べる際に誰がいつ出したリクエストかを特定するために
job_id というパラメータが使われているが、これは Save Page Now のページから
リクエストを出した時も、保存中ページの HTML ソースから spn.watchJob の語を頼りに
拾うことができる。spn2- で始まる文字列がそれ。
> spn.watchJob("spn2-be5deb2f51d8cf21858418b09fefeef80e32938c", "/_static/",

この文字列に http://web.archive.org/save/status/ を付けると Status request API の URL となり
JSON 形式のデータが返ってくるが、ブラウザで直接開くだけでも内容は確認できると思う。
> https://web.archive.org/save/status/spn2-be5deb2f51d8cf21858418b09fefeef80e32938c
status の値が pending なら保存中、success なら保存成功、error ならエラー。

それから job_id の有効期限は保存開始から一時間くらい。
上の URL に今アクセスすると duration_sec、counters、timestamp 等
保存したときのデータが色々返ってくるが、今日の午後 1 時過ぎには
重要なデータは空になっているはず。
0436名無しさん＠お腹いっぱい。2022/05/15(日) 10:01:51.84
resume upload
501 slow down

が何度も出て数値も異常なことになって
アップロードが終わらないんだけどどうすればいいの？
0437名無しさん＠お腹いっぱい。2022/05/15(日) 10:48:03.99
>>436
スパムっぽいから間違いならメール送れ的な英文が書いてあるはずだが
何をアップロードしてるのかは知らんけど、Youtube関係ならtubeup使った方がいいぞ
デフォルトのアップローダーは規制されやすい
0438名無しさん＠お腹いっぱい。2022/05/15(日) 14:32:45.73
最近IAへのアップロードが異様に遅くなって困ってる
前は上り1Gbps保ってたけど今はその100分の1くらい
IAにメール送ってもIA側が何かしたわけでもないって返答くるし理由が分からん…

ちなみにVPN通したら速度戻った(今は期限切れたので使えない)
スマホからのアップロードは以前と変わらず速い
それならとUASwitcherを使ったけどダメだった
帯域制限を疑って他サイトにアップロードしてみたけど速度は普通に出る

マジで困ってるから誰か教えてくれ…
0440名無しさん＠お腹いっぱい。2022/05/17(火) 03:10:16.22
あと去年3月にarchiveteamがニコ動の動画ページ（/watch/sm〜）を片っ端から保存してくれたけど、それ以降は動いてないのね
てっきりずっと動かしてるかと思ってたわ
ttps://archive.org/details/archiveteam_niconico
ttps://wiki.archiveteam.org/index.php/Niconico

動画ファイル自体も保存しないと意味ないんだけどな
0441名無しさん＠お腹いっぱい。2022/05/17(火) 11:41:37.42
>>440
あれはニコニコの削除された動画の情報が非表示になるから保存してただけなので
動画自体は対象に入ってない（というかサイズ的に現実的じゃない）
0442名無しさん＠お腹いっぱい。2022/05/17(火) 18:12:55.52
>>439
他サイトへのアップロードは速いって言ってるだろ
それとスマホからアップロードした時は何故か速度出るんだよ
もちろん同じWifiに繋いだ状態で

今は仮想マシン通したら速度出たからそうしてるよ 不便だけど
0443名無しさん＠お腹いっぱい。2022/05/17(火) 18:14:51.83
>>439
他サイトへのアップロードは速いって言ってるだろ
それとスマホからアップロードした時は何故か速度出るんだよ
もちろん同じWifiに繋いだ状態で

今は仮想マシン通したら速度出たからそうしてるよ 不便だけど
0444名無しさん＠お腹いっぱい。2022/05/17(火) 21:18:18.55
録画した番組をエンコードしてアップしたいんだけど
デフォルト以外でおすすめのアップローダーを教えて
0449名無しさん＠お腹いっぱい。2022/05/21(土) 15:50:47.29
保存されたJAVAが別の画像（など）を動的に引用してる時に
「オリジナルの画像のアドレス」を呼んでしまってるせいで正しく動作しない（呼ばれてる画像自体はアーカイブにある）やつは
アーカイブ上で何とかならんもんだろうか
0450名無しさん＠お腹いっぱい。2022/05/21(土) 15:53:32.08
>>441
容量もだが権利関係でやばいのが多すぎる気が
0451名無しさん＠お腹いっぱい。2022/05/21(土) 19:49:16.37
curlでもIAログインモード、cookieのページみても出来ないぞ(IAが対策?)

数万urlは保存したいのだが(特に画像)
0452名無しさん＠お腹いっぱい。2022/05/22(日) 08:29:18.90
curlで/save/から保存しようとすると「This URL is in our block list and cannot be captured」が出るけど
ウェブブラウザからだとちゃんと保存されるのに遭遇した
ちょっと上で書いてる人もいるけど、UserAgent以外の部分も見るのかなこれは
0453名無しさん＠お腹いっぱい。2022/05/25(水) 00:41:46.06
>>451
Cookieは知らんが、今のSPNの制限内であっても、outlinksを辿って時間かからない単一の画像URLだけなら、
少なくとも1分間で4個のURLの保存できるだろうから、24時間で5760個、数万URLあっても1週間以内に保存終わるはず。
0455名無しさん＠お腹いっぱい。2022/05/27(金) 10:52:55.05
質問です
Internet Archiveにおいて
著作権の扱いはどうなっているのでしょうか？
無断で複製禁止のものをアーカイブした場合
Internet Archive側が著作権侵害となるのでしょうか？
それともアーカイブユーザー側が著作権侵害となるのでしょうか？
ご回答よろしくお願いします
0456名無しさん＠お腹いっぱい。2022/05/27(金) 20:01:04.98
アメリカのフェアユースと図書館法と非営利団体ということで守られるので問題ないですが、
「日本人が日本から投稿した」という部分が違法になり得るので、
そこを隠せてすぐに逃げられる形でやれば問題ないです
0458名無しさん＠お腹いっぱい。2022/05/31(火) 03:41:16.24
他人のツイートを全部保存する方法ってないの？
0467名無しさん＠お腹いっぱい。2022/06/06(月) 22:07:55.79
また○時間レベルでかかるようになってしまった
数時間前まではなんともなかったのに・・・
0469名無しさん＠お腹いっぱい。2022/06/07(火) 23:09:12.43
「The capture is estimated to start in * minutes. You may close your browser window and the page will still be saved.」
今日は21時台から使ってると30分ぐらいごとに出たり出なかったり波があるようだ
そのまま本当に取得できてる場合と「Internal server error.」と出る場合があるからおちおち閉じるわけにもいかないのがなぁ
0470名無しさん＠お腹いっぱい。2022/06/08(水) 02:39:39.28
日付変わってすぐは正常だったのにしばらくしてまた「The capture is estimated to start in * hours, * minutes.」
それにしても今月になってから毎日のように時間かかること多いなぁ
0473名無しさん＠お腹いっぱい。2022/06/11(土) 02:19:49.71
インフォシークとかサービス終了したサイトの終了告知を最優先で表示するのあれなんとかならねえの
0478名無しさん＠お腹いっぱい。2022/06/14(火) 12:37:06.24
>>477
2年前のIPアドレスお漏らし騒動のときに運営がIAにアーカイブ除外申請したからそれ以降保存できなくなってる
0480名無しさん＠お腹いっぱい。2022/06/20(月) 11:28:15.69
既出だったら申し訳ないのですが、archive.orgでツイートやtwitterプロフィール画面をSave Page Nowで保存すると、モバイルサイトでの表示形式で保存されてしまいます。
どうすればPCの表示形式で保存できますか？
0481名無しさん＠お腹いっぱい。2022/06/23(木) 10:44:42.70
>>480
Twitterの仕様変更のせいだと思うから無理だと思う
過去ログ見れば分かるけど一時期それで取れなくなった
0485名無しさん＠お腹いっぱい。2022/06/25(土) 01:43:20.50
The capture will start in ~5 seconds because we are doing too many captures of www.youtube.com right now. You may close your browser window and the page will still be saved.

初めてこのエラーが出た
5秒以内に保存始まったが
0490名無しさん＠お腹いっぱい。2022/06/29(水) 01:38:37.94
最近YouTubeのURLをSPNで保存すると?v=動画ID&google_abuse=GOOGLE_ABUSE_EXEMPTION〜ってURLに飛ばされてることがある。
SPNのIPアドレスがYouTubeの一時アクセス制限に引っかかってるようで、ちゃんとページが保存されてない場合も。
0491名無しさん＠お腹いっぱい。2022/06/30(木) 21:27:00.59
https://twitter.com/hangorinnokai/status/1542091743386284032


反五輪の会 NO OLYMPICS 2020


組織委員会、明日ウェブサイト閉鎖！逃げ足早すぎる！！皆さん、資料の保存を急いで！！

#TOKYO2020 OCOG




　　　　＿＿

反五輪の会 NO OLYMPICS 2020@hangorinnokai

Jun 29

組織委員会、明日18:00ウェブサイト閉鎖。 tokyo2020.jp/ja/news/news-20…

東京2020組織委員会公式ウェブサイト閉鎖のお知らせ
　　
https://twitter.com/5chan_nel (5ch newer account)
0493名無しさん＠お腹いっぱい。2022/07/02(土) 10:43:22.92
>>474
任意のアドレスを開いた時に一番古いアーカイブを呼ぶように強制できる？
0494名無しさん＠お腹いっぱい。2022/07/02(土) 21:15:53.79
>>493
公式 Wayback Machine 拡張機能を入れれば？
「Oldest」ボタンを押せば表示される。
https://i.imgur.com/k9M4bem.jpeg

The Official Wayback Machine Extension
https://chrome.google.com/webstore/detail/wayback-machine/fpnmgdkabkmnadcjpehmlllkndpkmiak
https://microsoftedge.microsoft.com/addons/detail/wayback-machine/kjmickeoogghaimmomagaghnogelpcpn
https://addons.mozilla.org/en-US/firefox/addon/wayback-machine_new/
https://apps.apple.com/us/app/wayback-machine/id1472432422
0495名無しさん＠お腹いっぱい。2022/07/04(月) 20:52:32.70
実質中身がなくなってるやつを判別してその直前がわかる機能があればいいのにな
別のページへの転送になっている、あたりを基準にするとか
0500名無しさん＠お腹いっぱい。2022/07/10(日) 00:46:22.12
>>480です。とりあえずですが解決方法が見つかりました。

ツイッターのURLにモバイルを入れると、アイコンの画質はガビガビになりますが、レイアウトは見やすく保存できました。
https://mobile.twitter.com/ユーザーネーム
0501名無しさん＠お腹いっぱい。2022/07/11(月) 10:14:42.46
Sorry
Cannot start capture

{
"exception" : "Command # 1 (LLEN spn2-api) of pipeline caused error: OOM command not allowed when used memory > 'maxmemory'.",
"message" : "Cannot start capture",
"status" : "error",
"status_ext" : "error:celery"
}
0509名無しさん＠お腹いっぱい。2022/07/14(木) 15:07:51.64
Sorry.
This snapshot cannot be displayed due to an internal error.

どのサイトで試してもこれが出てアーカイブできない
0510名無しさん＠お腹いっぱい。2022/07/14(木) 17:09:48.59
初書き込み失礼します。
私は先日、とあるお方のTwitterの過去の書き込みを分かりやすく見たいと身近な人物に相談したところ総合.ツイログが良いと言われ、
総合.ツイログから拝見させて頂いていたのですがそのときに誤って画面の右の方にある『Internet Archive Save Page Now』と書かれたボタンを押してしまい
WayBack Machineというサイトに登録されてしまったみたいなのです。色々と調べてここでなら相談できそうだと思い質問させて頂きたいのですが、
他者のTwitterのツイログを本人の同意なくWayBack Machineに登録してしまったことって違法になるのでしょうか?
一般的にTwitter等におけるコメント自体には個性がないから著作権は認められないし画像も無い、そんで海外のサービスやから大丈夫、捕まらないと思う。と説明はされたのですが
どうにも特定されて逮捕されそうという不安な気持ちが拭えません。

違法でない場合は良いサービスを知ったのでこれからは全部写真を撮って保存するのではなく登録した方が楽なので消さないで良いかと思うのですが、
違法である場合はどうにかして消したいのです。その場合は自分が登録されたTwitterの所有者でなくても消すことは出来るのでしょうか。
どうかご回答の程、よろしくお願い致します。
0512名無しさん＠お腹いっぱい。2022/07/14(木) 17:20:33.92
>>510
ツイッターのアーカイブなんて腐るほど保存されてるからタイーホされないと思う。

総合.ツイログが万が一閉鎖されても、Internet Archiveに残ってれば安心や
0513名無しさん＠お腹いっぱい。2022/07/14(木) 17:49:00.21
>>512さん
返信が遅くなってしまい誠に申し訳ございません。

『ツイッターのアーカイブなんて腐るほど保存されているからタイーホはないと思う。』

そうでしたか。これで安心できました。本当にありがとうございます。
0514名無しさん＠お腹いっぱい。2022/07/15(金) 20:18:27.49
>>509だがどうやらSave outlinksを選択するとThis snapshot cannot be displayed due to an internal error. が出るみたい
なので現状は非会員と同じく一つ一つアーカイブやらなければならない羽目に
0519名無しさん＠お腹いっぱい。2022/07/23(土) 18:17:14.65
We're sorry — something's gone wrong.
Our team has been notified.
↑
昨日あたりからこれがよく出るが、
取得済みかどうか調べるときに不便
0525名無しさん＠お腹いっぱい。2022/07/25(月) 18:23:51.72
>>524
webページを保存するのとは別にYouTube動画を保存するプロセスが特別に用意されてるっぽい
動画が保存されてアーカイブページに反映されるまでには若干時間がかかるけど、完了すれば再生できるようになる
0526名無しさん＠お腹いっぱい。2022/07/27(水) 04:46:52.44
これまで見れてたサイトが、キャッシュは存在するのに読み込み途中でキャッシュされてないときの画面になるので、おかしいなと思ってここに来てみたのだが、ずっと挙動おかしいのか。
0528名無しさん＠お腹いっぱい。2022/07/27(水) 22:53:13.53
>>526
逆にNHKラジオのJavaScriptで動的にファイルを読み込んで作成するページが
だめだったけど、過去に「対応したかな？」と保存してみてだめだったページ
が表示されるようになった。表示できていないだけで保存されていた。

ひょっとして、聴き逃しページの配信ファイルの情報を記述したJSONも
保存されていているのかな？　と思って調べたら保存されていて、誰かが
ページを保存してくれたおかげで期限が過ぎたやつを下載できた。
0536名無しさん＠お腹いっぱい。2022/08/01(月) 18:44:49.48
>>534
このスレは archive.org のサービスについてのスレで、
向こうのスレはアーカイブ作業用（終了するサービスを記録したり保存を呼びかけたり）って感じじゃないかな
0540名無しさん＠お腹いっぱい。2022/08/11(木) 08:58:16.01
調子悪い？
0541名無しさん＠お腹いっぱい。2022/08/11(木) 09:05:43.02
昨日から「The capture will start in ~** minutes because our service is currently overloaded. You may close your browser window and the page will still be saved.」
PDFの場合は表示されず
0542名無しさん＠お腹いっぱい。2022/08/17(水) 13:50:51.51
昨日遅くからアクセスしづらいことが多い

それとは別件だが、
最近一部のサイトで正常に取得できてないのに、
なぜか取得できてる扱いを受けることが多い
できてるとみなされるものだから取得し直そうとすれば45分待たなければならない
0545名無しさん＠お腹いっぱい。2022/08/19(金) 17:17:16.09
今日もまたつながりづらいことが多い（5chを含めてほかにはつながる）
新手の規制なのだろうか
0547名無しさん＠お腹いっぱい。2022/08/20(土) 01:17:48.76
日付変わってからの傾向
・20分ごとにつながるときが来る
・使えるのは3分程度、それでまたつながらなくなるの繰り返し

話題にならないところを見ると俺環なんだろうが、
なぜIAだけつながらないのかが謎
0548名無しさん＠お腹いっぱい。2022/08/20(土) 23:47:28.88
>>546
www-ghacks-net.translate.goog/2021/04/01/here-is-the-easiest-way-to-get-rid-of-googles-before-you-continue-to-youtube-prompt/?_x_tr_sl=en&_x_tr_tl=ja&_x_tr_hl=ja&_x_tr_pto=sc
↑
これのこと？
プライベートモードではなく通常モードで使うべきということか

で、今は何事もなかったかのような状況
あとは「正常に取得できてないのに取得できてる扱い」がなんとかなれば・・・だが、
まともにつながるだけでも大違いか
0552名無しさん＠お腹いっぱい。2022/08/23(火) 23:29:24.71
togetterって保存できても閲覧できないようになってる？
カレンダーから飛んでも現在のページに戻されてしまう
0553名無しさん＠お腹いっぱい。2022/08/25(木) 05:13:13.00
最近ドメイン指定で/*/を見てるとArchiveteamがサイトマップのXMLファイルURLをいろんなブログで保存してるのを見かけるんだけど
そのサイトマップに載ってるブログ記事のURLの方を保存してほしいな
サイトマップだけじゃ意味ない
0556名無しさん＠お腹いっぱい。2022/08/25(木) 11:57:50.22
Internet Archiveに保存したデータって100年後も残ってると思う？
本当に永久に残せる気がしなくて悩んでる
0558名無しさん＠お腹いっぱい。2022/08/25(木) 13:55:43.16
>>556
デジタル情報を後世に残せる可能性が唯一あるのがInternet Archiveだろうね
ネット規制が年々厳しくなってるから情報を本にまとめて国立国会図書館に納本した方が案外残ってたりするかも？
0561名無しさん＠お腹いっぱい。2022/08/25(木) 16:53:16.25
「Temporarily Offline
Internet Archive services are temporarily offline.

Please check our Twitter feed for the latest information.

We apologize for the inconvenience.」

今日は俺環だけではなかったのか・・・
0562名無しさん＠お腹いっぱい。2022/08/25(木) 17:22:38.17
10時サーバーが落ちていた
16時サーバーが落ちていた
17時サーバーが復旧してメンテ中になっていた

twitter.com/internetarchive/status/1562637688918142976
2022年8月25日(木)12:07:12 JST
> We are working to resolve the outage affecting
> http://archive.org & @waybackmachine

お前らの行動あるある
archive.ph/foxJV
archive.ph/LMz1C
archive.ph/z1gVl
archive.ph/W61NL
https://twitter.com/5chan_nel (5ch newer account)
0566名無しさん＠お腹いっぱい。2022/09/08(木) 00:46:00.71
kiwifarmsという掲示板住民の嫌がらせ対象となった活動家らがCloudflareに対して抗議
掲示板はCloudflareからのブロックに続き、Wayback Machineのアーカイブ対象からも除外されたことで物議を醸してる
https://i.imgur.com/gzErRBc.jpg

Reddit r/Archiveteam のスレでは賛否両論
https://www.reddit.com/r/Archiveteam/comments/x7xmxy/wayback_machine_deletes_kiwifarms_archive

参考
ITmedia『Cloudflare、フォーラムKiwi Farmsをブロック　「命にかかわる脅威と判断」』
https://www.itmedia.co.jp/news/spv/2209/05/news059.html
0568名無しさん＠お腹いっぱい。2022/09/10(土) 16:56:52.81
昨日あたりから調子悪い？
0572名無しさん＠お腹いっぱい。2022/09/11(日) 19:52:23.24
エラー出ても2、3回やれば保存が始まるか保存制限に引っ掛かるかのガチャだな
保存できる確率は1/3か1/4
0573名無しさん＠お腹いっぱい。2022/09/11(日) 23:57:16.77
エラーになった後もう一度やると「The same snapshot had been made seconds/minutes ago」が返ってくることがある
保存できてるならちゃんと返してほしいが
0574名無しさん＠お腹いっぱい。2022/09/12(月) 12:47:12.64
本当にできてるならまだ良いが、
できてないのにできてるとみなされて「The same snapshot had been made ** minutes, ** seconds ago. You can make new capture of this URL after 45 minutes.」なんてことも
本当にできてないのに45分待ちはきつい
ちなみに「web.archive.org/web/*/（URL）/*」では本当にできてる場合は緑or青、みなされてるだけの場合は赤or黄で表示
0575名無しさん＠お腹いっぱい。2022/09/12(月) 23:14:14.97
>>574
> ちなみに「web.archive.org/web/*/（URL）/*」では本当にできてる場合は緑or青、みなされてるだけの場合は赤or黄で表示

嘘はいかんよ。
緑として記録されても、リダイレクトされた先で 403 や 404 (つまり赤) ってこともありうる。
IA の説明通り、HTTP のステータスコードのみで考えるべし。
0576名無しさん＠お腹いっぱい。2022/09/12(月) 23:54:36.65
直った気がする
0577名無しさん＠お腹いっぱい。2022/09/13(火) 11:03:38.19
某M社からDMCA報告が来たらしく、アップしてた動画が削除された
IAも巡回してるんだな（YouTubeの元動画は放置なのが謎だけど）
MAD動画とかは--metadata=noindex:trueで上げた方がいいかも
0578名無しさん＠お腹いっぱい。2022/09/15(木) 13:39:05.63
てか最近YouTubeの動画URLが一度&themeRefresh=1が付いたURLにリダイレクトされてもう一度リダイレクトされて元のURLに戻るようになってるんだけど
SPNの動画ファイルの保存までちゃんとできてる?
0580sage2022/09/17(土) 14:17:53.95
最近、ラブライブや仮面ライダー関連のツイッターの返信コメント欄が保存されていないのは>>571と>>572が原因かな?

ttps://twitter.com/bandai_ridertoy/status/1569589209190776834の中の各返信コメント欄URLをインターネットアーカイブで検索しても見つからなかったし。
https://twitter.com/5chan_nel (5ch newer account)
0581名無しさん＠お腹いっぱい。2022/09/17(土) 14:20:02.00
最近、各ツイッターのページの返信コメント欄をインターネットアーカイブで探しても過去のデータでは見つからないパターンが多いな。
担当者さぼってんのか？それとも保存する人いなくなったのか？
0586名無しさん＠お腹いっぱい。2022/09/26(月) 02:13:39.95
>>581
他人に頼ってないで重要だと思うなら自らSave Page NowにツイートのURL突っ込めんでいけばいいだろ
ArchiveTeamも全てのツイートURLを保存してるわけじゃないし抜けまくりだぞ
0587名無しさん＠お腹いっぱい。2022/09/26(月) 09:18:40.16
ニコニコ動画で「vipper吹き替え」と言う物が消えるのですが
お暇な方いればそのアーカイブ活動に協力していただきたいです

私がアーカイブしようとしている物は大体アーカイブできていて
あと「タグ」と「コメント」だけです
詳しい事はニコニコ大百科の掲示板にレスしています
https://dic.nicovideo.jp/b/a/vipper%E5%90%B9%E3%81%8D%E6%9B%BF%E3%81%88/31-
https://dic.nicovideo.jp/b/a/vipper%E5%90%B9%E3%81%8D%E6%9B%BF%E3%81%88/61-
（ID: Yv+WglHqgh のレスです）
0588名無しさん＠お腹いっぱい。2022/09/26(月) 11:32:22.44
A screen shot was captured. View screen shot:

SPNでページのスクショ画像が一緒に保存されたりされなかったりする機能が始まってる様子
0590名無しさん＠お腹いっぱい。2022/09/26(月) 15:55:53.05
今どきの動的なサイトだとSPNじゃ取れなかったりするが
スクショなら見た目だけでもアーカイブ出来たりする
0592名無しさん＠お腹いっぱい。2022/09/28(水) 09:19:48.78
9月20日以降ツイートのアーカイブが自動で取られなくなってる？
めんどくせぇんだよなぁ膨大な数のツイート1つ1つ手動でアーカイブさせんの
0594名無しさん＠お腹いっぱい。2022/10/05(水) 23:56:19.74
「Job failed」今日はやたら出るなぁ
取得したいサイトとの相性の問題かと思ったらあちらこちらでそんな感じ
0595名無しさん＠お腹いっぱい。2022/10/06(木) 08:09:49.83
>>586 自分が初めて見る前のデータが見たいだけですが…。
仕事中などで見られなかったデータとか。

アクティブチームも最近全然見てないパターン多すぎ。
ちゃんとの人の事考えてるのか？
もう少し早くできないものか。
0598名無しさん＠お腹いっぱい。2022/10/07(金) 23:59:11.39
上でも書いてる人いるけど、/shorts/から始まるYoutubeのショート動画って動画ファイルの自動保存対応してないのかな?
watch?v=に置き換えたURLでも見れるので、念の為両方のURLで保存してるけど、ショート動画のファイルだけ保存できていないような・・・
0600名無しさん＠お腹いっぱい。2022/10/10(月) 01:58:16.83
>>592 最近ツイッターの公開直後のデータがアーカイブされなくなっているのはこれが原因だとしたら納得いく。
アクティブチームが膨大な数のツイート1つ1つ手動でアーカイブさせるのはめんどくさいのはわかるけど・・・。
0608名無しさん＠お腹いっぱい。2022/10/16(日) 19:05:29.39
やっていってないぞ
クローラーは全ての動画を保存していないし、SPNでも全て保存する訳ではない。(CNNとかのニュースは割と保存される)
それに、インターネットアーカイブの人も「少数の人しか興味がなく、長い動画を、メタデータを付加することなく、ただインターネットアーカイブに突っ込むのはやめてね」(訳)と言っている。
https://www.reddit.com/r/DataHoarder/comments/sq6wbq/please_do_not_mirror_youtube_on_the_internet/

それでも雑談とゲームの動画をすぐに保存してほしいのなら、寄付するといいよ。開発に参加するのもいい。
0610名無しさん＠お腹いっぱい。2022/10/17(月) 23:52:20.94
アーカイブって著作権引っかかりそうで
手軽にできない
一応引用って形で引っかからないんだろうか
正直ページとしては残しておきたいもの結構あるんだけどなぁ…
0612名無しさん＠お腹いっぱい。2022/10/18(火) 13:57:43.00
dtiがサービス終了だって
0613名無しさん＠お腹いっぱい。2022/10/21(金) 12:04:03.87
？
0614名無しさん＠お腹いっぱい。2022/10/23(日) 09:50:10.13
ファボ１万以上のツイートでもアーカイブチームが取りに来なくなってるな
どうしたんだろ？Twitter社からお𠮟りでも受けた？
0616名無しさん＠お腹いっぱい。2022/10/26(水) 00:05:19.14
ここ1週間何度試しても「Cannot resolve host （URL）」と表示されて取得できないサイトが
前はなんのこともなく取得できてたのに・・・
0618名無しさん＠お腹いっぱい。2022/11/01(火) 19:41:42.25
二人くらい垢消しが確定してるユーザーのツイートを一人で手動で片っ端からアーカイブ取ってたけど
量多くて時間はかかるし自分が動かなきゃ誰もやらんから自分がしくじったら一生残せなくなるという罪悪感もあるしで
兎に角ツラい　こういう不毛な作業こそ全部ロボットにやらせるべきやろ

なんかいいツールでもないもんかねぇ
0620名無しさん＠お腹いっぱい。2022/11/03(木) 10:50:22.06
>>614 ・・・ツイッター社からお叱りを受けたとしたらツイッターのページの自動アーカイブが出来なくなったのも納得がいく。
権利関係かな?
0624名無しさん＠お腹いっぱい。2022/11/09(水) 17:23:42.06
YouTube動画の保存初めてやってみたんだけど
すごい時間かかるうえエラー出て何度やってみても保存できないのも多いし
うまく保存できてもコメント欄はなぜか明らかに違う動画のものだったり文字化けしまくりでめちゃくちゃだった…
あんまり使えないな
0625名無しさん＠お腹いっぱい。2022/11/10(木) 06:12:44.32
12月までに保存じゃー
https://geolog.mydns.jp/
0626名無しさん＠お腹いっぱい。2022/11/12(土) 06:08:18.30
ツイッター保存するとほぼ全てfirst archiveになる
何万もいいねされてバズってるのでもそう
もうツイッターは一切自動保存しないのかな…
0627名無しさん＠お腹いっぱい。2022/11/12(土) 11:26:29.99
今週SPNで保存してもfaviconだけしか保存されない例が何回も起きたんだが
24時間後に同じURLを確認するとやっぱり保存できてなかったわ
保存できてるか確認したほうがいいよ
0630名無しさん＠お腹いっぱい。2022/11/14(月) 20:47:39.81
>>622
このエラーが出たら数分後に自動で保存をやり直してくれる時とやってくれない時があるなー。
最近出るようになった他のセグメンテーション系エラーも同じ感じ。
>>624
今の所、コメント欄のJavaScript周りがおかしいので直してほしいね。
0631名無しさん＠お腹いっぱい。2022/11/14(月) 22:52:15.62
今日は調子が良い気がするようなしないような
0632名無しさん＠お腹いっぱい。2022/11/16(水) 04:29:12.79
5ちゃんのアーカイブもGone.になってしまうの多い
最近ここ調子悪いけど大丈夫なんかね
寄付金のお願いもずっと出てるし
0633名無しさん＠お腹いっぱい。2022/11/16(水) 20:08:56.54
>>632
普通のブラウザでも同じ鯖に連続してアクセスするとGone.になるから、
時間を置いて取得するしかない。それがどのタイミングなのかは分からないけど
0635名無しさん＠お腹いっぱい。2022/11/17(木) 17:20:37.12
worldstarhiphop.com
200万以上も魚拓が保存されているようだが、excludedと表示される
0637名無しさん＠お腹いっぱい。2022/11/18(金) 19:58:05.57
今日は「Job failed.」がやたら出るなぁ
あまりやり直すと1分あたり3件までのしばりで引っかかる
前はもう少しできたっけ・・・これも締め付け厳しくなってるような
取得できてるのかも怪しくて確認すると「Fail with status: 503」
0639名無しさん＠お腹いっぱい。2022/11/19(土) 00:38:40.53
SPNの最新ファイルを見てみると、
18日9時〜14時33分(日本時間18日午後6時〜午後11時33分)の間はファイルが全く追加されてなかったので、
5時間ほど保存できなかったっぽい
この間に保存しようとしたらjob failedエラーだらけだった
今は問題なく保存できるぜ
0640名無しさん＠お腹いっぱい。2022/11/22(火) 04:48:34.40
WaybackMachineとなOpenLibraryとか
もっと知られてもいいもんだろこれ
知ってるのと知らないのじゃ全然便利さが違う
そもそもInternetArchiveが知られて無さすぎる
0642名無しさん＠お腹いっぱい。2022/11/25(金) 01:50:48.75
誰も動かないから自分が動かなきゃいけない
自分がアーカイブ間に合っていれば遺せたのに

こんな使命感持っちまったせいで病んじまったわ

消える前に残すのも大事だが既に消えてしまった物を｢消える前に残す｣以外の手段で発掘する方法ってないもんかね
0644名無しさん＠お腹いっぱい。2022/11/25(金) 20:11:50.98
大げさだけどなんか人の命みたいだ
でも亡くなった人が自分の生きた証にみたいに一生懸命残してたブログとかが跡形もなく消えてしまってたりすると…悲しい
0645名無しさん＠お腹いっぱい。2022/11/26(土) 23:33:08.71
また>>547に近い事態で困ってて別のブラウザでアクセスし直したらつながった
たまにつながらないこともあるが、回復は先に使ってたブラウザより早い
同じ時間帯に使い比べたら片方つながらないのに、もう片方はなんのこともなくつながったり
たまたまか、それともブラウザとの相性の問題か・・・
0649名無しさん＠お腹いっぱい。2022/11/27(日) 19:23:05.98
archive.todayを代用してください。
0652名無しさん＠お腹いっぱい。2022/12/01(木) 08:14:56.48
>>639
最新ファイルはどこで見れるか教えていただけませんか・
0654名無しさん＠お腹いっぱい。2022/12/01(木) 09:32:56.82
ありがとうございます
0660名無しさん＠お腹いっぱい。2022/12/04(日) 19:31:01.38
もしInternetArchiveが無くなったら
割とひどい文化的な痛手になるんじゃないだろうか
どっか国立のサービスにデータ引き渡すのかな
0663名無しさん＠お腹いっぱい。2022/12/06(火) 18:59:20.83
ここ最近、公開直後にアーカイブされてないこと多いよな。
運営も最善を尽くすと言っていたが、やはり難しいのか・・・?

と思ってたら対象の下記のURLをアーカイブ保存するのに時間がかかっている。
https://www.youtube.com/watch?v=QVipLYBQ31g
もしかするとシステムのエラーが引っ掛かっているかも・・・。
0667名無しさん＠お腹いっぱい。2022/12/08(木) 00:06:43.49
>>664
何でもそうだが誰でも好きな時に見れるようにしてようやくアーカイブと言えるんだよなぁ
自分一人だけの手元にずっとあっても意味がないんだよ
0669名無しさん＠お腹いっぱい。2022/12/10(土) 13:28:20.80
Twitterのフルアーカイブってどうすればいいのでしょうか？
単純にアーカイブしたいアカウントのトップをアーカイブしても
ある程度直近のツイートがアーカイブされるだけで
スクロールした場合などの古いツイートはアーカイブされないのですが…
現状個別にツイート開いてアーカイブするしかないんでしょうか？
0670名無しさん＠お腹いっぱい。2022/12/10(土) 16:22:21.70
このサイトでアーカイブすればいい
https://archive.md/
0671名無しさん＠お腹いっぱい。2022/12/10(土) 19:54:05.27
最近waybackmachineでツイートのアーカイブがされにくくなってる。
俺は手動で片っ端から保存してるけど、量が膨大過ぎて到底追いつかん。
0672名無しさん＠お腹いっぱい。2022/12/12(月) 11:30:16.44
されにくい、じゃなくてされてない
そのせいで今まで通り勝手に録ってくれれば残ってた物が残らなくなって滅茶苦茶腹立つ

そうでなくても勝手に録られてた頃でさえそれ以前の過去は録ってくれない無能だった
人一人の力で1日にアーカイブにブッ込めるのは1000くらいが限界だっての
0674名無しさん＠お腹いっぱい。2022/12/12(月) 19:02:11.51
保存したページ見ようとしたら延々と読み込みが続いて見れないんだがサイト側が保存対策でもしたんだろうか
0675名無しさん＠お腹いっぱい。2022/12/12(月) 23:24:17.63
Twitterは保存する人が多すぎで時間かかるわって表示されるね
0676名無しさん＠お腹いっぱい。2022/12/13(火) 18:18:36.60
>>670
archive.md は古い端末からだと画像認証やり難くなってしまった…。

11月までは画像認証じたい要求されなかったけど
0678名無しさん＠お腹いっぱい。2022/12/14(水) 00:48:53.31
Nitterも本家ツイートが消えると連動して消えるから結局手間は同じなんだよな…
ちょっとくらい猶予くれたら完璧に録れるのだが
0680名無しさん＠お腹いっぱい。2022/12/14(水) 16:15:23.92
また取得エンジン不具合か・・・
0683名無しさん＠お腹いっぱい。2022/12/17(土) 18:54:58.46
archive todayはwaybackmachineと違って全ツイートが保存できるんでしょうか？
初歩的な質問で、すみません
0684名無しさん＠お腹いっぱい。2022/12/18(日) 18:14:08.31
>>683
全ツイート保存は無理だけどtodayの方が保存件数多いみたいね
数えてみたらWayBack で保存されるツイートは40件くらいだけど、 today は百数十件保存されてた

全ツイート保存は愚直に1ツイートずつ投げていくしかない
0686名無しさん＠お腹いっぱい。2022/12/19(月) 23:05:57.30
>>684
それが数百程度で済むならいいんだが数千、数万超えると自分一人だけの力だと到底取り切れなくなる
生半可な覚悟で挑戦して、中途半端に記録して挫折して、再開するかと思ったら鍵かけられたり最悪ツイ消し垢消し
これで何度苛付かされたか！

指定の垢のツイートをひたすら遡ってツイート1つ1つのURLをWaybackmachineにブチ込んでいく
これやらせるの別に生身の人間じゃなくても十分可能だと思うんだけど
0687名無しさん＠お腹いっぱい。2022/12/19(月) 23:45:24.38
todayはIPバレるみたいな話がありましたけど、今もそうなんですか？
0689名無しさん＠お腹いっぱい。2022/12/20(火) 17:03:59.68
>>688
そうなんですね
ありがとうございます
0690名無しさん＠お腹いっぱい。2022/12/23(金) 12:23:17.31
過去tweetの確認ですがwayback machineでjsonで保存されているやつは中身を見ることは出来ないんでしょうか
0691名無しさん＠お腹いっぱい。2022/12/24(土) 16:14:40.64
>>690
俺が知ってる限りない
もし元のツイートが現存してるならお手数おかけするが改めて取り直しておいて欲しい

マジで無能だと思うよ　折角取ったのにjsonとかいうよくわからん形式で保存しよってからに
0696名無しさん＠お腹いっぱい。2022/12/27(火) 16:49:50.40
広告画像のドメインは大半がブロックリストに入ってるけど
個人的にはああいうのも重要だと思うんだけどなぁ
0697名無しさん＠お腹いっぱい。2023/01/01(日) 12:33:10.80
ゲームアツマールがサービス終了するらしいけど
サイトの構造的にアーカイブは厳しいかな？
0698 【大吉】 【237円】 2023/01/01(日) 14:05:31.41
ツイッターはモバイル用サイト（mobile.～）だと正常に保存されないのね
PC用サイトのURLを入力して保存する必要があるからスマホからだと気をつけないとならない
0699名無しさん＠お腹いっぱい。2023/01/01(日) 15:17:22.03
>>698

φ(..)メモメモ
0700名無しさん＠お腹いっぱい。2023/01/03(火) 01:24:57.31
archive todayでインスタ保存できるんやね
今日初めて知った
インスタはウェイバックで保存できないが故に記録が手薄になってるのは禍根を残すと思う
0701名無しさん＠お腹いっぱい。2023/01/03(火) 05:00:02.49
>>700
Wayback Machineで上手く保存できない所はArchive today使ってるなぁ
例えばboothの商品ページとかArchive today使ってる一方商品画像そのものはWayback Machineで録ってる
結局は最終的に原本が消える前にどこかに残せさえすればいい
0703名無しさん＠お腹いっぱい。2023/01/08(日) 12:48:26.32
twitterの保存がスムーズになってるな
0704名無しさん＠お腹いっぱい。2023/01/08(日) 20:48:19.82
今InternetArchiveの総データ量って
何PBになってるんだろうか
てかPBって冷静に考えるとクソ多いな
0705名無しさん＠お腹いっぱい。2023/01/08(日) 23:56:10.95
>>704
運用コスト馬鹿にならないだろうなぁ
ストレージ（サーバ）に回線にデータバックアップに、気が遠くなりそう
0706名無しさん＠お腹いっぱい。2023/01/09(月) 00:42:30.99
2021年12月時点で保存容量は212ペタバイトみたいだね
そのうち57ペタバイトをwaybackが占めているんだと
https://archive.org/web/petabox.php

そこらのサービスと違ってうっかりデータ破損でもした時に
賠償しますでは済まないのが恐ろしいね
人類が将来参照できる史料が一瞬で失われてしまうんだもの
0708名無しさん＠お腹いっぱい。2023/01/09(月) 19:41:49.29
インターネットアーカイブそのもののバックアップが将来的には必要だと思うけどね
0709名無しさん＠お腹いっぱい。2023/01/10(火) 08:41:36.86
There was a delay in registering this snapshot with the Wayback Machine.
The snapshot may not be available right now, please try again later.
→このスナップショットを Wayback Machine に登録するのに遅延がありました。
スナップショットは現在利用できない可能性があります。後でもう一度試してください。

後日忘れたころに取得できてるなら良いが、やり直さなきゃなんない可能性て・・・
0710名無しさん＠お腹いっぱい。2023/01/10(火) 16:06:49.97
スナップショット取得完了後にその保存ページを確認しても、のちに消えている可能性があるということ？
0711名無しさん＠お腹いっぱい。2023/01/10(火) 23:41:52.58
そう、それが心配
せっかく時間かけても消えてたら（取得できてなかったら）悲しい

今は「Job failed.」が出やすい
ようやく取得できたと思ったら今度は・・・
There was a delay in registering this snapshot with the Wayback Machine.
You may be redirected to a previous version right now. This snapshot will be available later.
→このスナップショットを Wayback Machine に登録するのに遅延がありました。
現在、以前のバージョンにリダイレクトされる場合があります。このスナップショットは後で利用可能になります。
本当に可能なら良いが
0714名無しさん＠お腹いっぱい。2023/01/19(木) 06:33:50.54
>>713

ありゃりゃ
0716名無しさん＠お腹いっぱい。2023/01/21(土) 10:48:18.26
皆様におかれましては既知であるとは思われますが、今やっと見付けたので共有いたしまする
Time Travel
timetravel.mementoweb.org
あっちこっちのWeb archiveを串刺しで検索してくれる
0717名無しさん＠お腹いっぱい。2023/01/21(土) 15:18:06.87
>>716

それは自分が
「このページの魚拓をとりたい」
と思ってもとれないんですよね。

たしか。
0718名無しさん＠お腹いっぱい。2023/01/21(土) 16:19:21.13
某有名人のインスタ調べたけど全くと言っていいほど保存されてなくて笑った。
もう少しインスタやらSNSやらの保存も強化しても良いんじゃないかと思った（まあ口出すなら寄付しろと言われるかもしれんが）
0719名無しさん＠お腹いっぱい。2023/01/21(土) 21:17:47.90
>>717
> あっちこっちのWeb archiveを串刺しで検索してくれる
0720名無しさん＠お腹いっぱい。2023/01/22(日) 02:50:05.38
Internet Archive にアップロードされた DVD-ROM ディスクイメージから
中のファイルを直接ダウンロードすると、1 ギガバイトあたりでちょん切れる問題

https://archive.org/details/ti-308752-d-0-a-2
ここの TI308752D0A_2.ISO の中の ZZIMAGES/ZZIMAGES/PREINST7.SWM をダウンロードすると、
1485739900 バイトのはずが 1074528256 バイトで終わってしまう。
HTTP の Content-Length ヘッダは送られて来ないので、ダウンローダでの検知は不可能。

元の .iso をダウンロードすれば済む話なんだけどね。
パッケージの中のファイルが見える機能は便利でよく使うけど、こういう制限があるんだなぁ、と。
UDF 以外のファイルシステム (ISO 9660 とか Joliet とか) でも起こるかは未確認。
他のパッケージ形式 (.tar とか .7z とか .zip とか) で起こるかも未確認。
0729名無しさん＠お腹いっぱい。2023/02/02(木) 00:15:32.12
ところでさ、最近Save Page Nowの同時保存制限が3個から4個に変わった?
タブ4個開いて数秒で立て続けに保存ボタン押してもYou have already reachedって出ないんだけど。
5個目は今まで通り出て待たされるが。
0730名無しさん＠お腹いっぱい。2023/02/03(金) 11:48:23.73
>>729
>>435のドキュメントのLimitationsを見ると、匿名ユーザーは1分間に4までって書いてるから合ってる

SPN2 APIを使ってる人に聞きたいんだけど、User statusって取得できてる？
ドキュメントの通りに送ってもログインしろよ的なエラーが返ってくるんだが
キーが合ってるのは確認済み
0732名無しさん＠お腹いっぱい。2023/02/04(土) 19:44:00.52
Firefoxユーザーだが今年に入ってから接続エラーばかりでweb.archive.org自体見れない状態が続いてたが、
about:supportにある「起動時キャッシュの消去」をしてみたら見れるようになって解決した。
同じ状況の人がいるなら自己責任で試してみるといいよ。一番上のリフレッシュのボタンは初期化されるから押さないように。
これをやった後でもたまに同じエラーが表示されるが前よりはマシになった。
0733名無しさん＠お腹いっぱい。2023/02/05(日) 19:08:01.22
どうもユーザの新規登録周りがおかしくなってるような。

メアドやパスワードを入れて、認証メールが来るところまでは良いんだけど
ある条件の時、メールに記載された URL を開いても常に Sorry, we're kinda busy になってしまう。

ユーザ名が英数字のみの時は問題なし、かな漢字や絵文字を使うとダメ。
おそらくプロフページの URL が archive.org/details/@user_数字
となるようなケースで問題が起きてるのではないかと。
0734名無しさん＠お腹いっぱい。2023/02/05(日) 21:09:01.70
>>730
問題無いけどなぁ。

GET /save/status/user HTTP/1.1
Accept: application/json
Authorization: LOW xxxxxxxxxxxxxxxx:xxxxxxxxxxxxxxxx
Connection: close
Host: web.archive.org

HTTP/1.1 200 OK
Server: nginx/1.19.5
Date: Sun, 05 Feb 2023 12:06:03 GMT
Content-Type: application/json
Content-Length: 79
Connection: close
x-app-server: wwwb-app53
x-ts: 200
x-tr: 79
X-location: save2stat
X-RL: 0
X-NA: 1
X-Page-Cache: MISS
X-NID: -
Referrer-Policy: no-referrer-when-downgrade
Permissions-Policy: interest-cohort=()

{"available":8,"daily_captures":0,"daily_captures_limit":100000,"processing":0}
0736名無しさん＠お腹いっぱい。2023/02/12(日) 06:52:17.87
リンク先が画像の場合は自動で保存してほしいんだよなぁ。
サムネだけ保存しても意味無いし。
0738名無しさん＠お腹いっぱい。2023/02/12(日) 21:00:12.74
>>736
ChatGPT(人工知能)を学習させといた
https://i.imgur.com/VX6qxTj.png

問: Internet Archive の wayback machine を知っていますか？

答: はい、私は Internet Archive の Wayback Machine について知っています。(以下省略)

問: Wayback Machine の "Save Page Now" で保存したいページ内のリンク先のページも同時に保存する方法を教えてください。

答: Wayback Machine の "Save Page Now" を使用して、ページ内のリンク先のページも同時に保存することはできません。Wayback Machine は、単独のページを保存することしかできません。(以下省略)

問: あなたの回答は、間違っています。Wayback Machine の "Save Page Now" で外部リンクを保存するには、Internet Archive にログインすると使えるようになる "Save outlinks" オプションを使います。

答: 申し訳あります。その通りです。Wayback Machine の "Save Page Now" 機能には、Internet Archive にログインすると使える "Save outlinks" オプションがあります。このオプションを使用することで、ページ内の外部リンクも同時に保存することができます。再度、お詫び申し上げます。ありがとうございました。
0740名無しさん＠お腹いっぱい。2023/02/13(月) 19:59:01.85
>>737
ページが複数階層で全部の階層に大量のリンクあっても同じ事言えるんか？
Outlinksぐらいとっくに知っとるわボケが
0742名無しさん＠お腹いっぱい。2023/02/15(水) 10:15:39.14
curlでの保存確認が途中から429エラーになる。
0743名無しさん＠お腹いっぱい。2023/02/15(水) 18:49:59.88
https://web.archive.org/web/20230215084609/https://fig-memo-r18.site/figurereview/93774/

ベタベタ貼ってるアフィのせいか延々と読み込み繰り返して見れないんだが何か対応策とかないかね
0744名無しさん＠お腹いっぱい。2023/02/16(木) 04:32:39.08
>>742
Status: 429 - Too Many Requests

API で User status を調べて available が1以上になるまで待ってから次の処理をする

{"available":8,"daily_captures":58,"daily_captures_limit":100000,"processing":0}
{"available":0,"daily_captures":170,"daily_captures_limit":100000,"processing":24}
0746LBXBB2023/02/16(木) 13:28:08.07
3日前ぐらいから、Internet Archiveに繋がりにくくなっているんですけど、同じ症状に悩んでる同士いますか？
0747名無しさん＠お腹いっぱい。2023/02/17(金) 07:27:55.83
「The capture will start in ~* hour, ** minutes because our service is currently overloaded. You may close your browser window and the page will still be saved.」
数分単位はここ数日見かけるが、○時間単位とか久々
0748名無しさん＠お腹いっぱい。2023/02/17(金) 12:27:29.15
twitter保存できなくなった？
保存してもツイートが表示されない
自分だけ？
0750名無しさん＠お腹いっぱい。2023/02/18(土) 08:47:18.37
748とは別だけど、モバイルドメイン関係なく昨日の夜からツイートのURLを保存しようとするとJob failedしか出ないわ
0751名無しさん＠お腹いっぱい。2023/02/18(土) 10:55:10.00
てかツイートを保存しようとするとapi.twitter.comの方にリダイレクトされてちゃんと保存されてないな。
Twitter APIの改悪は関係あるのかこれ。
0752名無しさん＠お腹いっぱい。2023/02/19(日) 07:27:45.62
>>751
たしかにAPI改悪と関係ありそうだな
アーカイブ取得エンジン（というのかな）がWebブラウザ（擬似）によるアクセスと認識されなくなったとか
0753名無しさん＠お腹いっぱい。2023/02/19(日) 13:34:25.72
すまん、748だけど数日経って確認したら保存できてたわ。 保存の仕様が変わってtweetが見れるようになるまで時間がかかることがあるみたい。 直近3200ツイートを同時保存する機能も追加されてる。
0755名無しさん＠お腹いっぱい。2023/02/21(火) 21:53:11.17
>>754
save page nowにtwitterのリンク入れると出るよ。
0756名無しさん＠お腹いっぱい。2023/02/22(水) 03:03:59.75
>>755
あなたは、選ばれし者のようですね。

　□ Archive up to 3,200 most recent Tweets from this Twitter profile

こちらでは、twitter_archiver は "display: none" として隠されていました。

https://i.imgur.com/8VuNUdB.gif

｜<div id="wm-twitter-archiver" style="display: none;">
｜　<input type="checkbox" name="twitter_archiver" id="twitter_archiver">
｜　<label for="twitter_archiver">Archive up to 3,200 most recent Tweets from this Twitter profile</label>
｜</div>
0758名無しさん＠お腹いっぱい。2023/02/22(水) 04:37:36.03
>>756
display: none消して、style変更してチェックボックス出現させたら動作してくれたりしない？
0759名無しさん＠お腹いっぱい。2023/02/22(水) 10:58:16.45
ボタンが表示される条件分かったわ
トップページのSave Page Nowに入力するだけだと表示されない
遷移後のページ( https://web.archive.org/save )で再入力すると表示される

対応URLはTwittetのプロフィールページ
(mobile.twitter.comは非対応)
0760名無しさん＠お腹いっぱい。2023/02/22(水) 10:58:31.78
神機能だな
0762名無しさん＠お腹いっぱい。2023/02/24(金) 04:25:43.53
重いというか、午前1時頃以降に保存しようとした分は保存できてないっぽい。
SPNの復帰まで待つしかないな。
0763名無しさん＠お腹いっぱい。2023/02/24(金) 05:25:25.65
つながらないよりは増しとはいえ、4時間待ちか・・・
閉じても保存されてるという建前だが、待った挙げ句「Job failed.」とかfaviconだけ（>>627）とかでおちおち閉じるわけにも

>>729
数日前3件までに戻ったようだ
1件の差とはいえ・・・
0764名無しさん＠お腹いっぱい。2023/02/24(金) 05:47:30.05
と思ったらつながりづらい
これでは二重苦
今のうちに保存しなきゃなんないものが多いときにかぎ・・・いえ、なんでも
0765名無しさん＠お腹いっぱい。2023/02/24(金) 13:49:21.36
3200ツイート保存できるやつ、使ってる人がいたら何日位で完了したか教えてほしい
自分は2日経ったけどまだ完了メールが来ない
0767名無しさん＠お腹いっぱい。2023/02/26(日) 13:10:11.40
>>765だけど今見たら完了してた
あと下のエラーが出たから、１日に合計1万ツイートが限界っぽい
複数ユーザーをアーカイブしたいときは注意

This host has been already captured 10,000 times today by this user account.
0768名無しさん＠お腹いっぱい。2023/03/01(水) 03:57:25.37
初心者なんですけどアーカイブしたあともとのURLを無くしたら発掘するのは不可能ですか？
もちろん検索機能なんてないですよね
0769名無しさん＠お腹いっぱい。2023/03/01(水) 04:05:45.32
フリーワードで検索できるよ
0770名無しさん＠お腹いっぱい。2023/03/01(水) 13:22:58.05
【中居正広】　ワク接種　⇒　虫垂炎　⇒　ターボ癌
://mao.5ch.net/test/read.cgi/cancer/1668137860/l50
0772名無しさん＠お腹いっぱい。2023/03/01(水) 14:58:25.32
>>768-769
検索できるけどドメイン単位だからURLを無くしたら事実上発掘不可能
Collection Searchに含まれてるなら可能性はあるけど、まぁまず無理と考えていい
0774名無しさん＠お腹いっぱい。2023/03/02(木) 00:05:27.82
ニュース記事とかだったらtwitterに共有された短縮リンクの残骸とかが残ってたりするから、twitterで検索かけたりしてみてみるのもあり。
0787名無しさん＠お腹いっぱい。2023/03/16(木) 18:56:40.40
1時間待ち
よりによって取得しなきゃなんないものが多(ry

ただ時間がかかるだけならわからないではない（のちのち無事取得できてるなら良い）
だが待った挙げ句「Job failed」で取得できてないこともあるし、
早く済ませたいからと取得するものがあまり多いと「429 Too Many Requests」が出たり、
最悪つながらなかったり
0790名無しさん＠お腹いっぱい。2023/03/19(日) 00:40:27.17
This host has been already captured 100,845.0 times today. Please try again tomorrow. Please email us at "info@archive.org" if you would like to discuss this more.

みんなでYoutubeの様々なページを10万個保存し続けたらこの制限エラーが出るわけか?
アメリカ時間基準でも1日が始まってから15時間半でこの表示が出たら結構困るんだけど。
SNS系サイトのドメインは制限取っ払って欲しいな。
07927902023/03/19(日) 02:05:20.29
どうも。その書き込みの1つ（>>113）は俺だから覚えてるけど、
YoutubeのURLを保存しようとしてこのエラーが出たのは初めて見かけたので、報告の意味で書いた。
制限取っ払ってほしい状況は1年半前と変わってない。
0794名無しさん＠お腹いっぱい。2023/03/22(水) 05:38:12.76
Not Found
The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.

1回でただけだが
0796名無しさん＠お腹いっぱい。2023/03/22(水) 13:17:49.38
>>794
このエラーが出たら、保存できてる時と、できてないときがあるので、あとで確認したほうがいい。
ページがないって言ってる割にはエラーの判定がおかしいよな。
>>795
PDFや画像やテキストファイル系はページについてるファイルを巡回しないからなのか判らんが、
overloadedが出て待たされてる時でも順番の割り込みできる仕様になってるみたい。
急いでるなら画像のURLだけを保存かけてみるのも手。
0799名無しさん＠お腹いっぱい。2023/03/23(木) 13:26:31.42
Note.comはSPNで保存できるけど、robots.txtでia_archiveをブロックしてるから保存してるのを見れないって状態。
Noteが閉鎖してrobots.txtが消されて解消するか、IAがrobots.txtを完全無視する方針になったら多分復活するはず。
保存できるならしとくだけしといたほうがいい。Availability APIでも保存されてるスナップショットはないって返ってきちゃうけどね。
何年か前に投稿者のIPアドレスかホスト名が載ってた時のも含めてデータ自体はどこかに残ってる。
0801名無しさん＠お腹いっぱい。2023/03/23(木) 19:27:09.83
>>800
GIGAZINEみたいなexcluded系はIAには保存されてる、閲覧が制限されてるだけ
見れることが重要ならtodayを使えばいい
771の様にサイト側で対策されてるタイプは難しい
0803名無しさん＠お腹いっぱい。2023/03/25(土) 13:44:06.78
IAがフェアユースに基づくと主張して電子書籍を公開していたことに対して、
出版社が著作権侵害を申し立てた裁判の判決が下された

判決は出版社の主張が認められ、IAの敗訴
IAはこの判決を不服とし控訴すると宣言
https://i.imgur.com/atO3lrP.jpg

【関連記事】
The Fight Continues
http://blog.archive.org/2023/03/25/the-fight-continues/
The Internet Archive has lost its first fight to scan and lend e-books like a library
https://www.theverge.com/2023/3/24/23655804/internet-archive-hatchette-publisher-ebook-library-lawsuit
U.S. judge rules Internet Archive's digital book lending violates copyrights
https://www.reuters.com/legal/us-judge-rules-internet-archives-digital-book-lending-violates-copyrights-2023-03-25/
Judge Decides Against Internet Archive
https://file770.com/judge-decides-against-internet-archive/
0804名無しさん＠お腹いっぱい。2023/03/25(土) 14:11:37.65
>>801 , >>802

ありがとうございます。
0805名無しさん＠お腹いっぱい。2023/03/28(火) 22:14:09.96
doi.orgを保存しようとすると403エラーで保存できないって返ってくるのはちょっとまずいな。
サイト閉鎖したら転送先の論文URLを探すの大変だわ。
0812名無しさん＠お腹いっぱい。2023/03/30(木) 05:23:29.98
今の所1時間45分待ち

午前0時半にボタン押した分が20230329172xxxだから日本時間で午前2時半に保存完了してた
1時間50分後ぐらいだから予定時間通りの遅れ
0814名無しさん＠お腹いっぱい。2023/03/30(木) 14:24:03.48
昨日からsave待ちメッセージ いったいなんなのよ ということで

The capture will start in ~4 hours, 12 minutes because our service is currently overloaded. You may close your browser window and the page will still be saved.
0815名無しさん＠お腹いっぱい。2023/03/30(木) 14:51:09.40
>>798-799
過去にIAにいくつか保存したnote記事が、note側がIA保存対策したのか、その後IA上に残ってなかった覚えがある。(非公開のままか、本当にキャッシュを削除したのは不明)

saveしたとしても、後にサイト側からの要求でキャッシュ一斉削除される可能性は0ではないんだろうなと。
0817名無しさん＠お腹いっぱい。2023/03/30(木) 15:04:44.65
保存してキャッシュがその時は見れてたのに、ある日を境に、
web.archive.org/web/*/ note.com/{.../記事ID}
でいうカレンダーページに、何もキャッシュが残ってなかったっていうことね。
0818名無しさん＠お腹いっぱい。2023/03/30(木) 19:57:54.23
昨日の夕方だか夜からの長時間待ち、まだ落ち着いてないなぁ
環境によるだろうが、こっちは3時間台
0819名無しさん＠お腹いっぱい。2023/03/30(木) 20:55:02.40
>>815-817
そもそもアーカイブされた内容の「削除」って、出来るのか？
サイト別に分けて保存している訳じゃあるまいし
申し出のあったサイトについて、前方一致か何かで非表示にしてるだけだろ

ちなみに例の事件の直後、note から IA へ連絡が行ったようで
全体が excluded になった話は前スレで既出
robots.txt 云々と過去の仕様の話をしてる奴は無視するに限る
0821名無しさん＠お腹いっぱい。2023/03/30(木) 23:17:44.96
>>819
DMCA関係なら削除は出来るはず
昔あったpixivのパクリサイトは完全に消えてる（一度も取られてないとは考えにくい）
まぁ815のnoteの話は違うと思うけど
0823名無しさん＠お腹いっぱい。2023/03/31(金) 08:42:19.81
The capture will start in ~7 hours, 52 minutes because our service is currently overloaded. You may close your browser window and the page will still be saved.

珍しい。
0824名無しさん＠お腹いっぱい。2023/03/31(金) 12:29:09.15
やっとオーバーロードの表示出なくなったのはいいんだけど、
ボタン押して保存始まるまで1分ぐらい待たされてる感じがあるのは俺環か気のせい?
何時間も待たされるよりはいいけどさ。
0826名無しさん＠お腹いっぱい。2023/03/31(金) 20:01:21.74
同じIPアドレスのまま初めの2〜3回目は待ち時間なしで、3〜4回目を保存しようとすると急に30分〜9時間待ちの表示が出る仕様になってる?
昼ぐらいから何度か試したけど、このパターンにハマることがやけに多いんだが。スマホ回線で試しても同じパターン。
このスレでもここ数日は人や環境によって表示される待ち時間がバラバラになってるようだし。
ちょっと時間を空けると同じIPアドレスでも待ち時間なしに戻る。この仮説が正しいとするとひどいイジワルされてる気持ちになるわ。
大量のURLにすぐに保存したい人にとっては作業時間増えてイライラするだろうな。
0827名無しさん＠お腹いっぱい。2023/04/01(土) 17:23:00.03
イジワルねえ…

あくまでも無料なんだからさ(無料だからっていう理由も不明だが)。ボランティアみたいなもんだろうからさ。

「すぐに保存したい」っていうのが「IAに投げる自分の作業をすぐに完了させたい」という意味なら、その作業を自動的にする環境を自前で作るしかないような。
0829名無しさん＠お腹いっぱい。2023/04/01(土) 22:42:50.18
826の件は多分昨日だけだったんじゃね？今日は起きてないし

それよりもエイプリルフールのサイトは日付変わる前にできるだけ保存しとけよ
二度と見れなくなるぞ
0831名無しさん＠お腹いっぱい。2023/04/02(日) 23:30:28.00
最後にドット付けて「archive.」で検索すれば一発でこのスレ出てくるよ。
使ってるスレ検索で対応してればだけど。正規表現も対応してたら他のスレも出てくるかも。
0832memo2023/04/03(月) 11:15:59.88
Sorry
Please try again in ~32 min. Crawling this host is paused because they notified us that they are overloaded right now.
0833名無しさん＠お腹いっぱい。2023/04/03(月) 21:04:58.51
「Archive up to 3,200 most recent Tweets from this Twitter profile」
これ
0834名無しさん＠お腹いっぱい。2023/04/03(月) 21:12:00.39
やべっ誤操作で途中で書き込まれちゃった。

「Archive up to 3,200 most recent Tweets from this Twitter profile」
未ログインでも出てくるこのオプションって、ログインしないと有効にならないの？
未ログインでそのオプション付けても付けなくても41件しか取れてないようだった。
0835名無しさん＠お腹いっぱい。2023/04/04(火) 08:58:54.78
3/31夜～さっきまで順調だったのに・・・
>>826がいうように引っかかってしまったのだろうか
今のところ数分待ちで済んでるからまだ良いが、また数時間待ちとかなりかねないのが心配

>>824
確かにオーバーロードの表示がないのに始まらないことがあるなぁ
0836名無しさん＠お腹いっぱい。2023/04/04(火) 10:36:57.65
/*/のページだけど1度しか保存されてないURLはリンク先が/*/じゃなくて直接保存されてるスナップショットURLに変わった?
0838名無しさん＠お腹いっぱい。2023/04/05(水) 07:46:24.46
皆さんインスタって何で保存してますか？
evernote良かったんですけど無料版の容量少なすぎる…
WAYBACKもarchive.todayもfreezepageもzoom.itも保存出来ないし…
0840名無しさん＠お腹いっぱい。2023/04/06(木) 15:26:20.14
TwitterのAPIが止まったら最新3200個の選択肢のやつもダメなわけ?
それでもsnscrapeはAPI止まった今でも使えるんだよな。だからツイートURL取り出すだけなら今もできるはず。
0841名無しさん＠お腹いっぱい。2023/04/07(金) 05:30:57.28
This URL has been excluded from the Wayback Machine.



https://sakue.com/
0842名無しさん＠お腹いっぱい。2023/04/07(金) 08:31:01.98
上の方も書き込んでおられましたが、やはりwaybackは１万URLしか保存できず、古いものから順番に消えていくのでしょうか？

archivestodayも2700個しか見れず、それより古いものは見れないような。
0844名無しさん＠お腹いっぱい。2023/04/07(金) 16:20:44.43
>>842
todayの方は知らないけど、/*/のページのことなら、そのドメインかディレクトリ以下のURLは1万件までしか検索結果として表示されてないだけで、削除されたわけじゃない。
もうちょっと細かくディレクトリ指定をすれば探してるページを見つけられるのでは?
2021年12月までは10万件まで表示されてたんだけどね >>209
0846392023/04/08(土) 09:05:42.83
ここ一週間ほど、訳あって非ログイン且つ Tor 経由で作業してるけど
今日初めて、それも 8:50 になってからやっとこのメッセージを見た。
>>39 より保存数の制限は厳しくなってるけど、24 時間で使いきれるかどうかの線なのね。

9:00 まで待ったら保存できたのは言うまでもない。
0850名無しさん＠お腹いっぱい。2023/04/12(水) 01:12:07.58
3200ツイートのやつを使おうとしたときに出たエラー
Sorry.
This snapshot cannot be displayed due to an internal error.
0853名無しさん＠お腹いっぱい。2023/04/12(水) 16:52:17.80
俺の環境では表示されるけど。ただし一度も保存に成功した事ない。
「twitter.com/アカウント名」だけでURL最後に/があると表示されない。
0854名無しさん＠お腹いっぱい。2023/04/12(水) 18:15:30.16
851の件は今は3時間台
あれから落ち着いてるのか、一旦落ち着いてからまた膨れ上がってるのか・・・
0856名無しさん＠お腹いっぱい。2023/04/13(木) 01:02:45.12
同時に2つ保存しようとしたらそれぞれ40分と5時間40分待ちになった
826と似た状態がまだ続いてるのか？
ページ削除される時間がわかってるなら都合の悪いURLを長時間待ち状態して保存されないよう時間稼ぎする悪用方法が思いついたわw
0857名無しさん＠お腹いっぱい。2023/04/13(木) 07:11:45.73
>>856
こっちも5時間台
昨日はずっとひどくて今日も相変わらず

>>787の問題は閉じても取得はできるという建前どおり閉じることで回避できる反面、
建前どおり閉じたら閉じたで一部が取得できてないリスクがなぁ・・・
0858名無しさん＠お腹いっぱい。2023/04/13(木) 12:36:26.31
>>857
建前も何もSPNボタンを押した時点で保存ジョブは開始されてる
>>434-435に詳しく書いてあるが、待機中はジョブの状態について問い合わせを繰り返してるだけ
無駄な負荷になってるからさっさと閉じるべき

失敗するときは閉じようが閉じまいが失敗してる
0859名無しさん＠お腹いっぱい。2023/04/13(木) 18:06:06.44
＞失敗するときは閉じようが閉じまいが失敗してる
　それは確かにそうだが・・・
　閉じなければ「Job failed」が出てるのかどうかで区別がつくが、
　閉じたらどれが取得できててどれが失敗してるのか調べないとなぁ
　取得するものが少ないときはそれでも良いが多いときは・・・
0861名無しさん＠お腹いっぱい。2023/04/13(木) 23:56:28.81
アーカイブされたWEBページ見ると
管理人プロフィールに電話番号書いてあったり
住所書いてあったりすることあるな…
リンクからアーカイブURL探さないとまともに辿れないから
検索機能が進化しなきゃ今の所問題にはならないんだろうけど
問題になった時アーカイブ大量削除されそうで怖いな
0865名無しさん＠お腹いっぱい。2023/04/19(水) 02:17:11.56
やっぱり非ログイン状態で3200ツイートをやろうとするとこのエラー（>>850）が出るな
バグというか、本来はログインしてない状態で表示しちゃいけないやつかな
0866名無しさん＠お腹いっぱい。2023/04/20(木) 11:08:02.25
この前非ログインで保存かけて2日後に/*/を見てみると、十数個のツイートURLがボタン押した時間以降に短期間で保存されてるのを確認した。
非ログインでエラー出ても一応動いてるっぽいけど、3200ツイートの保存はしてくれなかった。不安定すぐる
0867名無しさん＠お腹いっぱい。2023/04/22(土) 06:58:40.51
昨日ぐらいからTwitterのHTMLとJavascriptの仕様が変わったようで、
IA側が対応できてないからちゃんと保存されない模様。
犬の404エラーしか保存されない。
0870名無しさん＠お腹いっぱい。2023/04/23(日) 09:23:51.94
質問です。
Imgurの規約が変更され
ポルノコンテンツなどが削除される可能性があるため
5ちゃんのスレの画像などをアーカイブしようと考えています
その際、InternetArchive側の規約違反になる可能性はありますか？
アメリカなどはポルノコンテンツに厳しいイメージがあるのですが…
0872名無しさん＠お腹いっぱい。2023/04/23(日) 14:25:34.24
>>871
JKとかのエロイラストとかも
スレによってはあるのであっちの児ポに該当しないか心配です
該当していたとしたらInternet Archiveの規約には違反するのでしょうかね…？
0873名無しさん＠お腹いっぱい。2023/04/24(月) 07:22:51.76
違反したところで保存したスナップショットが見えなくなるだけだから気にしなくてもいいよ。
気になるなら「俺が保存したぞ〜」と足がつくような記録をネットに残さなきゃいいし。
逆にそういう選別をしてたら時間もったいないと思うけど。
0877名無しさん＠お腹いっぱい。2023/04/27(木) 03:02:44.39
Twitter、ログインしないと検索できないの不便過ぎるなぁ・・・
そのうち非ログイン状態では閲覧できないとかやりそうなのが
0879名無しさん＠お腹いっぱい。2023/05/03(水) 21:36:51.26
このサイト、ストリートビューのアーカイブって見れる？
アーカイブのデータ自体はいっぱいあるんだけど読込が遅すぎて
0881名無しさん＠お腹いっぱい。2023/05/05(金) 09:06:07.95
ここ最近ようつべの動画の再生ページがウェイバックマシンに保存されるの遅すぎだろ・・・。
公開から1～4時間後って。
自動アーカイブも全然機能されてないし。
何やってんだよアクティブチームといつもアーカイブを取ってる人は、やる気あんのか？

もしかしてエラーでも引っかかって保存されるのに時間かかってんのか？
0882名無しさん＠お腹いっぱい。2023/05/05(金) 10:28:31.41
ここ最近YouTubeの再生ページのアーカイブが自動で取られなくなってる？
もしかしてYouTube側から御叱りを受けたのか？
それともエラーにでも引っかかって早期保存が難しくなっているとか？
みんなめんどくさいのに何故！？
0883名無しさん＠お腹いっぱい。2023/05/06(土) 13:22:01.40
Haasie: imgurの画像をアーカイブするサイト
https://haasie.com

【使い方】
テキストボックスに https://i.imgur.com/* のリンクを改行区切りで入力して Backup をクリック
保存後は https://i.haasie.com/* のリンクから閲覧可能


5月15日に、ポルノ画像・匿名ユーザーが投稿した非アクティブコンテンツが削除されるという報告を受けて開発に至ったとのこと
↓開発者の投稿
https://news.ycombinator.com/item?id=35835971
0886名無しさん＠お腹いっぱい。2023/05/10(水) 05:12:07.55
IRC覗いてたら、ガチ勢がプロキシ8000個動かして
ブルートフォースでimgurの5文字URL特定しててワロタ
半日で全走査して約3億5千個集まったらしい
0888名無しさん＠お腹いっぱい。2023/05/10(水) 21:45:15.69
>>885
ArchiveTeamはIRCっていうチャットツールを使って活動してる
チャット除いてるとアーカイブの進捗状況とかわかるよ リンク>>885
0890名無しさん＠お腹いっぱい。2023/05/11(木) 10:35:00.71
Internet Relay Chat
0891名無しさん＠お腹いっぱい。2023/05/12(金) 01:27:00.00
Twitterのプロフィールページ、SPNだと取れてるのにSPN-outlinksだと取れてないの不思議だな
通常のSPNとoutlinksとで環境が別なのか？
0892名無しさん＠お腹いっぱい。2023/05/14(日) 15:50:31.49
twitter・google の検索画面とnoteはarchive .todayで保存可能なのか
0894名無しさん＠お腹いっぱい。2023/05/16(火) 18:04:49.90
Python は使ったこと無いけど、/save/ に GET メソッド?
あそこ POST の時しか認証情報見てくれないでしょ。
クッキーも、Authorization: ヘッダで S3 API Keys を送った場合も然り。

認証情報と capture_outlinks=1 を見てもらえるようになったら、
今度は 1 つの URL から outlinks の保存のために並行プロセス数が
20 とか 30 とかに増えてしまうのに、それが 5 秒なんかで終わる訳が無い。
きちんと https://web.archive.org/save/status/user で空きをチェックしなよ。
0895名無しさん＠お腹いっぱい。2023/05/17(水) 19:48:53.67
1時間待ちとか今月になって初めてか
○時間待ちでないほうが珍しいぐらいの先月だか先々月よりは増しとはいえ・・・
0900名無しさん＠お腹いっぱい。2023/05/20(土) 07:54:28.80
PDFファイルのURLを保存させたらその1ページ目しか保存されないのだけど仕様？
なわけないよなぁ
0901名無しさん＠お腹いっぱい。2023/05/20(土) 14:46:31.42
>>900
閲覧環境によっては、1ページ目しか表示されない場合がある
(iOSとかだとダメっぽいな)

解決策は、閲覧したいページのURLを編集して数字の後ろにid_ をつけ加えると保存されたまんまの状態で表示されるから、これで全ページ閲覧できるようになるよ

↓こんな感じ
https://web.archive.org/web/数字id_/ページURL
0904名無しさん＠お腹いっぱい。2023/05/22(月) 23:11:28.24
>>903
WSL使うのが嫌だったので遠ざけていましたが使ってみます。
ありがとうございます。
0905名無しさん＠お腹いっぱい。2023/05/23(火) 00:08:11.50
画像類似検索に対応しないのだろうか
0906名無しさん＠お腹いっぱい。2023/05/23(火) 00:11:24.51
「リンクと画像の抜き出しツール」のアーカイブから画像のURLを入れると画像が保存されているか確認できる。
0907名無しさん＠お腹いっぱい。2023/05/23(火) 00:13:41.17
「URLからタイトルゲット君」というサイトも保存確認できる。
0908名無しさん＠お腹いっぱい。2023/05/23(火) 05:22:57.93
>>904
そんなに量がないんだったら無料版Colabで走らせてもいいかもね
0909名無しさん＠お腹いっぱい。2023/05/23(火) 20:02:46.33
>>892
3月までtodayでアーカイブしたGoogle検索結果をorgで重バックアップしたり出来たが（アクセス環境により検索ワード化けが生じるため）、4月からエラーで弾かれるようになってしまった。

ヤフオクの出品物もorgから取れなくなったし
0911名無しさん＠お腹いっぱい。2023/05/25(木) 23:16:17.83
Something went wrong. Try reloading.

ツイッターのアーカイブ閲覧しようとするとこうなるけど、おま環？
0912名無しさん＠お腹いっぱい。2023/05/27(土) 13:07:42.53
ふとIAの動画ブラウジングしてたんだけど字幕付きのアニメとか滅茶苦茶うpされて、無法地帯になっててワロタ
アメリカのフェアユースってそんな強いのか
0913名無しさん＠お腹いっぱい。2023/05/28(日) 00:55:59.95
>>912
いや普通にアウトだし消されてるよ、いたちごっこだけど
IAの人も何が重要なデータか分からなくなるから止めろってツイートしてたりする
基本的にIAのアカウントがアップしたもの以外は信用しない方がいい
0915名無しさん＠お腹いっぱい。2023/06/07(水) 14:18:47.51
アイテムの方にある動画、一定以上のサイズだとブラウザで再生出来ないっぽいな
自分が見たのは20GB超だけど読み込みがされなかった
curlでダウンロードしてローカルで再生は出来たので、ちゃんとアーカイブはされてるらしい
0916名無しさん＠お腹いっぱい。2023/06/07(水) 16:00:32.06
それってエンコード時の設定に依ったりしない？
例えば mp4 なら moov atom をファイル先頭に持ってきていないとか。
0917名無しさん＠お腹いっぱい。2023/06/11(日) 12:01:40.24
トップページの保存数（Explore more than XXX billion）がたまに十億単位で減るの
何なんだろうか？
0918名無しさん＠お腹いっぱい。2023/06/14(水) 11:09:59.33
詳しいことよく知らなくてTorのブラウザでarchivetoday使おうとしたらTor使ってないときでもarchivetodayにアクセスできなくなった
クッキー消去したらまた使えるようになったけどブラックリスト的なものに載ってないか不安
0919名無しさん＠お腹いっぱい。2023/06/14(水) 13:17:02.82
>>918
まともにTor使ってるなら、生IPとの関連付けが出来ないんだからTor使ってないときにアクセス不可になるはずがない
それすら分からないならtorは使わない方が良いよ、絶対にどこかでやらかす
0921名無しさん＠お腹いっぱい。2023/06/14(水) 14:07:59.22
>>920
10年以上前にTor使えばInstagramでも魚拓取れるって書き込みを見つけたので試したくなったんです
無知ですいませんでした
0922名無しさん＠お腹いっぱい。2023/06/14(水) 15:38:07.85
IP紐づいてなくてもフィンガープリントで同一デバイスだと疑われてる可能性はある

とは言っても、torブラウザでtoday使うとCloudflareにブロックされて要JSの認証要求されるから回避も難しいんだよな

唯一の回避策は、使えそうなweb串探してtor→web串→todayでアクセスするくらいか

フィンガープリント追跡防止の拡張機能とかもあるからそういうのを普段使いしてみるのも対策の一つになるかもね
0923名無しさん＠お腹いっぱい。2023/06/16(金) 02:07:18.67
今更だけど3200ツイート保存のやつエラーで動かなくなってる
Twitterの仕様が変わった辺りからかな？確認してなかった
09269252023/06/23(金) 19:17:09.24
今やったら取れた、何だったんだろう
0930名無しさん＠お腹いっぱい。2023/06/28(水) 09:49:10.92
>>929
数か月後どころか、保存直後も大量の画像が欠落してるんだけど・・・

スクリプトで読み込ませてる画像の一括取得は現状では無理。
ブラウザでアーカイブを表示したときに初めて取得リクエストが発行されるが、
毎分 2 個か 3 個の画像を取得するだけで、あとは 429 Too Many Requests エラーが返ってしまう。
必要な画像を拾い終えるまで、同じアーカイブを数分おきにブラウザで繰り返し表示するしかない。

昨晩ここの画像を全部拾わせてみたので、数か月後にどうなってるか見てみよう。
https://web.archive.org/web/20230627123623/esica.shop/collections/weekly-ranking/products/eset-4160
0931名無しさん＠お腹いっぱい。2023/06/29(木) 14:23:51.75
今風のスクリプトマシマシ動的サイトはアーカイブするのが難しいからね
画像だけ欠落するならまだマシで、サイト自体が取れないことも珍しくない
0933名無しさん＠お腹いっぱい。2023/06/30(金) 23:57:35.95
>>932
Twitterの仕様変更でログイン状態じゃないとログインページにリダイレクトされるようになったっぽいな
Internet Archiveは何か特別な処理挟んでるのかね
0936名無しさん＠お腹いっぱい。2023/07/02(日) 15:59:18.82
Pixivのページを保存したいとき、英語ページのURL（en）へ転送されないようにするにはヘッダーに何を指定すればいい？
なんか方法ある？
0937名無しさん＠お腹いっぱい。2023/07/02(日) 17:27:30.52
Pixiv から user_language=ja ってクッキーを食べたことにしておけば、
つまりそれを capture_cookie 引数に与えて Save Page Now すれば
転送はされなくなるけど・・・どこも真っ白だぁ
0938名無しさん＠お腹いっぱい。2023/07/02(日) 18:18:54.77
waybackもtodayもtwitter保存できねえ
0941名無しさん＠お腹いっぱい。2023/07/03(月) 00:38:46.97
Twitterの仕様変更で
魚拓取れなくなるのかな…
アカウント必須になったら魚拓取れない…
0942名無しさん＠お腹いっぱい。2023/07/05(水) 02:00:10.44
Twitterは仕様変更するわ、IAは保存しても読み込めるまで1日以上かかるわ、インターネットに波乱起きすぎ
0945名無しさん＠お腹いっぱい。2023/07/06(木) 16:39:15.39
archive.org/details/save-page-now?sort=-addeddate
日本時間13時21分のファイル以降、SPNの新しいコレクションファイルが増えてないので止まってたっぽいが、今は復帰して保存できるっぽい。
0946名無しさん＠お腹いっぱい。2023/07/07(金) 16:44:02.26
Twitter、一応取れるようにはなったが単体ツイートしか取れなくなったな
前はリプライも全部保存出来たが不可能になった
あとプロフィールページも保存出来ない

IAの問題ではなく、Twitter側が非ログイン状態での表示を止めたせい
0948名無しさん＠お腹いっぱい。2023/07/10(月) 21:07:05.59
5ちゃんのスレも個人的に保存はちょくちょくやってはいるんだけど、すぐ人大杉になって作業が止まるのが難点。
自分の住民やってるスレやその過去スレからでいいので、やっておいた方がいいよ。
0951名無しさん＠お腹いっぱい。2023/07/11(火) 06:54:39.48
IAのチームに過去ログ全部クロールして欲しいな。今はなんとか過去ログが見れるけど、明日急に全部見れなくなっても全く不思議じゃないからヒヤヒヤしてる
似たようなサイトでredditって過去ログ保管されてるんだろうか
0955名無しさん＠お腹いっぱい。2023/07/15(土) 00:51:33.90
「好き嫌い.com」は魚拓サイトで魚拓を取ってもコメント欄だけが保存されない

どうすればコメント欄も保存できるかな？

i.imgur.com/2uPwBGz.png　archive.li/6nRmy
0956名無しさん＠お腹いっぱい。2023/07/15(土) 05:12:26.78
5chを保存しようとクロールしたらクロールが全く意味を成さないわね…なにかいい方法あるだろうか？
0957名無しさん＠お腹いっぱい。2023/07/15(土) 20:07:35.02
Internet ArchiveのFlashエミュレータが改良されてより多くの作品をサポートできるようになった模様
これにより今まで利用できなかった作品がコレクションに加わるとのこと

詳細
https://mastodon.archive.org/@textfiles/110697893762381822q
新たに実行可能になった作品例
https://twitter.com/internetarchive/status/1679948028008955904
https://twitter.com/5chan_nel (5ch newer account)
0958名無しさん＠お腹いっぱい。2023/07/16(日) 13:40:10.97
これからAI時代になると、IAのデータってますます重要になりそうだな（AIとIAでややこしい）
0959名無しさん＠お腹いっぱい。2023/07/17(月) 19:01:14.10
5chの過去ログほとんどアーカイブされてないのか
0960名無しさん＠お腹いっぱい。2023/07/18(火) 18:40:50.87
yahooニュースのコメント保存できるようになったな
0962名無しさん＠お腹いっぱい。2023/07/19(水) 08:24:09.27
過去ログ取ろうとしたけど膨大やな
自分の環境だと七時間で2500urlぐらい
0964名無しさん＠お腹いっぱい。2023/07/20(木) 17:53:22.93
ここ最近やる気を感じないな、アクティブチームは。
自動アーカイブも全然取れてないし。
0966名無しさん＠お腹いっぱい。2023/07/20(木) 23:04:52.71
アクティブチームって何だArchive-teamのこと？
0975名無しさん＠お腹いっぱい。2023/07/24(月) 07:55:27.47
放置してたらURL8万行分集めてて、もう飽きたからこれアーカイブしてdatアーカイブやめます
保存されるやつみたら文字化けしてるし意味あるのかなといった感じでもある
普通の過去ログやる方が有意義におもう
0977名無しさん＠お腹いっぱい。2023/07/25(火) 23:00:40.88
Twitchもyoutubeみたいにアーカイブ保存出来るようにならんかなぁ
というかyoutubeと違って一定期間で消えるから、むしろこっちを優先して欲しいまである
0978名無しさん＠お腹いっぱい。2023/07/26(水) 07:00:14.47
動画ファイルバカでかいししゃーないでしょ
キリないもん、あとtubeupえばupはできると思う
だけどあれ待機時間がすげー長いんだよなぁ
0980名無しさん＠お腹いっぱい。2023/07/27(木) 08:29:32.45
>>975
どうやって8万行も集めたの？
詳しく聞かせてほしい

Googleの拡張機能でアーカイブ常に取る設定にしてたとか？
0981名無しさん＠お腹いっぱい。2023/07/27(木) 16:31:17.56
>>980

ただずっと>903のスクリプト動かしてただけ
outlinkの取得先は全板の過去ログのurlを指定した
0983名無しさん＠お腹いっぱい。2023/07/28(金) 05:52:22.75
次スレたのんます
0985名無しさん＠お腹いっぱい。2023/07/28(金) 16:20:58.19
おつでごわす
0987名無しさん＠お腹いっぱい。2023/08/01(火) 08:12:52.33
1週前ぐらいに取得した（ことになってる）はずなのに取得できてないのがいくつも・・・
The snapshot may not be available right now, please try again later.
最近が↑たまに出るが、
それとの関係だろうか・・・
せっかく時間かけて取得したはずができてないのは残念
0991名無しさん＠お腹いっぱい。2023/08/10(木) 05:28:04.06
archive.isはもう3日ほど繋がらないし
Wayback Machineは相変わらずツイッタープロフィールとリプがダメで
リプで繋がってるものも個々でしか取れないから面倒くさい
0994名無しさん＠お腹いっぱい。2023/08/11(金) 20:59:13.51
>>991
おま環なのかわからないけどtodayは4日前までは普通に繋がってたけど
急に繋がらくなって今も繋がない
このサイトにアクセスできませんarchive.is により途中で接続が切断されましたって出る
chrome・edge・Fire Foxの全部で繋がらないから環境だとしたら何が原因なのかさっぱり
因みにCloudflare の DNS(1.1.1.1)ではないよ
0997名無しさん＠お腹いっぱい。2023/08/13(日) 12:11:34.23
あれarchive.org落ちてる？spnエラー吐いてる
0998名無しさん＠お腹いっぱい。2023/08/13(日) 12:18:35.35
直ってた
10011001Over 1000Thread
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 730日 9時間 39分 0秒
10021002Over 1000Thread
5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php
レス数が1000を超えています。これ以上書き込みはできません。
ニューススポーツなんでも実況