notabugが不安定だったりリリースファイルのアップロードができなかったりで放置されているため、codebergへリポジトリを移行しました。notabug側ではリリースの発行はこれを最後に行いませんが、gitリポジトリ自体はアクティブなミラーとして残しておきます。gitのリモートリポジトリの参照先としてはどちらも同等なので、随時切り替えることができます。

• libcurlでhttps接続を行う際に使われるTLSの最大バージョンを指定する--tls-maxオプションを追加

  デフォルトのTLSバージョンだとCloudflareの規制に引っかかり、バージョンを下げたい場合に使います。1.0 1.1 1.2 1.3 の4つのいずれかを指定できます。なお、3.0以降のOpenSSLではTLSv1.0や1.1の使用は禁止されているため、指定するとhttps通信ができなくなります。

• libcurlが複数のTLSバックエンドに対応している場合に選択する--tls-backendオプションを追加

  無効な値を指定すると使用中のlibcurlで利用可能なバックエンド一覧が表示されます。

• -aオプションが指定されていない時に各種ログインやbbsmenu取得にcurlデフォルトのUser-Agentが使われないように

  curl/xxxなUser-Agentが機械的に弾かれているようなので、とりあえず代わりにMozilla/5.0を送るようにしました。

• --api-usageのデフォルト値をallからreadに変更

  書き込みAPI関係のヘッダが存在するとbbs.cgiから拒否されるようになったことによる措置です。

5chへhttps接続する際の規制が強化されたため、Windows用バイナリで使用するcurlのTLSバックエンドを規制を受けにくいと思われるSchannelに戻しました。同梱されているlibcurl.dllはSchannelとOpenSSL (3.5LTS) の双方をサポートしているため、必要に応じて--tls-backendオプションで切り替えることができます。--tls-backend opensslでOpenSSLが、--tls-backend schannelでSchannelが選択されます。なお、Windows7未満の古いWindowsでは互換性を考慮してデフォルトでOpenSSLが選択されるようになっています。

これは正式リリースではありません。スナップショットとしてwin32向けのMITM有効バイナリのみを置いておきます。

5chにおいてCloudflareのbot判定(?)が厳しく行われるようになり、一部環境で影響が出ています。User-Agent等リクエストヘッダで判定される場合と、https接続のセッション状態から判定される場合があり、後者は接続に使われるTLSプロトコルスタックの実装によって発動する条件が異なるようです。

バージョン20250503のWindows用バイナリに使われているOpenSSL 3.0.16の場合、TLSv1.2を使うと問題は起きませんが、TLSv1.3を使うと最初のリクエストに対しては必ず403が返ってきて、keep-alive状態の同じセッションで再度リクエストを送ると正常なレスポンスが返ってくるという正直意味不明な挙動をしています。TLSv1.3で問題ない実装 (OpenSSL 3.5等) もあればTLSv1.2でもダメなものもあるようで、単純にTLSのバージョンや暗号スイートで判定しているわけではなくclient hello等のセッション情報から総合的な判定を行っているように見えます (TLS fingerprintingと言うらしい)。

このような背景からproxy2chに--tls-maxオプションを追加し、https接続時に使用されるTLSのバージョンを選択可能にしました。このWindows用バイナリではOpenSSL 3.0.16が使われる都合上、デフォルトが--tls-max 1.2相当になっています。1.0や1.1も指定可能ですが、5chは1.2未満のTLS接続を受け入れないようです。

前回の正式リリース版 (20230713) からの主な更新点は以下の通りです。

• --direct-datの動作をデフォルトに

  既に--direct-datで使っていた場合やAPIを使っていた場合は問題ありませんが、そうでない場合は現行のスレッドに対して差分取得を行うと不整合が生じて全体の再取得が必要になる可能性が高いです。--no-direct-datオプションで引き続きread.cgi経由でのログ取得を行うことも可能です。

• 5chの最新の仕様への追従

  新しい投稿確認画面、過去ログサーバ (kako.5ch.net) 上のログ取得、read.cgiが出力するhtmlの変更等に対応しています。過去ログサーバ上のログ取得には-sオプションが必要です。

• 5ch投稿時に必要なクッキーの管理を代行する--manage-bbscgi-cookiesオプションを追加

  主にAPIに対応したまま更新が行われていない専ブラは5chへの書き込みに際してcookieを無視するものが多く、書き込みに支障があることが多いため、このオプションを有効にするとproxy2chが書き込み時に送受信されるクッキーの管理を代行します。このオプションを有効にすると、クッキーの閲覧/削除や各種アカウントでログインが可能なwebインターフェイスが利用できます。詳細はREADMEを参照してください。

• bbsmenuの生成機能を追加

  proxy2chがmenu.5ch.netの代わりにいくつかの条件のもとでbbsmenuを生成します。詳細はREADMEを参照してください。

• Talk掲示板に対応

  Talkが2ch互換の掲示板としてアクセス可能になります。書き込みと本物のdatの取得にはAPIキーが必要です。APIを使わない場合は公開されているjsonからdatを生成する動作になり、書き込みはできません。

このリリースから、Windwos用のバイナリはMITM有効版のみを配布します。これに伴いlibcurlに加えてlibsslとlibcryptoのDLLが起動に必須になります。また、libcurlのTLS用ライブラリの依存先をSchannel (Windows内蔵のTLS/SSLプロトコルスタック) ではなくOpenSSL (バージョン3.0.16) に変更しています。そのため、libcurl自体もlibsslとlibcryptoのDLLに依存します。これはWindows XPでの動作改善のため (XPのSchannel実装は現在のWeb環境でのhttps接続には使い物にならない故) です。従来通りOpenSSLに依存しないlibcurlを使いたい場合は、Schannelフォルダにdllを同梱してあるので差し替えてください。

これは正式リリースではありません。スナップショットとしてwin32向けのMITM有効バイナリとmacOS向けバイナリのみを置いておきます。

• --direct-datの動作をデフォルトとし、オプションの指定は不要に
  • 従来のようにread.cgiもしくはAPI経由でdatを取得したい場合は代わりに--no-direct-datオプションを指定してください。
• 無効なMonaTicketが送られた場合のサーバからのエラー応答がE3000からE3100に変化したのに対応
• -sオプションで接続先がhttpからhttpsに変化した場合、bbs.cgiに渡されるリファラもhttpからhttpsに自動で書き換えるように
• --manage-bbscgi-cookiesが指定されている場合に利用可能なcookie管理用のwebインターフェイスを実装
  • webブラウザからhttp://localhost:9080/5ch/cookiesでアクセスできます。proxy2chの管理下にあるcookieの閲覧と削除が可能です。
• --manage-bbscgi-cookiesが指定されている場合に利用可能などんぐり/be/UPLIFTアカウントのログイン用のwebインターフェイスを実装
  • webブラウザからhttp://localhost:9080/5ch/accountsでアクセスできます。
  • ログイン/ログアウトをスクリプト等で自動化したい場合、http://localhost:9080/5ch/accountsに対して以下のパラメータをapplication/x-www-form-urlencoded形式でPOSTしてください。
    • service : donguri, be, uplift のいずれか
    • action : login, logout のいずれか
    • mail : メールアドレス (actionがlogoutの場合は不要)
    • pass : パスワード (actionがlogoutの場合は不要)
  • curlでログインする場合は例えばcurl -d "service=donguri" -d "action=login" --data-urlencode "mail=foo@example.com" --data-urlencode "pass=my-secret-password" http://localhost:9080/5ch/accountsとします。
  • 一度ログインすると約12時間後を目安に再ログインします。
  • UPLIFTはアカウントがなくテストのしようがないので動くか不明です。

webインターフェイスのアドレスlocalhost:9080のポート番号の部分はデフォルトの9080番で待ち受けている場合の話です。-pで変更している場合は適宜読み替えてください。なお、 -gを付けて外部からの接続を受け付けている場合でもlocalhost以外からのアクセスは不可です。

no space left on deviceと言われてアップロードが不可なので一時的にバイナリを別の場所に置きます。

• proxy2ch-win32-snapshot-20250429.zip
• proxy2ch-macos-snapshot-20250429.zip

ビルド環境を変えてからWinXPでテストしていなかったのですがXPで動くかもしれないビルドも試験的に置いておきます。

• proxy2ch-winxp-snapshot-20250429.zip

これは正式リリースではありません。スナップショットとしてwin32向けのMITM有効バイナリとmacOS向けバイナリのみを置いておきます。

• 投稿時のタイムスタンプを現在時刻の10秒前に設定する--bbscgi-fix-timestampオプションを追加
• luaスクリプトでリクエストボディのtimeを弄ると投稿確認に失敗する可能性がある問題を修正

(主に新仕様の投稿確認画面に対するリクエストで?) リクエストボディのtimeフィールドが現在時刻から大きくずれていると「投稿時刻がおかしい」エラーが出るようになったようなので、その対処です。

これは正式リリースではありません。スナップショットとしてwin32向けのMITM有効バイナリとmacOS向けバイナリのみを置いておきます。

20250401 snapshotは--skip-bbscgi-confirmationを指定した際に誤ったContent-Lengthヘッダを付与してしまうことがあるため、更新を推奨します。

このバージョンではオプションなしで新しい投稿確認処理に対応するようになっています。新しい--bbscgi-confirmationオプションで挙動を制御することもできます。

• --bbscgi-confirmation auto

  • ブラウザには投稿確認画面が表示されますが、proxy2chがリクエストに介入して正しいフォームを送るように修正を行います。デフォルトであり、オプションを指定しない場合はこの動作になります

• --bbscgi-confirmation skip

  • ブラウザには投稿確認画面は表示されなくなり、proxy2chが確認処理を代行します。--skip-bbscgi-confirmationと同じ動作です。autoでうまくいかない場合はこちらを使ってください。

• --bbscgi-confirmation none

  • proxy2chは投稿確認処理には介入しません。

--skip-bbscgi-confirmationは--bbscgi-confirmation skipのエイリアスです。

これは正式リリースではありません。スナップショットとしてwin32向けのMITM有効バイナリとmacOS向けバイナリのみを置いておきます。

• 5ch/bbspinkへの投稿に関係するcookieをproxy2ch側で処理する--manage-bbscgi-cookiesオプションを追加

  • これは20240613 snapshotの時点で追加されていた機能ですが、一応ここで説明しておきます。
  • 主にAPIに対応したまま更新が行われていない専ブラは5chへの書き込みに際してcookieを無視するものが多く、書き込みに支障があることが多いため、このオプションを有効にするとproxy2chが書き込み時に送受信されるcookieの管理を代行します。
  • 有効時は専ブラ側にSet-Cookieヘッダは透過的に送られますが、専ブラ側からのCookieヘッダはBeやUplift関係のものを除いて無視されます。
  • --keystoreオプションで指定したファイルがcookieの永続的な保管庫として利用されます (APIのMonaKey用のものと共用)。指定しなかった場合はproxy2chを終了した時点で全てのcookieは破棄されます。
  • curlのcookie engineを利用しているためlibcurlが7.77.0未満の場合は利用できません。

• 5ch.netの新しい投稿確認処理をproxy2ch側で代行する--skip-bbscgi-confirmationオプションを追加

  • 仕様変更により、投稿確認画面のフォームを正しく送信しないと必要なcookieを貰えなくなったため、一部板で確認画面が無限ループする場合はこのオプションを有効にすると解決する可能性が高いです。
  • やや行儀が悪いですこのオプションを有効にした場合は (新仕様の) 投稿確認画面は表示されなくなります。
  • このオプション有効時はproxy2chがレスポンスボディを解析する必要がある関係上、クライアントから送られてきた、あるいはオプションやluaスクリプトで上書きしたAccept-Encodingヘッダの値は無視されます。

• --direct-dat有効時に過去ログサーバ上で公開されているスレッドを取得するように

  • 一部の旧サーバの過去ログがkako.5ch.netというサーバ上で公開されるようになりましたが、依然としてread.cgi経由でhtml版が表示できるのみで生datは公開されていないようです。--direct-datオプションが有効な時でも過去ログサーバ上にログが見つかった場合はread.cgi経由でログを取得するようにしました。

• read.cgiの出力が変更されhtmlからの変換に失敗するようになっていた問題を修正

  • まだread.cgiモードを使っている人は--direct-datに移行しましょう。

• 書き込み時に「Cookieの内容が壊れている」旨のエラーが出た場合、専ブラ側にSet-Cookieヘッダを送ってMonaTicket cookieの無効化を促すように

  • 実際に無効化が行われるかは専ブラがcookieの有効期限を正しく処理しているかによります。

これは正式リリースではありません。スナップショットとしてwin32向けのMITM有効バイナリとmacOS向けバイナリのみを置いておきます。

read.cgiへのリクエストがデフォルトでitest.5ch.netにリダイレクトされるようになったため、5chClassic=onというcookieを送りリダイレクトを防ぐようにしました。--direct-datで使用していた場合は特に影響はありません。

この回避策がいつまで有効なのかは不明ですが、すみやかに (ライブなスレッドはdat再取得になることを受け入れて) read.cgiを利用しない--direct-datに移行することをおすすめします。proxy2chのデフォルト動作は近いうちに--direct-dat相当になる予定です。

itest.5ch.netのjsonからdatを生成するコードも一応入っており、read.cgiが完全に停止された場合はこちらにフォールバックさせる予定ではありますが、名前欄のタグが欠落するという問題があるためread.cgiの代わりとしては欠陥品です。

これは正式リリースではありません。スナップショットとしてwin32向けのMITM有効バイナリとmacOS向けバイナリのみを置いておきます。

主にread.cgiの出力が (5chのみ) 変わったためread.cgiモードが動作しなくなった問題への対応です。--direct-datで使用していた場合は特に影響はありません。

どんぐりシステム絡みでcookie関係の新しいオプションが追加されていますが、詳細はコミットログを追ってください。

これは正式リリースではありません。スナップショットとしてwin32向けのMITM有効バイナリのみを置いておきます。

--subject-to-lastmodifyオプションはsubject.txtへのリクエストを受け取った時にlastmodify.txtのダウンロードを行い、subject.txt相当のデータを生成してクライアントに返すという動作をします。ただしlastmodify.txtの内容は順序がデタラメであり、proxy2ch側で生成時に一律更新順にソートしているため、age/sageの区別なしに書き込みがあったスレが上に来る、という感じになります。

内部はいろいろ変わっています。talkの読み書きやtalkのみ対応ブラウザから5chを読み書きする機能等、興味がある場合はコミットログを追いかけてください。

2023/10/11付でcurl 8.4.0がリリースされており、7.69.0以降のバージョンにおいてSOCKS5 proxyを利用する際の深刻な脆弱性の修正が報告されているのでlibcurlの更新を推奨します。具体的にはproxy2chを--proxy socks5h://...なオプション付きで起動し、socks5 proxy側に名前解決を委ねている場合はおそらく脆弱性の影響を受けると思われます。proxy2chのパッケージに同梱されているlibcurl.dllの置き換え向けにWin32向けのdllはここに置いておきます。