Ogawa::Memoranda

Movable TypeのBookmarkletやTrackbackの文字化けを回避するためにShift_JISからUTF-8に文字コードを変換したのだが、また例によって『「～」と「〜」』問題にぶち当たった。

「～」はFULLWIDTH TILDE(U+FF5E, EFBD9E)で、「〜」はWAVE DASH(U+301C, E3809C)なのだが、Shift_JISの「～」をWindows付属のNotepadなどを用いてUTF-8形式で保存した場合には前者になるが、MeadowのMule-UCSなどを用いた場合には後者になる。

さらにPerl 5.8.0などに標準で付属しているEncode.pmを使って、

(1) perl -MEncode -ne 'print encode("utf-8", decode("shift_jis", $_))' $src > $dest

とするとWAVE DASHになるが、

(2) perl -MEncode -ne 'print encode("utf-8", decode("cp932", $_))' $src > $dest

とするとFULLWIDTH TILDEになる。

どちらに「すべき」かという問題はしばしば一種の宗教問題の様相を見せるので考えないことにするとして、どちらに「したい」かというと、(批判を恐れずに言ってよいなら)FULLWIDTH TILDEにしたいところだ。なぜなら、Movable Typeには全文検索機能があり、WindowsのInternet ExplorerではTEXTAREAなりINPUTなりに「～」を入力するとそれはFULLWIDTH TILDEと認識され、「%EF%BD%9E」とエンコードされてサーバに送られるからだ。「%E3%80%9C」ではなく。

では、(2)で万全かと思いきや、そうでもない。Perl 5.8.0に付属するEncode-1.75だと、今度は「≒」などの変換がうまくできないようなのだ。Encode-1.93にバージョンアップすると「≒」に関してはうまく行っているようだが…いまいち信用ならない。しかたがないので、(1)と(2)の結果の差分を取ってみて、それがreasonableだったらオッケー、という泥臭いやり方を現在のところ採用している。どうしたものだか。