Mac OS Xの文字コード問題に関するメモ

■SafariからEUC-JPのページに書き込むと「鷗」などが化ける

• SafariからEUC-JPのページ（はてなダイアリーやmixiなど）に、「鷗」と書き込むと「鴎」に化けたりする。似たような文字化けには、Unicode正規化によるもの（MailやSafariで互換漢字が化ける）やWindows外字に関するもの（EUC-JPのページにおけるWindows外字がめんどくさいことになっている件）などがあるが、ややこしいことに、この例はそのどちらでもない。

• 原因は、Safariの採用しているEUC-JP用の変換テーブル（IBM-33722）のフォールバック。下図は、UnicodeをEUC-JPに変換する際の、IBM-33722における漢字のフォールバックをまとめたもの*1。単に「EUC-JPにない文字」であれば、EUC-JPのページへは数値文字参照で送信されるので化けることはないのだが、フォールバックが定義されているために字体が変わってしまう。

• ところで、素朴な疑問なのだが、このIBM-33722のフォールバックって、どういう基準で設定しているのだろう。「IBM-33722に入ってなくてUnicodeに入っている異体字」なら、他にもありそうなので（たとえば「吞（U+541E）→呑」とか）、何かしら基準があるのだろうけれど。

Permalink | コメント(2) | トラックバック(0) | 18:26

■OpenTypeフォント環境における改定常用漢字表対応を考える

• 2010年11月に改定常用漢字表が告示されたが、これはDTPの現場にどのような影響を与えるのか。OpenTypeフォントとの関係について考えてみる*1。以前は特に意識しなくても、常用漢字表の字体（通用字体）が表示・印刷されるのは当たり前だった。今は違う。

• まず、「常用漢字表とJIS90のグリフが異なる例」に注意が必要である。以下の図では、赤枠が常用漢字表のグリフ。JIS90基準フォント（名前にNの付いていないフォント）をシフトJIS環境で使った場合、下図「常用漢字表とJIS90のグリフが異なる例」の文字は、基本的にグレー枠のグリフで出力される。また、常用漢字の通用字体と印刷標準字体が一致しない例にも注意。改定常用漢字表で新たに追加された文字は、原則としていわゆる康熙字典体を採用しているが、「曽痩麺」の3文字は例外。

• 名前にNの付いているフォント（JIS04基準フォント）では、下図青地のグリフにマッピングがある。下図の赤枠はすべて青地で埋まっている。つまりN付きフォントでは、常用漢字の通用字体すべてを、グリフ置換機能を使うことなく出力することができる。ただし、「塡/填」「剝/剥」「頰/頬」「𠮟/叱」「曽/曾」「痩/瘦」「麺/麵」のペアでは、両方のグリフにマッピングがある。言い換えれば、N付きフォントを使っても、自動的に常用漢字の通用字体に揃うわけではないので確認作業が必要。

• Pr5/Pr6フォントは、常用漢字表のグリフをすべて持っているが、すべてにマッピングがあるわけではない。下図白地のグリフは、グリフ置換によって出力するしかない。

• Proフォント（Adobe-Japan1-4）*2では、常用漢字表のグリフの一部（グレー地）はグリフ置換を使っても出力できない。ただ、いずれもデザイン差なので（気にする人はいると思うが）常用漢字表の基準ではJIS90グリフを用いても差し支えない。

• Stdフォントでは、「餌」の常用漢字表グリフ（CID+13650）が出力できないが、デザイン差の範囲のCID+7643（exptグリフ）でカバーできる。

Permalink | コメント(0) | トラックバック(0) | 15:45

■モリサワの常改フォントはおかしいと思う

• DTPの勉強会でしゃべったことをブログに書いておくシリーズ第1弾（ただし、第2弾以降があるかどうか不明）。モリサワの改定常用漢字表対応学参フォントのしんにょうのデザインがおかしなことになっている件。

• 下図は、モリサワの学参ではない明朝体と教科書体（いちばん下の行は比較用。改定常用漢字表の例示フォントであるIPAex明朝）。明朝体には一点しんにょう（グレー地）と二点しんにょう（白地）があり、教科書体はすべて一点で二度揺らす形（黄色地）。

• モリサワの学参フォントは、常用漢字の範囲内に限って、手書きに近いデザインを採用している。下図、学参リュウミンProの「道」のしんにょうは、教科書体のそれに近い形となっている。このデザインが気に入らないという人も多いかと思うが、これは学参フォント一般の特徴であって、今回指摘したい問題ではない。

• 下図は、モリサワの改定常用漢字表対応学参フォント。常改教科書の「遡」は、明朝体（常用漢字表の例示）をマネして手書きしたような、不思議な形。さらに、常改リュウミンの「遡」は、「明朝体のマネをした教科書体のマネをした明朝体」みたいなことになっている。

• 下図は、改定常用漢字表の一部を抜き出して強調のために着色したもの。明朝体の二点しんにょうも筆写では一点しんにょうと同様に書くと明記されている。言い換えれば、「明朝体の形をマネして手書きしたりするなよ」と釘を刺してるわけで、改定常用漢字表対応を謳っているフォントが改定常用漢字表の記述を無視しちゃダメだろうと思う。

Permalink | コメント(2) | トラックバック(0) | 17:10

■主要なブラウザのEUC-JPを比べてみる

• 前回のエントリのコメント欄でGoogle ChromeのEUC-JPについてご指摘をいただいたので、今回はこれを含めて主要なブラウザのEUC-JPを比べてみた。Safari以外はCP51932ベース。

• ChromeのEUC-JPは、FirefoxやOperaとほぼ同じなのだけれど、IBM拡張文字の一部の扱いについてはSafari（IBM-33722）と共通、という変則的なマッピングになっている。

• 下図は、Chromeのプラスアルファの部分をSafariと比較したもの。Chromeではローマ数字と「㈱」は、もともと他の位置（NEC特殊文字ブロックとNEC選定IBM拡張文字ブロック）に重複して入っている。それで困ることは特にないと思うが、これらのマッピングをわざわざ追加している理由はわからない。

Permalink | コメント(2) | トラックバック(0) | 18:10

■いろんな日本語EUCについてのまとめ

• 日本語EUC（EUC-JP）にはいろいろあって頭がこんがらがってきたので、サルにもわかるように（つまり、自分があとから見て理解できるように）まとめてみた*1。まず、EUC-JPにはどんな種類があるのだろうということで、わたしの環境で実装例を確認できるものをピックアップしてみた。下図のうちeucJP-openとIANAのEUC-JPについては身近な実装例を思いつかなかったが、これを外すわけにはいかないだろうと思って入れておいた。

• 各EUC-JPのレパートリをまとめたのが、下図。eucJP-openには上図に示したようなバリエーションがあるが、レパートリは共通。「JIS X 0208の国際基準版・漢字用8ビット符号 + JIS X 0201片仮名」については、これを一言で表現できる呼称を思いつかないので、以下の図では仮に「TextEdit」と表記する。

• 下図は、各EUC-JPのレパートリと符号空間の関係を示したもの。黄色地と紫地はIBM拡張文字ブロックであり、レパートリは同じだが並びに互換性はない。いずれもIBM拡張文字のうちJIS X 0208またはJIS X 0212に含まれないもののみをこのブロックに収録している。IBM-33722（Safariが採用しているEUC-JP）におけるJIS X 0212用の領域は、IBM拡張文字をサポートするために必要な文字のみを含む。

• 以下の図は、各EUC-JPの符号表のうち、比べてみたくなりそうな部分を適当に拾ったもの*2。

Permalink | コメント(5) | トラックバック(0) | 17:09