(cache) file.write() 時の UnicodeError 対策 - 壁は通り抜けられませんよ

2011-09-21

■[Python] `file.write()` 時の `UnicodeError` 対策

sys.stdout.write(u'ほげ') などとした際に UnicodeError を食らわないための対策。

Cygwin 1.7.9-1, Python 2.6.5-2 で調査したものです。Windows環境、およびPython3については触れません。また、ソースコードのエンコーディング*1は適切に設定されているものとします。

最も簡単なのはUnicode 文字列を一切使わず、全てByte文字列で処理することです。ただしこれだと文字列処理が必要な場合面倒なことになるので、やはりUnicode 文字列のみを使いたいというケースが多いと思います。

結論から言うと、スクリプトの冒頭で以下のようにするのがよさそうです:*2 *3

ENC_LOCALE = locale.getpreferredencoding()
sys.stdout = codecs.getwriter(ENC_LOCALE)(sys.stdout, errors='replace')
sys.stderr = codecs.getwriter(ENC_LOCALE)(sys.stderr, errors='replace')

sitecustomize.py 内で sys.setdefaultencoding() するのは避けるべきです。移植性を損なう上に、デフォルトエンコーディングに依存するライブラリが存在する可能性もあるからです。これは最後の手段とみなすべきでしょう。

以下はPythonのエンコーディング決定の仕組みと、Byte文字列/Unicode 文字列の自動変換についてのメモ。

エンコーディング決定の仕組み

`sys.getdefaultencoding()`

デフォルトで 'ascii'。ただし sitecustomize.py 内で sys.setdefaultencoding() による設定が可能(前述の通り、これは最後の手段)。

`locale.getpreferredencoding()`, `sys.getfilesystemencoding()`

LC_CTYPE 環境変数に従う。LC_CTYPE=C の場合、'ANSI_X3.4-1968'。

標準ストリーム(`sys.stdin`, `sys.stdout`, `sys.stderr`)の `encoding` 属性

PYTHONIOENCODING 環境変数が存在すれば常にそれに従う。さもなくば

接続先が端末ならば locale.getpreferredencoding() に従う
接続先が非端末(リダイレクトなど)ならば None

なお、標準ストリームのUnicodeエラーハンドラ(errors 属性)は PYTHONIOENCODING 環境変数が存在すればそれに従う。さもなくば None。

エンコーディングを指定してファイルを開きたい場合は io.open() を使う(この関数に encoding 引数を渡さなかった場合のエンコーディングは locale.getpreferredencoding() に従う)。また、既存のファイルオブジェクトに対してエンコーディングを指定したい場合は out = codecs.getwriter('utf-8')(out) のようにラップする。