環境

Python: 3.5
Requests: 2.11.1

概要

Requestsを使って日本語ページを取得したときに表示すると文字化けが起こる。
今回、自分の場合はページ側のエンコードがShift-JISの場合に起こっていた。

import requests

response = requests.get('適当な日本語ページ')
print(response.encoding)

で調べると、ISO-8859-1が返ってきていた。
どうも、文字コードがうまく取れてない場合に適当にかえしてる？？

解決

import requests

response = requests.get('適当な日本語ページ')
response.encoding = response.apparent_encoding  # この行を追加

apparent_encodingを呼び出すと、どうやらライブラリ使って、ちゃんと文字コードを判定するらしい。
今回の場合は、これで文字化けしなくなった。

参考