Unicode errorが出た時

Pyrhonで.csvや.txtを開くとき、どうしても避けられないのがUnicode Errorです。これが出ると一気にやる気をなくします。面倒くさ。

こんな時の基本の対処法です。

対策１　Unicodeを指定して読み込む

例えばpandasでcsvを読み込むとき、

df = pd.read_csv(ファイル名, encoding="utf-8")

これでダメなら、utf-8をshift-jisやcp932にして試してみる。

with open()で開くのならば、

with open(file名, mode='w', encoding='utf-8', errors='ignore') as f:

こんな感じで、Unicodeを指定します。

対策２　元のファイルの文字コードを書き替えてしまう

一つのタスクの中でutf-8とshift-jisが入り混じると後々面倒ですので、こんな時はUnicodeをどちらか一方に統一してしまいます。utf-8に統一したほうが良いです。

csvやtxtの場合（それ以外のファイル形式もこれに準じて可能な場合があります）、メモ帳を開きます。

①ファイルから「開く」を選びます。②ファイル名(N)の右横の「テキスト文章」を「すべてのファイル」にする。③「文字コード」を「自動検出」から「ＡＮＳＩ」にします。

そして狙ったファイルを開きます。この状態で文字化けせずに開くことができたならば、保存します。

ファイルから「名前を付けて保存」を選びます。次が肝心。文字コードは今「ＡＮＳＩ」になっていますが、これを「ＵＴＦ－８」にします。そしてそのままのファイル名またはお好きなファイル名にして保存します。以下の現象が発生するようならば、この状態でさらに「上書き保存」を押してもう一度保存してください。

～utf-8で保存したはずのデータを開くと文字化けして、ANSIで開くとちゃんとした文字になっている（つまりUnicodeの書き換えが反映していない）～