1. ホーム
  2. パンダ

pandas to_csv to save data with Chinese messy codeの問題と解決法

2022-03-01 23:51:37

1. scrapyフレームワークを使って車のレビューをいくつかクロールし、csvファイルに保存したのですが、直接開くとコードが文字化けしてしまいます。


2. pandasで読み込み、to_csv()メソッドで再保存する。

import pandas as pd

file_name = 'G:/myLearning/pythonML201804/spiderLearning/scrapy_learning/car_comment_crawler/\
            car_comment_crawler/spiders/haval_all_page3.csv'
file_name2 = 'G:/myLearning/pythonML201804/spiderLearning/scrapy_learning/car_comment_crawler/
            car_comment_crawler/spiders/haval_all_page4.csv'
file_name3 = 'G:/myLearning/pythonML201804/spiderLearning/scrapy_learning/car_comment_crawler/
            car_comment_crawler/spiders/haval_all_page5.csv'

df = pd.read_csv(file_name, encoding='utf-8')
df

<イグ

  (1) df.to_csv(file_name2, encoding='utf-8') を使用してもエンコーディングに問題がある。

df.to_csv(file_name2,encoding="utf_8")

<イグ

  (2) df.to_csv(file_name2, encoding='utf_8_sig') を使用すると、中国語の文字化けの問題は解決します。

df.to_csv(file_name3,encoding="utf_8_sig")


<イグ