1. ホーム
  2. python

[解決済み] pandas read_csvとusecolsによるカラムのフィルタリング

2022-10-29 22:38:13

質問

csvファイルがあるのですが、そのファイルが pandas.read_csv でカラムをフィルタリングすると usecols でカラムをフィルタリングし、複数のインデックスを使用した場合。

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

df1とdf2はダミーカラムが足りない以外は同じはずなのですが、カラムのラベルがずれて入ってきてしまいます。 また、日付は日付としてパースされてしまいます。

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

名前の代わりにカラム番号を使用すると、同じ問題が発生します。 私はread_csvステップの後にダミーカラムを削除することによって問題を回避することができますが、私は何が間違っているのかを理解しようとしています。 私はpandas 0.10.1を使っています。

edit: ヘッダーの使い方がおかしかったのを修正しました。

どのように解決するのですか?

この2つのキーワードを理解することで解決します。

  • 名前 は、ファイル内にヘッダー行がなく、他の引数を指定したい場合にのみ必要です(例えば usecols のような)他の引数を整数のインデックスではなくカラム名で指定したい場合にのみ必要です。
  • usecols は、DataFrame全体をメモリに読み込む前にフィルタを提供することになっています。適切に使用されれば、読み込んだ後にカラムを削除する必要は決してないはずです。

つまり、ヘッダ行があるので header=0 を渡せば十分で、さらに names を渡すと混乱するようです。 pd.read_csv .

削除する names を削除すると、望みの出力が得られます。

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

というのが出てきます。

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5