[解決済み] pandas read_csvとusecolsによるカラムのフィルタリング
2022-10-29 22:38:13
質問
csvファイルがあるのですが、そのファイルが
pandas.read_csv
でカラムをフィルタリングすると
usecols
でカラムをフィルタリングし、複数のインデックスを使用した場合。
import pandas as pd
csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""
f = open('foo.csv', 'w')
f.write(csv)
f.close()
df1 = pd.read_csv('foo.csv',
header=0,
names=["dummy", "date", "loc", "x"],
index_col=["date", "loc"],
usecols=["dummy", "date", "loc", "x"],
parse_dates=["date"])
print df1
# Ignore the dummy columns
df2 = pd.read_csv('foo.csv',
index_col=["date", "loc"],
usecols=["date", "loc", "x"], # <----------- Changed
parse_dates=["date"],
header=0,
names=["dummy", "date", "loc", "x"])
print df2
df1とdf2はダミーカラムが足りない以外は同じはずなのですが、カラムのラベルがずれて入ってきてしまいます。 また、日付は日付としてパースされてしまいます。
In [118]: %run test.py
dummy x
date loc
2009-01-01 a bar 1
2009-01-02 a bar 3
2009-01-03 a bar 5
2009-01-01 b bar 1
2009-01-02 b bar 3
2009-01-03 b bar 5
date
date loc
a 1 20090101
3 20090102
5 20090103
b 1 20090101
3 20090102
5 20090103
名前の代わりにカラム番号を使用すると、同じ問題が発生します。 私はread_csvステップの後にダミーカラムを削除することによって問題を回避することができますが、私は何が間違っているのかを理解しようとしています。 私はpandas 0.10.1を使っています。
edit: ヘッダーの使い方がおかしかったのを修正しました。
どのように解決するのですか?
この2つのキーワードを理解することで解決します。
-
名前
は、ファイル内にヘッダー行がなく、他の引数を指定したい場合にのみ必要です(例えば
usecols
のような)他の引数を整数のインデックスではなくカラム名で指定したい場合にのみ必要です。 - usecols は、DataFrame全体をメモリに読み込む前にフィルタを提供することになっています。適切に使用されれば、読み込んだ後にカラムを削除する必要は決してないはずです。
つまり、ヘッダ行があるので
header=0
を渡せば十分で、さらに
names
を渡すと混乱するようです。
pd.read_csv
.
削除する
names
を削除すると、望みの出力が得られます。
import pandas as pd
from StringIO import StringIO
csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""
df = pd.read_csv(StringIO(csv),
header=0,
index_col=["date", "loc"],
usecols=["date", "loc", "x"],
parse_dates=["date"])
というのが出てきます。
x
date loc
2009-01-01 a 1
2009-01-02 a 3
2009-01-03 a 5
2009-01-01 b 1
2009-01-02 b 3
2009-01-03 b 5
関連
-
[解決済み] Pandas read_csv low_memory と dtype オプション。
-
[解決済み] Pandasのデータフレームで複数の列を選択する
-
[解決済み】PandasでSettingWithCopyWarningに対処する方法
-
[解決済み】Pandas DataFrameのより多くの列を見るために出力表示を拡大する方法は?
-
[解決済み] SQLAlchemy: セッションの作成と再利用
-
[解決済み] バブルソートの宿題
-
[解決済み] Pandasの'Freq'タグにはどのような値が有効ですか?
-
[解決済み] Ctrl-CでPythonスクリプトを終了できない
-
[解決済み] Django で全てのリクエストヘッダを取得するにはどうすれば良いですか?
-
[解決済み] Python の sorted() はどのようなアルゴリズムを使っているのですか?重複
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
[解決済み] DataFrameの文字列、dtypeがobjectの場合
-
[解決済み] Pythonのキャッシュライブラリはありますか?
-
[解決済み] Flaskで1時間ごとに関数を実行するようにスケジュールするには?
-
[解決済み] Djangoで2つの日付の間を選択する
-
[解決済み] 辞書のキーと値を交換するにはどうすればよいですか?
-
[解決済み] Pythonの要素別タプル演算(sumなど
-
[解決済み] Pandasの'Freq'タグにはどのような値が有効ですか?
-
[解決済み] 範囲指定された浮動小数点数のランダムな配列を生成します。
-
[解決済み] subprocess.run()の出力を抑制またはキャプチャするには?
-
[解決済み] 単純な文字列からtimedeltaオブジェクトを作成する方法