[解決済み】pandasで空白値（ホワイトスペース）をNaNに置き換える。

質問

Pandasのデータフレームでホワイトスペース（任意の量）を含むすべての値を見つけ、それらの値をNaNに置き換えたい。

どうすれば改善されるのか、何かアイデアはありますか？

基本的にはこれを回したい。

                   A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz     
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux     

この中に

                   A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

以下のコードで何とかやってみたが、なんとも醜い。Pythonicではないし、pandasの最も効率的な使い方でもないでしょう。各カラムをループして、各値を正規表現で検索する関数を適用して生成したカラムマスクに対してブーリアン置換を行い、ホワイトスペースにマッチさせています。

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

空の文字列を含む可能性のあるフィールドのみを繰り返し処理することで、少し最適化することができます。

if df[i].dtype == np.dtype('object')

しかし、これではあまり改善されません

そして最後に、このコードはターゲット文字列を None に設定し、Pandas の以下のような関数で動作します。 fillna() を挿入することができれば完璧なのですが。 NaN の代わりに直接 None .

解決方法は？

私が思うに df.replace() はその役割を果たします。 パンダ0.13 :

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^\s*$', np.nan, regex=True))

プロデュースします。

                   A    B   C
2000-01-01 -0.532681  foo   0
2000-01-02  1.490752  bar   1
2000-01-03 -1.387326  foo   2
2000-01-04  0.814772  baz NaN
2000-01-05 -0.222552  NaN   4
2000-01-06 -1.176781  qux NaN

として テマク を使用してください。 df.replace(r'^\s+$', np.nan, regex=True) は、有効なデータに空白が含まれている場合に使用します。