A,Bの2つの列に基づいてデータフレームから重複を削除し、別の列Cの最大値を持つ行を維持する。

質問

私は2つの列（AとB）に従って重複した値を含むpandasのデータフレームを持っています。

A B C
1 2 1
1 2 4
2 7 1
3 4 0
3 4 8

C列の値が最大の行を維持したまま重複を削除したい。 こうなると

A B C
1 2 4
2 7 1
3 4 8

どうすればいいのかわかりません。私は使用する必要があります drop_duplicates() を使うべきなのか、それとも何か他のものを使うべきなのか？

どのように解決するのですか？

group byを使用することで可能です。

c_maxes = df.groupby(['A', 'B']).C.transform(max)
df = df.loc[df.C == c_maxes]

c_maxes は Series の最大値の C と同じ長さ、同じインデックスを持つ df . もし .transform を使っていない場合は、印刷 c_maxes がどう動くか見てみるといいかもしれません。

を使った別のアプローチ drop_duplicates を使う方法もあります。

df.sort('C').drop_duplicates(subset=['A', 'B'], take_last=True)

どちらが効率的かは分かりませんが、ソートを伴わないので最初のアプローチでしょう。

EDITです。 から pandas 0.18 第二の解決策は

df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')

または、その代わりに

df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'])

いずれにせよ groupby のソリューションは大幅にパフォーマンスが向上しているようです。

%timeit -n 10 df.loc[df.groupby(['A', 'B']).C.max == df.C]
10 loops, best of 3: 25.7 ms per loop

%timeit -n 10 df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')
10 loops, best of 3: 101 ms per loop