[解決済み] Sparkデータフレームのカラムの最大値を取得する最良の方法

質問

Sparkデータフレームのカラムで最大の値を取得するための最良の方法を見つけようとしています。

次のような例を考えてみましょう。

df = spark.createDataFrame([(1., 4.), (2., 5.), (3., 6.)], ["A", "B"])
df.show()

どちらが作成するか。

+---+---+
|  A|  B|
+---+---+
|1.0|4.0|
|2.0|5.0|
|3.0|6.0|
+---+---+

私の目標は、A列の最大の値を見つけることです（検査により、これは3.0です）。PySparkを使用して、私が考える4つのアプローチです。

# Method 1: Use describe()
float(df.describe("A").filter("summary = 'max'").select("A").first().asDict()['A'])

# Method 2: Use SQL
df.registerTempTable("df_table")
spark.sql("SELECT MAX(A) as maxval FROM df_table").first().asDict()['maxval']

# Method 3: Use groupby()
df.groupby().max('A').first().asDict()['max(A)']

# Method 4: Convert to RDD
df.select("A").rdd.max()[0]

上記はそれぞれ正しい答えを与えてくれますが、Sparkのプロファイリングツールがないため、どれがベストなのかがわかりません。

上記の方法のうち、Sparkの実行時間やリソース使用量の観点から最も効率的な方法はどれか、あるいは上記の方法よりも直接的な方法はないか、直感的あるいは経験的にお考えでしょうか。

どのように解決するのですか？

>df1.show()
+-----+--------------------+--------+----------+-----------+
|floor|           timestamp|     uid|         x|          y|
+-----+--------------------+--------+----------+-----------+
|    1|2014-07-19T16:00:...|600dfbe2| 103.79211|71.50419418|
|    1|2014-07-19T16:00:...|5e7b40e1| 110.33613|100.6828393|
|    1|2014-07-19T16:00:...|285d22e4|110.066315|86.48873585|
|    1|2014-07-19T16:00:...|74d917a1| 103.78499|71.45633073|

>row1 = df1.agg({"x": "max"}).collect()[0]
>print row1
Row(max(x)=110.33613)
>print row1["max(x)"]
110.33613

答えはmethod3とほぼ同じですが、method3の"asDict()"は削除しても良いようです。