[解決済み] PySparkで現在のsparkコンテキストの設定を取得することは可能ですか？

質問

へのパスを取得しようとしています。 spark.worker.dir へのパスを取得しようとしています。 sparkcontext .

として明示的に設定すると config param に設定すれば、それを SparkConf にアクセスする方法はありますか？ config (すべてのデフォルトを含む) にアクセスする方法はありますか？ PySpark ?

どのように解決するのですか？

はい。 sc.getConf().getAll()

というメソッドを使用します。

SparkConf.getAll()

によってアクセスされるように

SparkContext.sc.getConf()

しかし、それは動作します。

In [4]: sc.getConf().getAll()
Out[4]:
[(u'spark.master', u'local'),
 (u'spark.rdd.compress', u'True'),
 (u'spark.serializer.objectStreamReset', u'100'),
 (u'spark.app.name', u'PySparkShell')]