[解決済み] spark.yarn.executor.memoryOverhead "の設定値？

質問

の値は？ spark.yarn.executor.memoryOverhead YARNを使用したSparkジョブでは、Appに割り当てるべきでしょうか、それとも最大値だけでしょうか？

解決方法を教えてください。

spark.yarn.executor.memoryOverhead

目標は、RDDやDataFrameで使用される、実際の実行メモリに対するOVERHEADの割合として計算することです。

--executor-memory/spark.executor.memory

はエグゼキュータのヒープサイズを制御しますが、JVMはヒープ外のメモリも使用できます。例えば、インターンされた文字列や直接バイトバッファのためです。

の値は spark.yarn.executor.memoryOverhead プロパティは、各エクゼキュータのYARNへのフルメモリリクエストを決定するために、エクゼキュータのメモリに追加されます。デフォルトは max(executorMemory * 0.10, 最小値は 384)です。

のプロパティに基づき、エグゼキュータがメモリ割り当てを行う。 spark.executor.memory で定義されるオーバーヘッドに加え spark.yarn.executor.memoryOverhead