ワーカー、ワーカーインスタンス、エグゼキューターの関係は?
2023-08-04 10:16:50
質問
で Sparkスタンドアロンモード では、マスターノードとワーカーノードが存在します。
以下はいくつかの質問です。
- 2ワーカーインスタンスとは、1ワーカーノードで2ワーカープロセスという意味でしょうか?
- ワーカーインスタンスごとに特定のアプリケーションのエグゼキュータ(ストレージやタスクを管理する)を保持するのでしょうか、それとも1つのワーカーノードが1つのエグゼキュータを保持するのでしょうか?
- ワード数など、ランタイムにおけるsparkの動作を説明するフローチャートはありますか?
どのように解決するのですか?
を読むことをお勧めします。 Sparkクラスタのドキュメント を読むことをお勧めしますが、それ以上にこの Cloudera ブログポスト でこれらのモードについて説明しています。
最初の質問は、「インスタンス」が何を意味するかによります。ノードはマシンであり、マシンごとに複数のワーカーを実行する良い理由はありません。したがって、2つのワーカーノードは通常2つのマシンを意味し、それぞれがSparkワーカーになります。
Workerは、多くのアプリケーションのために、多くのエグゼキュータを保持します。1つのアプリケーションは多くのワーカー上のエグゼキュータを持っています。
3つ目の質問は明確ではありません。
関連
-
[解決済み] spark.sql.autoBroadcastJoinThresholdは、Datasetの結合演算子を使用して結合するために動作しますか?
-
[解決済み] SparkでcreateOrReplaceTempViewはどのように動作するのですか?
-
[解決済み] Spark コンテキスト 'sc' が定義されていない
-
[解決済み] Spark: 2つのDataFrameを減算する
-
[解決済み] ShuffledRDD、MapPartitionsRDD、ParallelCollectionRDDの違いは何ですか?
-
[解決済み] TypeError: 'Column' オブジェクトは WithColumn を使用して呼び出すことができません。
-
[解決済み】SparkコンソールにINFOメッセージを表示させないようにするには?
-
[解決済み】Spark StandaloneクラスタのWorker、Executor、Coreとは何ですか?
-
[解決済み] spark dataframeの書き込みメソッドで特定のパーティションを上書きする
-
[解決済み] RDD/Spark DataFrameの特定の列に基づく行からの重複の除去
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
[解決済み] spark.sql.autoBroadcastJoinThresholdは、Datasetの結合演算子を使用して結合するために動作しますか?
-
[解決済み] PySparkのデータフレームで、各キーのパーセンタイルはどのように計算されますか?
-
[解決済み] Apache SparkとAkkaの比較【終了しました
-
[解決済み] Spark: 2つのDataFrameを減算する
-
[解決済み] Sparkクラスタがハートビートのタイムアウトでいっぱいになり、エグゼキュータが勝手に終了してしまう。
-
[解決済み] spark checkpointとpersist to a diskの違いは何ですか?
-
[解決済み] プロパティspark.yarn.jars - どのようにそれに対処するのですか?
-
[解決済み】mapとflatMapの違いと、それぞれの良い使用例について教えてください。
-
[解決済み】Spark StandaloneクラスタのWorker、Executor、Coreとは何ですか?
-
[解決済み] spark dataframeの書き込みメソッドで特定のパーティションを上書きする