1. ホーム
  2. apache-spark

ワーカー、ワーカーインスタンス、エグゼキューターの関係は?

2023-08-04 10:16:50

質問

Sparkスタンドアロンモード では、マスターノードとワーカーノードが存在します。

以下はいくつかの質問です。

  1. 2ワーカーインスタンスとは、1ワーカーノードで2ワーカープロセスという意味でしょうか?
  2. ワーカーインスタンスごとに特定のアプリケーションのエグゼキュータ(ストレージやタスクを管理する)を保持するのでしょうか、それとも1つのワーカーノードが1つのエグゼキュータを保持するのでしょうか?
  3. ワード数など、ランタイムにおけるsparkの動作を説明するフローチャートはありますか?

どのように解決するのですか?

を読むことをお勧めします。 Sparkクラスタのドキュメント を読むことをお勧めしますが、それ以上にこの Cloudera ブログポスト でこれらのモードについて説明しています。

最初の質問は、「インスタンス」が何を意味するかによります。ノードはマシンであり、マシンごとに複数のワーカーを実行する良い理由はありません。したがって、2つのワーカーノードは通常2つのマシンを意味し、それぞれがSparkワーカーになります。

Workerは、多くのアプリケーションのために、多くのエグゼキュータを保持します。1つのアプリケーションは多くのワーカー上のエグゼキュータを持っています。

3つ目の質問は明確ではありません。