[解決済み] Sparkにはどのようなクラスタタイプを選べばよいですか？

質問

私はApache Sparkの初心者ですが、Sparkは3種類のクラスタをサポートしていることを知りました。

• スタンドアロン - Spark が自分自身のクラスターを管理することを意味します。
• YARN - HadoopのYARNリソース・マネージャーを使用します。
• Mesos - Apache の専用リソース・マネージャ・プロジェクト

私は スタンドアロン を試してみることにしました。将来的には、大規模なクラスタ（数百のインスタンス）を構築する必要があります。

どのクラスタタイプを選ぶべきでしょうか？

どのように解決するのですか？

Sparkをやっている人が一番答えられると思います。ということで Sparkを学ぶ

新しいデプロイメントであれば、スタンドアロン クラスターから始めます。 スタンドアロン・モードはセットアップが最も簡単で、他のクラスタ・マネージャとほぼ同じ機能を提供します。 他のクラスターマネージャーとほぼ同じ機能を提供します。 Sparkを実行している場合、他のクラスタマネージャとほぼ同じ機能を提供します。

Spark を他のアプリケーションと一緒に実行したい場合や リッチなリソーススケジューリング機能（キューなど）を使用したい場合は、YARNとMesosの両方がこれらの機能を提供します。 Mesos の両方がこれらの機能を提供します。このうち、YARNは多くのHadoopでプリインストールされる可能性が高い 多くの Hadoop ディストリビューションにプリインストールされています。

YARN とスタンドアロン モードの両方に対する Mesos の利点の 1 つは、きめ細かい共有オプションです。 Spark シェルなどの対話型アプリケーションの CPU 割り当てを縮小できるようにする、きめ細かい共有オプションです。 Spark シェルなどの対話型アプリケーションは、コマンド間で CPU 割り当てを縮小することができます。 このため、複数のユーザーが対話型シェルを実行している環境では、Mesosは魅力的です。 このため、複数のユーザーがインタラクティブなシェルを実行する環境では魅力的です。

どのような場合でも、ストレージへの高速アクセスのために、HDFSと同じノードでSparkを実行することが最善です。 ストレージに高速にアクセスできるようにするためです。Mesos またはスタンドアロン クラスタ マネージャを同じノードに手動でインストールすることもできます。 またはスタンドアロンのクラスターマネージャーを同じノードに手動でインストールすることができます。 ディストリビューションでは、YARNとHDFSがすでに一緒にインストールされています。