[解決済み] sparkでドライバのpythonのバージョンを設定するには？

質問

spark 1.4.0-rc2を使用しているので、python 3をsparkで使用することができます。 もし私が export PYSPARK_PYTHON=python3 を私の .bashrc ファイルを追加すると、python 3 で対話的に spark を実行することができます。 しかし、ローカルモードでスタンドアロンプログラムを実行したい場合、エラーが発生します。

例外が発生しました。Worker の Python のバージョンが 3.4 で、ドライバ 2.7 のそれとは異なります。 ドライバ 2.7 と異なるため、PySpark は異なるマイナーバージョンで実行できません。

ドライバのPythonのバージョンはどのように指定すればよいですか？ 設定方法 export PYSPARK_DRIVER_PYTHON=python3 を設定してもうまくいきませんでした。

どのように解決するのですか？

起動するスタンドアロンプロジェクトが Python 3 で起動されていることを確認する必要があります。スタンドアロン プログラムを spark-submit で送信している場合は問題ありませんが、python で起動している場合は、アプリを起動するために python3 を使用していることを確認してください。

また、環境変数を ./conf/spark-env.sh に設定されていることを確認してください (存在しない場合は spark-env.sh.template をベースとして使用することができます)。