[解決済み] テスト

質問

最近、pysparkをインストールしました。正しくインストールされました。pythonで以下のような簡単なプログラムを使用していると、エラーが発生します。

{コード

最後の行を実行している間、エラーが発生します。

>>from pyspark import SparkContext
>>sc = SparkContext()
>>data = range(1,1000)
>>rdd = sc.parallelize(data)
>>rdd.collect()

.bashrcに以下の変数を入れています。

[Stage 0:>                                                          (0 + 0) / 4]18/01/15 14:36:32 ERROR Executor: Exception in task 1.0 in stage 0.0 (TID 1)
org.apache.spark.api.python.PythonException: Traceback (most recent call last):
  File "/usr/local/lib/python3.5/dist-packages/pyspark/python/lib/pyspark.zip/pyspark/worker.py", line 123, in main
    ("%d.%d" % sys.version_info[:2], version))
Exception: Python in worker has different version 2.7 than that in driver 3.5, PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

Python 3を使用しています。

どのように解決するのですか？

ちなみに、PyCharmを使用する場合は、PyCharmに export SPARK_HOME=/opt/spark export PYTHONPATH=$SPARK_HOME/python3 と {コード {コード を実行/デバッグするための設定を以下の画像に示します。 画像