[解決済み] ValueError: pysparkを使用してsparkで複数のSparkContextsを同時に実行できません。
2022-02-03 05:35:23
質問
私はsparkを使うのが初めてです、pysparkでこのコードを実行しようとしました。
from pyspark import SparkConf, SparkContext
import collections
conf = SparkConf().setMaster("local").setAppName("RatingsHistogram")
sc = SparkContext(conf = conf)
しかし、彼はこのようなエラーメッセージを伝えてきました。
Using Python version 3.5.2 (default, Jul 5 2016 11:41:13)
SparkSession available as 'spark'.
>>> from pyspark import SparkConf, SparkContext
>>> import collections
>>> conf = SparkConf().setMaster("local").setAppName("RatingsHistogram")
>>> sc = SparkContext(conf = conf)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\spark\python\pyspark\context.py", line 115, in __init__
SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
File "C:\spark\python\pyspark\context.py", line 275, in _ensure_initialized
callsite.function, callsite.file, callsite.linenum))
ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by getOrCreate at C:\spark\bin\..\python\pyspark\shell.py:43
>>>
私はバージョンSpark 2.1.1とPython 3.5.2を持っている、私は検索して、それがscの問題であることがわかった、彼はそれを読むことができなかったが、なぜ、いつまでない、誰かここにヘルプを持っている。
解決方法は?
これを試してみてください。
sc = SparkContext.getOrCreate();
関連
-
[解決済み】Virtualenv - workon コマンドが見つかりません。
-
[解決済み] TypeError: _thread.lockオブジェクトをpickleできません。
-
[解決済み] Pythonで "filter "オブジェクトの長さを求める方法
-
[解決済み] 修正方法:cx_Oracle.DatabaseError: DPI-1047: 64 ビット Oracle クライアントライブラリが見つかりません - Python
-
[解決済み] 2次元リストを行と列で印刷する
-
[解決済み] sklearnのprecision_recall_fscore_supportの出力はどのように並べられるのでしょうか?
-
[解決済み] CrontabでpythonのsubPrrocess経由で使用するmailxを呼び出せない。
-
[解決済み] condaからpip3用のrequirements.txtを作成する。
-
[解決済み] シンタックスエラーと変数アノテーションのターゲットが不正であるというエラーが発生します。どうすれば直せますか?[クローズド]
-
[解決済み] discordのボットコマンドとイベントの両方を使うには?
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
[解決済み】TensorFlow:dataset.train.next_batchはどのように定義されていますか?
-
[解決済み] Process finished with exit code 1」とはどういう意味ですか?
-
[解決済み] TypeError: _thread.lockオブジェクトをpickleできません。
-
[解決済み] ValueError: Substring not found, What am I doing wrong?
-
[解決済み] sklearn の KNearest Neighbors - ValueError: クエリデータの次元はトレーニングデータの次元と一致する必要があります。
-
[解決済み] 修正方法:cx_Oracle.DatabaseError: DPI-1047: 64 ビット Oracle クライアントライブラリが見つかりません - Python
-
[解決済み] sklearnのprecision_recall_fscore_supportの出力はどのように並べられるのでしょうか?
-
[解決済み] condaからpip3用のrequirements.txtを作成する。
-
[解決済み] ImportError: 'sklearn.externals' から名前 'joblib' をインポートすることができません。
-
[解決済み] モジュール 'pandas' には 'scatter_matrix' という属性がない」 というエラーはどうすれば解決できますか?