[解決済み] DataFrameの現在のパーティション数を取得する
2023-04-12 12:43:08
質問
DataFrameの現在のパーティション数を取得する方法はあるのでしょうか？ DataFrameのjavadoc(spark 1.6)を確認しましたが、そのようなメソッドは見つかりませんでしたが、私が見逃しているだけでしょうか？ (JavaRDDの場合、getNumPartitions()メソッドがあります)。
どのように解決するのですか？
まず
getNumPartitions()
をDataFrameの基礎となるRDD上で、例えば
df.rdd.getNumPartitions()
. Scalaの場合、これはパラメータレスのメソッドです。
df.rdd.getNumPartitions
.
関連
-
[解決済み] Pythonで現在時刻を取得する方法
-
[解決済み] PandasでDataFrameの行を反復処理する方法
-
[解決済み] 列の値に基づいてDataFrameから行を選択するにはどうすればよいですか？
-
[解決済み] リストを均等な大きさの塊に分割するには？
-
[解決済み] モジュールの関数名(文字列)を使って、モジュールの関数を呼び出す。
-
[解決済み] Pythonのクラスはなぜオブジェクトを継承するのですか？
-
[解決済み] Pandas DataFrameの行数を取得する方法は？
-
[解決済み] pandasのDataFrameをCSVファイルに書き出す
-
[解決済み】ネストされたディレクトリを安全に作成するには？
-
[解決済み】pandasでカラムの種類を変更する
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
[解決済み] spark.sql.shuffle.partitionsとspark.default.parallelismの違いは何ですか？
-
[解決済み] 前月の日時オブジェクトを返す
-
[解決済み] Pythonの構文に新しいステートメントを追加することはできますか？
-
[解決済み] なぜ(0-6)は-6＝偽なのか？重複
-
[解決済み] 異なる順序で同じ要素を持つ2つのJSONオブジェクトを等しく比較するには？
-
[解決済み] Pandasのデータフレーム内の文字列を'date'データ型に変換するにはどうしたらいいですか？
-
[解決済み] pycharmがタブをスペースに自動変換する
-
[解決済み] Pythonの文字列書式をリストで使う
-
[解決済み] djangoのQueryDictをPythonのDictに変更するには？
-
[解決済み] Pythonの辞書にあるスレッドセーフについて