[解決済み] hadoop.tmp.dirはどうすればいいのでしょうか?
2022-01-30 17:09:59
質問
Hadoopには設定パラメータがあります。
hadoop.tmp.dir
これは、ドキュメントによると、`
他の一時ディレクトリのベースとなるものです。
このパスは、ローカルのファイルシステムを指しているものと思われます。
この値を
/mnt/hadoop-tmp/hadoop-${user.name}
. ネームノードをフォーマットし、すべてのサービスを開始すると、HDFS上にまったく同じパスが作成されるのがわかります。
ということでしょうか。
hadoop.tmp.dir
にある一時的な場所を指します。
HDFS
?
解決方法は?
わかりにくいですが
hadoop.tmp.dir
はローカルで一時ディレクトリのベースとして使用され、また
HDFS
. ドキュメントはイマイチだけど
mapred.system.dir
がデフォルトで設定され
"${hadoop.tmp.dir}/mapred/system"
でのパスを定義しています。
HDFS
Map/Reduce フレームワークがシステムファイルを保存する場所です。
これらを紐付けしないようにしたい場合は、以下のように
mapred-site.xml
mapred.system.dir の定義が
${hadoop.tmp.dir}
関連
-
[解決済み] hadoop.tmp.dirはどうすればいいのでしょうか?
-
[解決済み] hive.tez.container.size と tez.task.resource.memory.mb の違いについて
-
[解決済み] Hadoop-Hiveからテーブルを削除/トランケートする方法は?
-
[解決済み] HbaseのcheckAndPutとcheckAndMutateの違いは何ですか?
-
[解決済み] HADOOPでワード数を値でソートする方法は?[重複している]。
-
[解決済み] Hive - 現在使用している実行エンジンを知る方法
-
[解決済み] HadoopでDatanodeのプロセスが実行されていない
-
[解決済み] Hive - Hiveサービスのクラスパスを印刷する方法
-
[解決済み] hadoop の -libjars に関する問題
-
[解決済み] Facebookのデータ分析ツール「HiPal」とは、どのようなものなのか?
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
[解決済み】なぜHiveのFetchタスクはMapのみのタスクより速く動作するのですか?
-
[解決済み] Hadoop-Hiveからテーブルを削除/トランケートする方法は?
-
[解決済み] コマンドプロンプトからHiveとHadoopのバージョンを知るには?
-
[解決済み] nutch generateコマンドを実行しようとすると、共有メモリファイルの容量が不足します。
-
[解決済み] Hive - 現在使用している実行エンジンを知る方法
-
[解決済み] ハイブがバケットにデータを挿入する際に作成した小さなファイルをマージする方法は?
-
[解決済み] HDFSのHiveプロキシユーザーの最適なソリューションは何ですか?
-
[解決済み] 最初のhadoopプロジェクトエラー。"入力パスが存在しません"
-
[解決済み] Pig:FLATTENキーワード
-
[解決済み] Facebookのデータ分析ツール「HiPal」とは、どのようなものなのか?