1. ホーム
  2. hadoop

[解決済み] hadoop.tmp.dirはどうすればいいのでしょうか?

2022-01-30 17:09:59

質問

Hadoopには設定パラメータがあります。 hadoop.tmp.dir これは、ドキュメントによると、` 他の一時ディレクトリのベースとなるものです。 このパスは、ローカルのファイルシステムを指しているものと思われます。

この値を /mnt/hadoop-tmp/hadoop-${user.name} . ネームノードをフォーマットし、すべてのサービスを開始すると、HDFS上にまったく同じパスが作成されるのがわかります。

ということでしょうか。 hadoop.tmp.dir にある一時的な場所を指します。 HDFS ?

解決方法は?

わかりにくいですが hadoop.tmp.dir はローカルで一時ディレクトリのベースとして使用され、また HDFS . ドキュメントはイマイチだけど mapred.system.dir がデフォルトで設定され "${hadoop.tmp.dir}/mapred/system" でのパスを定義しています。 HDFS Map/Reduce フレームワークがシステムファイルを保存する場所です。

これらを紐付けしないようにしたい場合は、以下のように mapred-site.xml mapred.system.dir の定義が ${hadoop.tmp.dir}