1. ホーム
  2. hadoop

[解決済み] 最初のhadoopプロジェクトエラー。"入力パスが存在しません"

2022-02-14 07:28:02

質問

シンプルなHadoopプロジェクトをセットアップするために、私はこのチュートリアルに従います。 http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html

私のHadoopシングルノードは正常に動作しているようです。

を指定すると In このコードでフォルダを作成します。

FileInputFormat.setInputPaths(conf, new Path("In"));

このようなエラーが発生します。

13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/user/DEVUSER/In

現在では In フォルダは C:\homedir\hadoop-1.0.4\In

In"フォルダはどこに作成すればよいのでしょうか。 hdfs://localhost:9100/user/DEVUSER/In ? ローカルファイルシステム上のフォルダを指すように xml ファイルを更新する必要がありますか?

解決方法は?

まず、入力ファイルをHDFSファイルシステムにアップロードする必要があります。

bin/hadoop fs -mkdir In

という名前のディレクトリが作成されます。 /user/DEVUSER/In をHDFSに保存します。

bin/hadoop fs -put *.txt In

は、すべての *.txt ファイルをカレントディレクトリからクラスタ(HDFS)に転送します。

の章を読み飛ばしているようです。 データのアップロード チュートリアルから。このチュートリアルに従えば、あなたの問題は解決するはずです。