Hadoop - BinaryDevelop

Hiveでレコードを削除・更新する方法

質問 Hadoop、Hive、Hive JDBCをインストールし、正常に動作しています。しかし、私はまだ問題があります。MySQLの削除または更新コマンドがHiveで動作しないため、どのようにHiveを使用して単一のレコードを削除または更新することができます。ありがとうございます。 hive> delete from student where id=1; Usage: del

2023-12-14 15:53:57
Hiveとは。org.apache.hadoop.hive.ql.exec.MapRedTask からコード2を返す。

質問私は取得しています。 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask ハイブコンソールのコマンドを使用して、パーティション化されたテーブルのコピーを作成しようとしているとき。 CREATE TABLE copy_table_name LIKE table

2023-12-12 17:29:19
Hiveでクエリを実行する際に、出力と一緒にカラム名を取得する方法はありますか？

質問 Hiveでは、クエリ（のようなもの）を実行するときに select * from employee で得られるような名前、年齢、給料のようなカラム名は出力されません。 RDBMSのSQL で得られるような）カラム名は得られず、値のみが得られます。何かクエリを実行したときに、出力と一緒に列名を表示させる方法はありませんか？どのように解決するのですか？ HiveQl

2023-10-05 22:32:20
HiveはHDFSのどこにファイルを保存するのですか？

質問私は、Hiveテーブルと、それらが表す実際のHDFSファイル（というかディレクトリ）の間のマッピングを見つける方法を知りたいです。私はテーブルファイルに直接アクセスする必要があります。 HiveはHDFSのどこにファイルを保存するのでしょうか？どのように解決するのですか？ HDFSのどこに保存されているかは、場所を知っていればかなり簡単に分かります :) もしあなたが

2023-09-09 03:11:52
縮小後の出力ファイルのマージ

質問 Mapreduceでは、各Reduceタスクはその出力をファイル名 part-r-nnnnn ここで nnnnn は reduce タスクに関連するパーティション ID です。はマップ/リデュースはこれらのファイルをマージしますか？もしそうなら、どのように？どのように解決するには？自分でファイルのマージを行う代わりに、呼び出しによってreduce

2023-08-31 04:49:49
[解決済み] ZooKeeperが起動しているかどうかをコマンドプロンプトから確認する方法は？

質問カフカをセットアップするためにいくつかのオプションを検討しましたが、カフカを開始するためにZookeeperが稼働している必要があることがわかりました。私はどのように私は以下を見つけることができます知っていただきたいと思います。 1) zookeeperインスタンスのホスト名とポート--zoo.cfgを確認しましたが、ホスト名ではなくClientPortしか見つかりませんでし

2023-06-25 02:08:51
[解決済み] HadoopのReduceタスクはいつ始まるのか？

質問 Hadoopでreduceタスクはいつ始まるのでしょうか？マッパーのある割合（閾値）が完了した後に開始されるのでしょうか？もしそうなら、この閾値は固定ですか？一般的にどのような閾値が使われるのでしょうか？どのように解決するのですか？ reduceフェーズは、shuffle, sort, reduceの3つのステップで構成されています。シャッフルは、reducerが各マッパーか

2023-06-13 13:12:07
[解決済み] コンテナがメモリの制限を超えて動作している

質問 Hadoop v1では、7つのマッパーとリデューサーのスロットにそれぞれ1GBのサイズを割り当てていますが、マッパーとリデューサーは正常に動作しています。私のマシンは8Gのメモリと8プロセッサを搭載しています。 YARNでは、同じマシンで同じアプリケーションを実行すると、コンテナエラーが発生します。デフォルトでは、このような設定になっています。 <property>

2023-04-05 07:18:11
[解決済み] apache sparkはhadoopなしで動きますか？

質問の間に依存関係はありますか？スパークそしてハドープ ? もしそうでなければ、私がスパークなしハドープ ? どのように解決するのですか？ Spark は Hadoop なしで実行できますが、一部の機能は Hadoop のコードに依存しています (例: Parquet ファイルの処理)。私たちは Spark を Mesos

2022-11-08 03:43:37
[解決済み] HDFSディレクトリのサイズを確認する方法は？

質問私は知っています。 du -sh を一般的なLinuxのファイルシステムで使うことはできます。しかし、HDFSでそれを行うにはどうすればよいのでしょうか？どのように解決するのか？ 0.20.203 より前のもので、2.6.0 で公式に非推奨となりました。 hadoop fs -dus [directory] 以降 <ストライク 0.20.203 (

2022-09-14 22:10:01
[解決済み] Hiveの内部テーブルと外部テーブルの違い？

質問 Hiveの外部テーブルと内部テーブルの違いについて教えてください。テーブルをドロップするときに違いが出るのはわかるのですが。内部テーブルではデータとメタデータが削除され、外部テーブルではメタデータのみが削除されるという意味がよくわかりません。どなたかノードの観点から説明していただけませんか？どのように解決するのですか？ Hiveはマスターノードにリレーショナルデータベース

2022-09-13 02:16:01
[解決済み] HADOOP FS」シェルコマンドと「HDFS DFS」シェルコマンドの違いは何ですか？

質問この2つは同じものなのでしょうか？が、なぜ、" hadoop fs "コマンドでは hdfs files を表示し、" hdfs dfs コマンドはローカルファイルを表示するのですか？は、Hadoopのバージョン情報です。 Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git://ubuntu-slave07.jenkins.clo

2022-08-28 04:07:38
[解決済み] Hadoopはブロック境界をまたいで分割されたレコードをどのように処理するのか？

質問によると Hadoop - The Definitive Guide FileInputFormatsが定義する論理レコードは、通常HDFSのブロックにきちんと収まるわけではありません。例えば、TextInputFormatの論理レコードは行で、HDFSの境界を横断することが多くなります。これはプログラムの機能には関係ありません-例えば、行が欠けたり壊れたりすることはありません

2022-08-09 07:49:41
[解決済み] Hadoopで複数のMapReduceジョブを連鎖させる

質問 MapReduceを適用する多くの現実の場面で、最終的なアルゴリズムはいくつかのMapReduceのステップで終わっています。すなわち、Map1 , Reduce1 , Map2 , Reduce2 ,...といった具合です。つまり、次のMapの入力として必要な最後のReduceからの出力があるわけです。中間データは、パイプラインが正常に終了した後は、（一般的には）保

2022-07-31 23:43:44
[解決済み] HBaseとHadoop/HDFSの違いについて

質問これは素朴な質問ですが、私は NoSQL パラダイムに不慣れで、それについてあまり知りません。だから、誰かが私にHBaseとHadoopの違いを明確に理解するのを助けることができるか、または私が違いを理解するのに役立つかもしれないいくつかのポインタを与えることができる場合。 Hadoop は HDFS 内の生のデータチャンク（ファイル）を扱うフレームワークを提供し、HBase は

2022-05-26 14:38:35
[解決済み] Hiveでテーブルをパーティショニングすることとバケット化することの違いは何ですか？

質問両方がテーブルのカラムに対して実行されることは知っていますが、それぞれの操作はどのように違うのですか。どのように解決するのですか？パーティション分割これはパフォーマンス上の利点があり、論理的な方法でデータを整理するのに役立ちます。例を扱っている場合、大きな employee テーブルを使用してクエリを実行することが多く、その際 WHERE 節を使用し

2022-05-06 11:42:46
[解決済み] HDFSからローカルファイルシステムにファイルをコピーする方法

質問 HDFSからローカルファイルシステムへファイルをコピーする方法。ファイルの下にファイルの物理的な場所、ディレクトリさえありません。どのように私はさらに検証のために私のローカルにそれらを移動することができます。解決方法は？ bin/hadoop fs -get /hdfs/source/path /localfs/destination/path bin/hadoop f

2022-04-27 01:14:21
[解決済み】Hadoop、HBase、Hive、Pigはいつ使う？

質問を使うメリットは何ですか？ Hadoop または HBase またはハイブ ? 私の理解では HBase は、Map-Reduceの使用を避け、HDFSの上にカラム指向のストレージを持っています。ハイブのSQLライクなインターフェースです。 Hadoop と HBase . また、どのようにハイブと比較すると

2022-04-20 01:13:04
Kerberosに関するFailed to find any Kerberos tgt問題を解決する。

エラーの説明 Secure Client Cannot Connect ([Caused by GSSException: 有効な認証情報が提供されていない (メカニズムレベル: Kerberos tgt を見つけられなかった)]) 解決策 1は、1つは、一般的にkinit -kt /var/lib/hadoop-hdfs/hdfs.keytab hdfs/admi

2022-03-17 01:18:20
コンテナがゼロ以外の終了コード1で終了しました。エラーファイル: prelaunch.err.org.apache.hadoop.mapreduce.

HADOOP 3.2.1, HA の新バージョンをインストールした後、wordcount プログラムで次のエラーが発生しました。 For more detailed output, check the application tracking page: http://hadoop102:8088/cluster/app/application_1590917926429_0002 Then

2022-02-27 06:42:38

最新

おすすめ