[解決済み] Hive - 現在使用している実行エンジンを知る方法

質問事項

hiveのETLワークフローを自動化したいのですが、どのようにすればいいですか？ 実行エンジン(Tez)ごとにhiveのジョブを実行する必要があります。 またはMR)のメモリ制約のため。

ワークフロー全体の中で、現在どの実行エンジンを扱っているのかクロスチェックしたいので、教えてください。

よろしくお願いします。

どのように解決するのですか？

Hiveの実行エンジンは hive.execution.engine プロパティを使用します。以下のいずれかになります。

• mr (Map Reduce、デフォルト)
• tez (Tez実行、Hadoop2のみ）。
• spark (Spark 実行、Hive 1.1.0 以降の場合)。

このプロパティは、hive/beeline cliを使用して読み込みと更新が可能です。

• 読み込み用 SET hive.execution.engine;
• アップデート用 SET hive.execution.engine=tez;

この値をプログラムで取得したい場合は、JDBC、Java、Python、PHP、Ruby、C++など、複数の方法をサポートするHiveClientを使用する必要があります。

参考文献

• https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=82903061#ConfigurationProperties-hive.execution.engine
• https://cwiki.apache.org/confluence/display/Hive/HiveClient