[解決済み] hive.tez.container.size と tez.task.resource.memory.mb の違いについて

質問

どなたか、Tezのこれらの設定の違いについてご存知の方、教えてください。

ハイブ.テズ.コンテナ.サイズ と tez.task.resource.memory.mb

ありがとうございます。

どのように解決するのですか？

ハイブ.テズ.コンテナ.サイズ

このプロパティは、tez コンテナサイズを指定する。通常、このプロパティの値はYARNコンテナサイズと同じか、その1〜2倍であるべきである。 yarn.scheduler.minimum-allocation-mb（ヤーン スケジューラ ミニマム アロケーション エムビー の値を超えてはいけません。 yarn.scheduler.maximum-allocation-mb .

コンテナごとに1プロセッサを使用し、複数のコンテナをスピンアップさせるため、原則としてプロセッサあたりのメモリより大きな値を設定しないでください。

Hortonworks コミュニティの回答には、非常に詳細な回答と素晴らしいアーキテクチャ図が掲載されています。 こちら

tez.task.resource.memory.mb

起動したタスクがTEZコンテナ内で使用するメモリ量。通常、この値はDAGで設定されているが、設定されていない場合は、デフォルトで1024MBに設定される。

DAG内のすべてのタスクが同じサイズになるため、コンテナの再利用に役立ち、パフォーマンスにも良い。