Tensorflow Gradient Tapeの目的とは？

質問

Tensorflow Developer's summitのビデオでEager Execution in Tensorflowを見たのですが、プレゼンターが"Gradient Tapeの紹介をされていました。

なぜグラデーション テープを使用するのかを理解しようとしていたのですが。グラディエントテープが診断ツールとしてどのように使用されるのか、どなたか説明していただけませんか? なぜ、重みの Tensorboard 可視化に対して Gradient Tape を使用するのでしょうか。

モデルで発生する自動微分は、各ノードの勾配を計算することだと理解しています。つまり、データのバッチが与えられたときに、各ノードの重みとバイアスを調整することです。つまり、それが学習プロセスなのです。しかし、私は、実際には tf.keras.callback.TensorBoard() を呼び出して、学習のtensorboard可視化を見ることができます。つまり、各ノードの重みを観察して、死んでいるノードや過飽和のノードがあるかどうかを判断できます。

グラデーションテープの使用は、いくつかの勾配がゼロになるか、本当に大きくなるかなどを見るためだけですか？それとも、グラデーション テープの他の使用法があるのでしょうか?

どのように解決するのですか？

イーガー実行を有効にすると、Tensorflowはコード内で発生するテンソルの値を計算します。これは、入力がプレースホルダーを介して供給される静的なグラフを事前に計算しないことを意味します。これは、エラーを逆伝播するために、計算の勾配を追跡し、これらの勾配をオプティマイザに適用する必要があることを意味します。

これはイーガー実行なしで実行する場合とは大きく異なり、グラフを作成し、単に sess.run を使用して損失を評価し、これを直接オプティマイザに渡します。

根本的に、テンソルは即座に評価されるため、勾配を計算するためのグラフがなく、勾配テープが必要です。単に可視化のために使うというより、これがないとイーガーモードでの勾配降下が実装できないのです。

明らかに、Tensorflowはすべての計算のすべての勾配を、すべての tf.Variable . しかし、それは大きなパフォーマンスのボトルネックになる可能性があります。そこで、Tensorflowは勾配テープを公開し、コードのどの部分が勾配情報を必要とするかを制御できるようにしました。非イーガーモードでは、これは損失の子孫である計算分岐に基づいて静的に決定されますが、イーガーモードでは静的なグラフがないため、知る方法がないことに注意してください。