[解決済み] クロスエントロピーとは？[クローズド］

その他の例

これらの損失値が何を反映しているかをより直感的に理解するために、いくつかの極端な例を見てみましょう。

再び、真の（一発勝負の）分布があるとします。

Pr(Class A)  Pr(Class B)  Pr(Class C)
        0.0          1.0          0.0

今、あなたの機械学習アルゴリズムが本当に素晴らしい仕事をし、非常に高い確率でクラスBを予測したとします。

Pr(Class A)  Pr(Class B)  Pr(Class C)
      0.001        0.998        0.001

クロスエントロピーの損失を計算すると、損失はわずか0.002と小さいことがわかります。

p = np.array([0, 1, 0])
q = np.array([0.001, 0.998, 0.001])
print(-np.sum(p * np.log(q)))
# 0.0020020026706730793

もう一方の極端な例として，MLアルゴリズムがひどい仕事をし，代わりに高い確率でクラスCを予測したとします．その結果、6.91の損失はより大きな誤差を反映することになります。

Pr(Class A)  Pr(Class B)  Pr(Class C)
      0.001        0.001        0.998

p = np.array([0, 1, 0])
q = np.array([0.001, 0.001, 0.998])
print(-np.sum(p * np.log(q)))
# 6.907755278982137

さて，この両極端の中間では何が起こるでしょうか？MLアルゴリズムが決まらず、3つのクラスをほぼ同じ確率で予測したとします。

Pr(Class A)  Pr(Class B)  Pr(Class C)
      0.333        0.333        0.334

その結果、損失は1.10となります。

p = np.array([0, 1, 0])
q = np.array([0.333, 0.333, 0.334])
print(-np.sum(p * np.log(q)))
# 1.0996127890016931

勾配降下法へのフィッティング

クロスエントロピーは、多くの可能な損失関数のうちの1つです（もう1つの一般的なものはSVMヒンジ損失です）。これらの損失関数は通常 J(theta) と書かれ、勾配降下法 (パラメータ (または係数) を最適な値に近づけるための反復アルゴリズム) の中で使用することができます。以下の式では、以下のように置き換えることができます。 J(theta) を H(p, q) . の導関数を計算する必要があることに注意してください。 H(p, q) を最初に計算する必要があることに注意してください。

では、当初の質問に直接お答えします。

損失関数を記述する方法だけでしょうか？

正しくは、クロスエントロピーは2つの確率分布間の損失を記述するものです。多くの可能な損失関数の1つです。

そして、例えば勾配降下アルゴリズムを使って、最小値を見つけることができます。 を使うことができます。

はい、クロスエントロピーの損失関数は、勾配降下の一部として使用することができます。

さらに読む：私の 他の回答 TensorFlowに関連したものです。