1. ホーム
  2. perl

[解決済み] タグ付けを評価するスクリプトconlleval.perlを理解する方法は?

2022-03-14 12:37:53

質問

品詞タグやシーケンスタグを含むタグ付けのタスクをどのように評価すればよいのか、いつも迷います。特に、Precision、Recall、F1スコアの計算方法がわからない。 そこで、conlleval.perlというスクリプトがあり、それを直接使って評価することができることを知りました。しかし、私はperl言語を知らないし、タグ付けタスクのP、R、F1がどのように計算されるのかまだ混乱しています。 どなたか教えていただけませんか?

どのように解決するのですか?

ある本の中に簡単な定義があります。 音声言語理解: 音声から意味情報を抽出するシステム (Gokhan Tur, Renato De Mori著)。 第3.1.5章 評価指標 :

精度=SLUが正しく検出した参照スロット数/SLUが検出した全スロット数

リコール=SLUが正しく検出した参照スロット数÷全参照スロット数

F1 = 2 x プレシジョン x リコール / (プレシジョン + リコール)

注:総合指標について コンレバル マイクロアベレージング .