[解決済み] サポートベクターマシンに対する人工ニューラルネットワークの優位性は何ですか？[終了しました］

質問

ANN（人工ニューラルネットワーク）とSVM（サポートベクターマシン）は、教師あり機械学習と分類のための2つの一般的な戦略です。特定のプロジェクトではどちらの方法が良いのか明確でないことが多く、その答えは常に「場合による」であると私は確信しています。

Stackoverflowのこれらの質問は、ANNとSVMに関して既に質問されています。

ANNとSVMによる分類

ANN、SVM、KNNの違いについて教えてください。

テキスト処理にはサポートベクターマシンか人工ニューラルネットワークか？

この質問では、次のことを知りたいのです。 具体的には ANN（具体的にはMultilayer Perceptron）のどのような点が、SVMよりも望ましいと思われますか？という質問には簡単に答えられるからです。 反対 という質問をします。サポートベクターマシンがANNより優れているのは、ANNの2つの大きな弱点を避けることができるからです。

(1) ANNはしばしば ローカルミニマム 大局的な最小値ではなく、本質的に「全体像が見えない」（あるいは「木を見て森を見ず」）ことがある。

(2) ANNはしばしば オーバーフィット つまり、与えられたパターンに対して、ANNはノイズをパターンの一部とみなし始めるかもしれないのだ。

SVMはこの2つの問題のどちらも抱えていない。しかし、SVMがANNを完全に置き換えるものであることは、すぐにはわからない。では、どのような 具体的 ANNがSVMより優れていて、ある特定の状況に適用できる可能性があるのでしょうか？私が挙げたのは 具体的 SVMがANNより優れている点、ANNが優れている点（もしあれば）をリストアップしてほしい。

どのように解決するのですか？

例から判断すると、ANNというのは、SVMと直接競合する多層パーセプトロンのような多層フィードフォワードネットワーク（略してFFネット）のことでしょうかね。

これらのモデルがSVMと比較して持つ特定の利点の1つは、サイズが固定されていることです。 パラメトリック SVMがノンパラメトリックであるのに対して。つまり、ANNの場合、多くの隠れ層があり、その大きさは h <サブ 1 を通して h <サブ n 特徴量にバイアスパラメータを加え、モデルを構成します。これに対して，SVM（少なくともカーネル化されたもの）は，トレーニングセットから選択されたサポートベクトルの集合と，それぞれの重みで構成されます．最悪の場合，サポートベクトルの数は訓練サンプルの数と同じになり（ただし，これは主に訓練セットが小さい場合や縮退した場合に起こる），一般にそのモデルサイズは直線的に変化します．自然言語処理では、数万個のサポートベクトル、数十万個の素性を持つSVM分類器も珍しくない。

また オンライントレーニング FFネットはSVMのオンラインフィッティングに比べると非常にシンプルで、予測もかなり高速に行えます。

EDIT 上記はすべてカーネル化されたSVMの一般的なケースに関連するものです。リニアSVMは特殊なケースで は パラメトリックであり、確率的勾配降下のような単純なアルゴリズムでオンライン学習が可能である。