線形回帰を解析的に解くことができるのに、なぜ勾配降下法なのか？

疑問点

線形回帰空間で勾配降下を使用する利点は何ですか？ 解析的手法で問題（コスト関数が最小となるθ0-nを見つける）を解決できるように見えますが、なぜ同じことをするために勾配降下を使用したいのでしょうか？ ありがとうございます。

どのように解決するのですか？

を使用する場合 正規方程式 を使うと、コスト関数を解析的に解くために計算する必要があります。

ここで、Xは入力観測値の行列、yは出力ベクトルです。この操作の問題は、nxn 行列の逆行列を計算する時間複雑性が O(n^3) であり、n が増加すると終了までに非常に長い時間がかかる可能性があります。

nが小さい場合（n < 1000またはn < 10000）、通常の方程式をシータの計算のためのより良いオプションとして考えることができますが、より大きな値のために 勾配降下法 の方がはるかに速いので、理由は時間だけです :)