ここで誤差関数について以下のように正則化項を導入した形
を考えるというのが正則化と呼ばれる操作です。
一般的にこれで正則化の取り方はたくさんありますが、主に使われているのは以下のように重みベクトルの二乗和
一般的にこれで正則化の取り方はたくさんありますが、主に使われているのは以下のように重みベクトルの二乗和
ととる方法です。これを機械学習の分野では荷重減衰と呼ぶようです。
ここで、以下のようにした場合、スパースな解が得られることが知られています。
ここで、以下のようにした場合、スパースな解が得られることが知られています。
今回は長くなりましたので、一旦ここで締めたいと思います。次回ではこれがなぜスパースな解となるのかプログラムを組んでみたいとおもいます。