pythonではじめる機械学習の勉強 2.3.3.5クラス分類、線形モデルについて

線形モデルの分類はy=w[0]*x[0]+...+w[p]*x[p]+b>0。これは線形回帰と違いｙが0より大きいか判断する。

線形クラス分類はロジスティクス回帰と線形サポートベクタマシーンがある。ロジスティクス回帰は回帰とあるが分類である。

これらのモデルにはパラメーターCがあり、Cが大きくなると正則化(L2)が弱くなる。つまりCが大きくなると訓練データに対して適合し、小さくなると重みｗを0に近づける。

LinearSVCの場合は

mglearn.plots.plot_inear_svc_regularization()

で確認できる。実際にCが大きくなるとクラス0の外れ値を分類しようと決定境界の傾きが大きくなる（過剰適合）。