pythonではじめる機械学習の勉強 2.3.3章

通常最小２乗法はデータと直線の点の差の2乗が最小になるように直線が引かれる。またfrom sklearn.linear_model import LinearRegressionで使うことができる。これは特徴が多いとき有効であるが過剰適合してしまう。

よって次に過剰適合を解決するためにリッジ回帰を使う。これは重みｗを小さくするものである。リッジ回帰ではパラメーターalphaがありこれが大きくなると重みが小さくなるように制約がかかる(過剰適合を抑える)。リッジ回帰の正則化はL1正則化といい過剰適合を防ぐ。alpha=1でboston_housingのデータ量を変えるとデータが大きくなると正則化の影響が小さくなることがわかる。

またラッソ回帰というものもありこれはL2正則化で過剰適合を防ぐ。ラッソ回帰は特徴量が多く重要な特徴量が分かっていたり、解釈しやすいモデルを選ぶときはラッソ回帰がよい。ラッソ回帰とリッジ回帰を合わせたElasticNetがあり実用上これが良いことが多い、ただL1正則化とL2正則化のパラメーターを変える必要がある。