1 概述
1.1 线性回归
对于一般地线性回归问题,参数的求解采用的是最小二乘法,其目标函数如下:

参数 w 的求解,也可以使用如下矩阵方法进行:

这个公式看着吓人,其实推导过程简单由(
推导而来,纸老虎)
对于矩阵 X ,若某些列线性相关性较大(即训练样本中某些属性线性相关),就会导致
的值接近 0 ,在计算
时就会出现不稳定性。
结论 : 传统的基于最小二乘的线性回归法缺乏稳定性。
1.2 岭回归
岭回归的优化目标:
对应的矩阵求解方法为: %20 %20 %20 %20 %20 %20 %20
岭回归(ridge regression) 是一种专用于共线性数据分析的有偏估计回归方法。
是一种改良的最小二乘估计法,对某些数据的拟合要强于最小二乘法。
1.3 过拟合

图二就是正常拟合,符合数据的趋势,而图三,虽然在训练集上拟合得很好,但是出现未知数据时,比如Size很大时,根据目前拟合来看,可能得到的结果很小,与实际误差会很大。
2 sklearn中的岭回归
在sklearn库中,可以使用sklearn.linear_model.Ridge调用岭回归模型,其主要参数有:
• alpha:正则化因子,对应于损失函数中的










