人工智能-Python实现岭回归

2022-01-15 16:04:34

1 概述

1.1 线性回归

对于一般地线性回归问题,参数的求解采用的是最小二乘法,其目标函数如下:

argminleft | Xw-y right |^{2}

参数 w 的求解,也可以使用如下矩阵方法进行:

w=(X^{T}X)^{-1}X^{T}y

这个公式看着吓人,其实推导过程简单由(y=wX推导而来,纸老虎)
对于矩阵 X ,若某些列线性相关性较大(即训练样本中某些属性线性相关),就会导致
的值接近 0 ,在计算left ( X^{T}Xright )^{-1}时就会出现不稳定性。
结论 : 传统的基于最小二乘的线性回归法缺乏稳定性。

1.2 岭回归 

岭回归的优化目标:

argminleft | Xw-y right |^{2}+partial left | w right |^{2}

 对应的矩阵求解方法为: %20 %20 %20 %20 %20 %20 %20  

岭回归(ridge regression) 是一种专用于共线性数据分析的有偏估计回归方法。
是一种改良的最小二乘估计法,对某些数据的拟合要强于最小二乘法。

1.3 过拟合

图二就是正常拟合,符合数据的趋势,而图三,虽然在训练集上拟合得很好,但是出现未知数据时,比如Size很大时,根据目前拟合来看,可能得到的结果很小,与实际误差会很大。 

2 sklearn中的岭回归

在sklearn库中,可以使用sklearn.linear_model.Ridge调用岭回归模型,其主要参数有:

• alpha:正则化因子,对应于损失函数中的

相关文章 大家在看