1. 过拟合

在线性回归和逻辑回归中,容易出现过拟合的情况,即训练模型可以很好地适用于训练集,得到代价函数 ,但是这样的模型并无法泛化,对于测试数据,会偏差很大。

在样本特征数多,而样本数少的情况下,很容易发生过拟合。解决过拟合的方法:

  1. 减少使用的特征数
  2. 正则化

2. Linear Regression Regularization

修改 Cost Function 为:

在梯度下降过程中:

对于正规方程解法:

3. Logistic Regression Regularization

修改 Cost Function 为:

在梯度下降过程中: