线性回归

线性回归

回归是用来预测数值型的目标值，数据集是连续型的，用线性回归找到最佳拟合直线。从一大堆数据中求出回归方程是我们的任务。假设一个样本数据放在矩阵$x_1$中，$y_1$是结果，回归系数放在向量$w$ 中。

$x_1 = \left[ \begin{matrix} 1 \\\ 4 \\\ 3 \\\ 3\\ \end{matrix} \right]$，$w = \left[ \begin{matrix} w_0 \\\ w_1 \\\ w_2 \\\ w_3\\ \end{matrix} \right]$

则$y_1 - x_1^Tw$ 就是在该样本的预测误差，即拟合值和实际值的误差。在使得全部数据集误差最小的情况下求出系数，防止误差的正负相互抵消，利用平方的形式求和。可得误差表达式
$\sum_{i=1}^m (y_i - x_i^Tw)^2$，我们称这个函数为损失函数（loss function）。这种求回归方程的方法称最小二乘法。

求损失函数最值

欢迎大家给我留言，提建议，指出错误，一起讨论学习技术的感受！