统计学简单线性回归（想要学人工智能）

• 当只涉及一个自变量时称为一元回归，若因变量 y 与自变量 x 之间为线性关系时称为一元线性回归

• 对于具有线性关系的两个变量，可以用一条线性方程来表示它们之间的关系

• 描述因变量 y 如何依赖于自变量 x 和误差项ε的方程称为回归模型

对于只涉及一个自变量的简单线性回归模型可表示为

y = b0 b1• x ε

• 方程的图示是一条直线，因此也称为直线回归方

• 模型中，y 是 x 的线性函数(部分)加上误差项

• 线性部分反映了由于 x 的变化而引起的 y 的变化

• 误差项 ε是随机变量

• 反映了除 x 和 y 之间的线性关系之外的随机因素对 y 的影响

• 是不能由 x 和 y 之间的线性关系所解释的变异性

• b0 和 b1 称为模型的参数

• b0是回归直线在 y 轴上的截距，是当 x=0 时 y 的期望值

• b1是直线的斜率，称为回归系数，表示当 x 每变动一个单位时，y 的平均变动值

• 误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的 x 值，y 的期望值为E(y) =b0 b1• x

• 对于所有的 x 值，ε的方差σ2 都相同

• 误差项ε是一个服从正态分布的随机变量，且相互独立。即ε~N( 0 ,σ2 )

• 总体回归参数b0和b1是未知的，必需利用样本数据去估计

• 用样本统计量b0'和b1'代替回归方程中的未知参数b0和b1，就得到了估计的回归方程

最小二乘法

使因变量的观察值与估计值之间的离差平方和达到最小来求得b0'和b1'的方法

最小二乘法

最小二乘法图示

根据最小二乘法的要求，可得求解b0'和b1'的标准方程如下：

b0'和b1'计算公式