最小二乘估计推导最小二乘估计( 二 )

最小二乘法是用最简的方法求得一些绝对不可知的真值,而令误差平方之和为最小.
最小二乘法通常用于曲线拟合.很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达.
比如从最简单的一次函数y=kx+b讲起
已知坐标轴上有些点(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求经过这些点的图象的一次函数关系式.
当然这条直线不可能经过每一个点,我们只要做到5个点到这条直线的距离的平方和最小即可,这就需要用到最小二乘法的思想.然后就用线性拟合来求.
最小二乘法估计参数最小二乘法来估计参数，就是使得实际值与估计值的差距的平方最小。
β可以被已知的未知数计算得到是无偏估计的值。但是用最小二乘法可以得到最好的线性无偏估计量，因为变异比较小。所以这种方法就是最稳定的最通用的方法。
如果只有一个β1，也就是只有y与x1，则使用两样本t检验和回归分析是一样的。因为两样本t检验就可以计算β的置信区间，因此也可以在该回归方程中。
另一种估计参数方法是最大似然函数，用此法估计参数值是一样的，但是仅对于y是连续值情况。
采用最小二乘估计式可以得到简单线性回归模型参数的估计量。但是估计量参数与总体真实参数的接近程度如何。在工程物理、化学工程、生物医学、统计学、经济学、信号处理、自动化、测绘学等领域中，许多问题都可归结为求解矩阵方程 Ax=b的问题。
通过计算机仿真说明了在模型中所有变量均具有不可忽略的误差时，全最小二乘法得到的参数估计更接近。除了线性均方估计外，最小二乘估计是另一种不需要任何先验知识的参数估计方法，最小二乘估计不需要先验统计特性，适用范围更广。
最小二乘估计的算法以线性回归为例，说明最小二乘法的算法：
令线性回归方程为：y=ax+b(1)
a,b为回归系数，要用观测数据(x1,x2,...,xn和y1,y2,...,yn)确定之。
为此构造Q(a,b)=Σ(i=1-n)[yi-(axi+b)]^2(2)
使偏差的平方和取极小，就是最小二乘法的核心思想：
为使Q(a，b)取最小，a，b应满足：
?Q/?a=2Σ(i=1-n)[yi-(axi+b)](-xi)= 0(3)
?Q/?b=2Σ(i=1-n)[yi-(axi+b)]= 0(4)
由(3)、(4)解出a，b就确定了回归a和b 。整理(3),(4)得到：
a Σ (Xi)2 + b Σ Xi = Σ Xi Yi(5)
a Σ Xi+ b n= Σ Yi(6)
由(5)、(6)是关于a，b的二元线性方程组，解出a，b代入(1)就完成了一元线性回归。
这就是最小二乘法算法的基本思路
统计学（38）-最小二乘估计最小二乘估计(Least Square Estimation) 主要用于线性回归的参数估计，它的思想就是求一个使得实际值与模型估计值之差达到最小的值，将其作为参数估计值。
某研究收集了当地一年12个月的温度及手足口病发病率情况，欲分析手足口病发病率与温度的关系。
找到一条直线连接所有点？不现实
让一下步，找到一条综合而言距离这些点最近的直线，就认为拟合数据最佳。
（1）将每个距离求平方然后求和，也就是求平方和。
因为平方后并不影响大小比较，2.3 大于1.9, 2.3 的平方依然大于1.9 的平方。这种方式就是最小二乘法，字面意思其实就是最小平方和法。
最小二乘法用公式表示就是：
【最小二乘估计推导最小二乘估计】 有时我们会见到“最小二乘均数”这样的概念，其含义为校正其他因素以后的均数。例如，比较吸烟和不吸烟人群的肺活量，在正常情况下，可以直接求两组均数然后比较大小。但如果调查时基线不均衡，如不吸烟人群中调查了一批运动员，而吸烟人群中都是非运动员。由于运动员本来就比非运动员的肺活量大，此时直接比较两组均数，如果吸烟人群的肺活量小，那么很难说是由吸烟造成的，也有可能是由吸烟人群中都是非运动员造成的。此时便可计算最小二乘均数，即扣除“运动员”这一混杂因素后，吸烟和不吸烟人群的肺活量。

最小二乘估计推导 最小二乘估计( 二 )

秒懂生活扩展阅读

最小二乘估计推导最小二乘估计( 二 )