最小二乘法

  最小三乘法

  最小三乘法和最小二乘法比较

  模型选择

  最小二乘法原理

 

在研究两个变量(x, y)之间的相互关系时,通常可以得到一系列成对的数据(x1, y1、x2, y2... xm , ym);将这些数据描绘在x -y直角座标系中(如图1), 若发现这些点在一条直线附近,可以令这条直线方程如(式1-1)。 

y= a0 + a1 x                      (式1-1) 

其中:a0、a1 是任意实数 

 

为建立这直线方程就要确定 a0 和 a1, 将实测值 yi 与利用(式1-1)计算值 (y= a0 + a1 x)的离差(yi - y)的平方和 ∑(yi - y)2 最小为优化判据。 

令: Φ = ∑(yi - y)2                        (式1-2) 

把(式1-1)代入(式1-2)中得: 

Φ = ∑(yi - a0 - a1 xi)2                         (式1-3)    

 

当∑(yi-y)平方最小时,可用函数Φ对a0、a1求偏导数,令这两个偏导数等于零。 

          (式1-4) 

          (式1-5)  

亦即: 
m a0 + (∑xi ) a1 = ∑yi                         (式1-6) 

(∑xi ) a0 + (∑xi2 ) a1 = ∑(xi, yi)                          (式1-7) 

 

得到的两个关于a0、 a1为未知数的两个方程组,解这两个方程组得出:

                                               (式1-8)

                                    (式1-9) 

这时把a0、a1代入(式1-1)中, 此时的(式1-1)就是我们回归的元线性方程即:数学模型。 

 

在回归过程中,回归的关联式是不可能全部通过每个回归数据点(x1, y1、 x2, y2...xm,ym),为了判断关联式的好坏,可借助相关系数R,统计量F,剩余标准偏差S进行判断;R越趋近于 1 越好;F的绝对值越大越好;S越趋近于 0 越好。

     (式1-10)

在(式1-1)中,m为样本容量,即实验次数;xi、yi分别任意一组实验 x、y 的数值。

  最小三乘法原理

 

当研究实际中两个变量(x, y)之间的相互关系时,也可得到一系列成对的数据(x1,y1、x2,y2 ... xm,ym);将这些数据描绘在x - y直 角座标系(如图2)中,发现这些点在一条曲线附近,假设这条曲线的一元非线性方程如(式2-1)。

y = a0 + a1 xk                                    (式2-1) 

其中:a0、a1、k是任意实数 

为建立曲线方程,就要确定 a0 、a1和 k 值, 应用《最小二乘法》同样的方法,  将实测值 yi 与计算值 y(y计 = a0 + a1 xik)的离差 (yi - y)的平方和〔∑(yi - y)2〕为依据:

令: Φ = ∑(yi - y)2                                 (式2-2)

把(式2-1)代入(式2-2)中得:

Φ = ∑(yi - a0 - a1 xik )2                                     (式2-3) 

用函数Φ分别对a0、a1 和 k 求偏导数,令这三个偏导数等于零即:
                 (式2-4) 

            (式2-5) 

       (式2-6) 

得到三个关于a0、a1 和 k,为未知数的三元方程组,解方程组即可得到数学模型。 

判断数学模型的好坏,同样可借助相关系数R,统计量F ,剩余标准偏差S进行判断;R越趋近于 1 越好;F的绝对值越大越好;S越趋近于 0 越好。这样的验证很好时,有的模型计算误差还是很大,为了更进一步的验证数学模型,必需计算模型的最大误差、平均误差和平均相对误差来验证模型。

  最小三乘法和最小二乘法比较

最小二乘法和最小三乘法比较表:

 

最小二乘法

最小三乘法

拟和式

y  = a0  a1x

y = a0  a1xk

优化判据

 ∑( yi - y )   

回归计算结果

a0  and  a1

a0  a1 and  k

最小三乘法中的 k = 1 时,就是最小二乘法。

通过比较,最小二乘法和最小三乘法的优化判据[∑( yi - y)2 ] 相同,最小三乘法计算了因变量的幂值 k ,最小二乘法不计算因变量的幂值 k ,把它默认为 1 。 

最小三乘法利用计算幂值,使回归模型函数曲线以不同曲率弯曲,来更好的拟和不同曲率的曲线。它省去了最小二乘法中繁琐的建机理模型和线性化处理,使回归模型与数据拟和更好。

对多维非线性数据回归,不用偏最小二乘法的每因素逐一与目标函数回归建模,再把所有模型捆绑成最终模型的方法,而是所有因素与目标函数,同时一次回归成数学模型,在回归时,它不但考虑因素对目标函数的贡献,还把因素之间的影响考虑进去,这样的模型要比用偏最小二乘法回归的模型准确。

最小二乘法数据回归一因素数据只有一元 X, 最小三乘法 数据回归一因素数据可有若干个元Xk1、Xk2 、 Xkn 如(式3-1), 利用这一特性,可使回归模型拟和数据更准确。 

Y = a0 + a1 Xk1 + a2 Xk2 +...+ an X kn                     (式3-1)

  模型选择

机理研究法 
1、机理研究法是研究某过程的内在联系,对过程假设后,而建立的两个或两个以上因素之间关系的数学方程式;对数学方程式做数学变形处理,找出与预设模型(数学方程式)相对应的元和目标函数,在利用数据回归计算机理模型的系数。 

2、机理研究法适合:采集数据的量少,数据的精度低,需用机理模型弥补这些不足。

数据研究法 
数据研究法是对两维数据,以两维数据分别为目标函数和因素,因素 x 的变化引起目标函数 y 变化,这种变化可分为六种情况如(图4-1)(图4-6)。 

第一种 线性增加,随因素 x 增加,因素 y 匀速增大。 
第二种 线性减少,随因素 x 增加,因素 y 匀速减小。 
第三种 非线性增加,随因素 x 增加,因素 y 加速增大。 
第四种 非线性增加,随因素 x 增加,因素 y 减速增大。 
第五种 非线性减少,随因素 x 增加,因素 y 加速减小。
第六种 非线性减少,随因素 x 增加,因素 y 减速减小。 

假设此六种情况方程式为: 


y = a0 + a1 xk       (式4-1)


第一种情况显然 a0 > 0 时,a1 > 0、k = 1 
第二种情况显然 a0 > 0 时,a1 < 0、k = 1
第三种情况显然 a0 > 0 时,a1 > 0、k > 1、k < 0 
第四种情况显然 a0 > 0 时,a1 > 0、0 < k < 1 
第五种情况显然 a0 > 0 时,a1 < 0、0 < k < 1 
第六种情况显然 a0 > 0 时,a1 < 0、k > 1、 k < 0

1、通过上述分析总结,确定回归参数(即每一元)的数学式,第三、六种情况,曲线上凹,与指数曲线相似,可选指数形式 ex ; 第四、五种情况,曲线上凸,与对数形式相似,可选对数形式 Log(x)(对数底为e);若选择幂形式 xk,可根据上述第一种情况至第六种情况中 a0、a1、a2 和 k 之间的关系选择 k 值。

2、数据研究法适合:采集数据较多,数据的精度较高。

选择回归参数注意问题 


1、当一因素数据中有 0 值时, 此因素数据不可作除数和取对数;可把此维数据加上一个数,使它大于零。 
2、当一因素数据中有负数都有时,此因素数据不可做回归计算;可把此维数据乘上一个负数,使它大于零。 
3、某因素数据取幂时,不可太大和太小,否则回归计算机会中断溢出;有时回归出的模型,不能逆运算。