最小二乘法

1191-杨同学

发表文章数:32

首页 » 算法 » 正文

最小二乘法

定义

  1. 最小二乘法是一种数学优化技术,它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得求得地数据与实际数据之间误差的平方和最小。
  2. 最小二乘法还可以用于曲线拟合,其他一些优化问题也可以通过最小化能量或最大化熵用最小二乘法来表示。

基本思路

最小二乘法是解决曲线拟合问题最常用的方法,其基本思路是:

最小二乘法
最小二乘法

基本原理

最小二乘法

求解方法

  1. 公式法
    最小二乘法
    最小二乘法
    注(矩阵迹的求导):
    矩阵的迹概念
    矩阵的迹 就是 矩阵的主对角线上所有元素的和。

     矩阵A的迹,记作tr(A),可知tra(A)=∑aii,1<=i<=n。
    

定理:tr(AB) = tr(BA)
证明
最小二乘法

定理:tr(ABC) = tr(CAB) = tr(BCA)
这个是tr(AB)=tr(BA)的推广定理,很容易证明。

根据定理tr(AB)=tr(BA)可知:

    tr(ABC)=tr((AB)C)=tr(CAB)

    tr(ABC)=tr(A(BC))=tr(BCA)

    所以tr(ABC)=tr(BCA)=tr(CAB)

这个定理的实质就是:ABC的各种循环形式的矩阵乘函数的迹都相等,如下解释:

     ABC的循环形势有三种:ABC、BCA,CAB。

    就是从ABCABC中依次取以A,B,C开头且含有A、B、C的依次是:ABC、BCA、CAB,他们三个的迹相等~

定理:tr(A)=tr(A’),其中这里的A’表示A的转置矩阵
不能更容易证明了,矩阵转置不改变矩阵的主对角线上的所有元素,所以A和A的转置矩阵的迹一定相等。

定理:d(tr(XB))=d(tr(BX))=B’
即:XB矩阵乘函数的迹对X求导 结果等于矩阵B的转置

定理:d(tr(X’B)) = d(tr(BX’))=B
即:X’B的矩阵乘函数的迹对X求导等于矩阵B

定理:如果a∈实数,则有tr(a)=a
证明:把a当做一个1×1的矩阵,所以tr(a)=a

定理:dtr(X) = I(单位矩阵)
dtr(X)表示,矩阵X的迹对矩阵X自己求导等于单位矩阵I

定理:dtr(A’XB’)=dtr(BX’A)=AB

因为tr(A’XB’)=tr(A’XB’)’=tr(BX’A)=tr(ABX’)

所以dtr(A’XB’)=dtr(BX’A)=dtr(ABX’)

又因为dtr(ABX’)=AB

所以dtr(A’XB’)=dtr(BX’A)=AB

定理:d(tr(AXBX’))=AXB + A’XB’

定理:dtr(AXBX)=A’X’B’+B’X’A’

(end)
文章链接:https://blog.csdn.net/u012421852/article/details/79594933

最小二乘法
2. 梯度下降算法

拜师教育学员文章:作者:1191-杨同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《最小二乘法》 发布于2020-08-21

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录