机器学习:数学加强(三):矩阵与线性代数 原创

首页 » 算法 » 正文

矩阵

线性代数式的用途:SVD分解

  • 有一个m×n的实数矩阵机器学习:数学加强(三):矩阵与线性代数                    原创,我们想要把它分解成如下的形式机器学习:数学加强(三):矩阵与线性代数                    原创  
  • 其中机器学习:数学加强(三):矩阵与线性代数                    原创机器学习:数学加强(三):矩阵与线性代数                    原创均为单位正交阵,即有机器学习:数学加强(三):矩阵与线性代数                    原创机器学习:数学加强(三):矩阵与线性代数                    原创机器学习:数学加强(三):矩阵与线性代数                    原创称为左奇异矩阵机器学习:数学加强(三):矩阵与线性代数                    原创称为右奇异矩阵
  • 机器学习:数学加强(三):矩阵与线性代数                    原创仅在主对角线上有值,我们称它为奇异值,其它元素均为0

机器学习:数学加强(三):矩阵与线性代数                    原创

  • 通常奇异值由大到小排列
  • 例子:

机器学习:数学加强(三):矩阵与线性代数                    原创

机器学习:数学加强(三):矩阵与线性代数                    原创 机器学习:数学加强(三):矩阵与线性代数                    原创 机器学习:数学加强(三):矩阵与线性代数                    原创

公式分解

机器学习:数学加强(三):矩阵与线性代数                    原创

由于机器学习:数学加强(三):矩阵与线性代数                    原创是逐渐变小的,那么则前几项的作用力比较大,截取前k项可能就能表示出全部的特征。

机器学习:数学加强(三):矩阵与线性代数                    原创

k值越大、图片越清晰

机器学习:数学加强(三):矩阵与线性代数                    原创

机器学习:数学加强(三):矩阵与线性代数                    原创

从上面的图片的压缩结果中可以看出来,奇异值可以被看作成一个矩阵的代表值,或者说,奇异值能够代表这个矩阵的信息。当奇异值越大时,它代表的信息越多。因此,我们取前面若干个最大的奇异值,就可以基本上还原出数据本身。

注:奇异值分解在数据降维中有较多的应用,但对于图片的降维不是它最重要的作用。机器学习很大部分是在做特征清洗和特征选择,奇异值SVD算法也只是一种特征选择的手段,隐马尔科夫,随机森林,都可以做特征选择……

 

范德蒙行列式:

机器学习:数学加强(三):矩阵与线性代数                    原创

 

状态转移矩阵

  • 随机过程

机器学习:数学加强(三):矩阵与线性代数                    原创

  • 用矩阵来表达随机过程,假设按照经济状况将人群分成上、中、下三个阶层,用1,2,3表示。假定当前处于某阶层只和上一代有关。即考察父代为第i阶层,则子代为第j阶层的概率为

机器学习:数学加强(三):矩阵与线性代数                    原创

  • 写成转移矩阵为

                          子代

 父代      机器学习:数学加强(三):矩阵与线性代数                    原创

  • 第n+1代处于第j个阶层的概率为

机器学习:数学加强(三):矩阵与线性代数                    原创

机器学习:数学加强(三):矩阵与线性代数                    原创

因此,矩阵P即为概率转移矩阵,第i行元素表示:在上一个状态为i时的分布概率,每一行和为1。

选取不同的初值使用转移矩阵进行迭代

机器学习:数学加强(三):矩阵与线性代数                    原创机器学习:数学加强(三):矩阵与线性代数                    原创

发现选取的两个不同初值最后都稳定在了[0.286,0.489,0.225],那么就引出了平稳分布

  • 初始概率不同,但经过若干次迭代,机器学习:数学加强(三):矩阵与线性代数                    原创做种稳定收敛在某个分布上
  • 从而,这是转移概率矩阵P的性质,而非初始分布的性质。实际上,上述矩阵P的n次幂,每行都是[0.286,0.489,0.225],n>20
  • 如果一个非周期马尔科夫随机过程具有转移概率矩阵P,且它的任意两个状态都是连通的,则机器学习:数学加强(三):矩阵与线性代数                    原创存在,记做机器学习:数学加强(三):矩阵与线性代数                    原创

若某概率分布机器学习:数学加强(三):矩阵与线性代数                    原创说明

  • 该多项分布机器学习:数学加强(三):矩阵与线性代数                    原创是状态转移矩阵P的平稳分布
  • 该线性方程机器学习:数学加强(三):矩阵与线性代数                    原创的非负解为机器学习:数学加强(三):矩阵与线性代数                    原创,而机器学习:数学加强(三):矩阵与线性代数                    原创唯一,因此机器学习:数学加强(三):矩阵与线性代数                    原创是线性方程机器学习:数学加强(三):矩阵与线性代数                    原创的唯一非负解
  • 该问题将在马尔科夫模型中继续讨论

 

矩阵和向量的乘法:

  • 矩阵与向量乘法是一个向量空间向另一个向量空间的映射

机器学习:数学加强(三):矩阵与线性代数                    原创     机器学习:数学加强(三):矩阵与线性代数                    原创     机器学习:数学加强(三):矩阵与线性代数                    原创

机器学习:数学加强(三):矩阵与线性代数                    原创 为机器学习:数学加强(三):矩阵与线性代数                    原创

  • 矩阵与向量乘法也可以是向量空间内的线性变换

机器学习:数学加强(三):矩阵与线性代数                    原创     机器学习:数学加强(三):矩阵与线性代数                    原创     机器学习:数学加强(三):矩阵与线性代数                    原创

机器学习:数学加强(三):矩阵与线性代数                    原创 为机器学习:数学加强(三):矩阵与线性代数                    原创

旋转

机器学习:数学加强(三):矩阵与线性代数                    原创

机器学习:数学加强(三):矩阵与线性代数                    原创

 

矩阵的乘法tips

根据定义计算机器学习:数学加强(三):矩阵与线性代数                    原创,需要m*n*s次乘法

  • 若A、B都是n阶方阵,C的计算时间复杂度为机器学习:数学加强(三):矩阵与线性代数                    原创
  • 三个矩阵A、B、C的阶分别是机器学习:数学加强(三):矩阵与线性代数                    原创从而(AxB)xC和Ax(BxC)的乘法次数是机器学习:数学加强(三):矩阵与线性代数                    原创机器学习:数学加强(三):矩阵与线性代数                    原创二者的乘法次数是不相等的

矩阵的秩与线性方程组的关系:

机器学习:数学加强(三):矩阵与线性代数                    原创

对于n元线性方程组Ax=b,

  • 无解的充要条件是R(A)<R(A,b)
  • 有唯一解的虫咬条件是R(A)=R(A,b)=n
  • 有无限多解的充要条件是R(A)=R(A,B)<n

推论:

  • Ax=0有非零解的充要条件是R(A)<n
  • Ax=b有解的充要条件是R(A)=R(A,b)

向量组等价

  • 向量b能由向量组A:a1,a2……am线性表示的充要条件是矩阵A=(a1,a2……am)的秩等于B=(b1,b2……bn)的秩
  • 若有两个向量组A:a1,a2……am以及B:b1,b2……bn若B组向量都能由向量A线性表示,且A组向量都能由B组向量线性表示,则称两个向量组等价
  • 向量组B:b1,b2……bn能由向量组A:a1,a2……am线性表示的充要条件是R(A) = R(A,B)

系数矩阵

向量组B:b1,b2……bn能由向量组A:a1,a2……am线性表示,即对每一个bj,存在不全为0的机器学习:数学加强(三):矩阵与线性代数                    原创,使得

机器学习:数学加强(三):矩阵与线性代数                    原创

从而可以写出系数矩阵K

机器学习:数学加强(三):矩阵与线性代数                    原创

由此可知,若C=AxB,则矩阵C的列向量能由A的列向量线性表示,B即为系数矩阵

同理,若C=AxB,则矩阵C的列向量能由B的行向量线性表示,A即为系数矩阵

特征值

设n阶矩阵A=(机器学习:数学加强(三):矩阵与线性代数                    原创)的特征值是机器学习:数学加强(三):矩阵与线性代数                    原创

  • 机器学习:数学加强(三):矩阵与线性代数                    原创 (称为迹)
  • 机器学习:数学加强(三):矩阵与线性代数                    原创
  • 机器学习:数学加强(三):矩阵与线性代数                    原创是方阵A的m个特征值,机器学习:数学加强(三):矩阵与线性代数                    原创是依次与之对应的特征向量,若机器学习:数学加强(三):矩阵与线性代数                    原创各不相等,则机器学习:数学加强(三):矩阵与线性代数                    原创线性无关

 

正交阵

若n阶矩阵A满足机器学习:数学加强(三):矩阵与线性代数                    原创,称A为正交阵

充要条件:A的列(行)向量都是单位向量,且两两正交

正交变换:

当A为正交阵,x为向量,则Ax称作正交变换。注:正交变换不改变向量长度

A和B都是正交阵,那么AB也是正交阵

 

实对称阵

实对称阵的特征值是实数

实对称阵不同特征值对应的特征向量正交,证明如下图

机器学习:数学加强(三):矩阵与线性代数                    原创

机器学习:数学加强(三):矩阵与线性代数                    原创为n阶对称阵,则必有正交阵机器学习:数学加强(三):矩阵与线性代数                    原创使得机器学习:数学加强(三):矩阵与线性代数                    原创

  • 机器学习:数学加强(三):矩阵与线性代数                    原创是以机器学习:数学加强(三):矩阵与线性代数                    原创的n个特征值为对角元的对角阵
  • 该变换称为“合同变换”机器学习:数学加强(三):矩阵与线性代数                    原创机器学习:数学加强(三):矩阵与线性代数                    原创互为合同矩阵
  • 在谱聚类、PCA会涉及到

正定阵

对于n阶方阵机器学习:数学加强(三):矩阵与线性代数                    原创,若对任意n阶向量x,机器学习:数学加强(三):矩阵与线性代数                    原创,则称A是正定阵

  • 若条件变成机器学习:数学加强(三):矩阵与线性代数                    原创,则称A是半正定阵
  • 若条件变成机器学习:数学加强(三):矩阵与线性代数                    原创,则称A是负定阵
  • 若条件变成机器学习:数学加强(三):矩阵与线性代数                    原创,则称A是半负定阵

注:机器学习:数学加强(三):矩阵与线性代数                    原创一定是半正定矩阵,在线性回归中将用到

判断条件:对称阵为正定阵、A的特征值都为正、A的顺序主子式大于0

 

数据白化

机器学习:数学加强(三):矩阵与线性代数                    原创

 

QR分解

对于mxn的列满秩矩阵A,必有机器学习:数学加强(三):矩阵与线性代数                    原创

其中Q是正交阵,即机器学习:数学加强(三):矩阵与线性代数                    原创,R为非奇异上三角矩阵,当要求R的对角元素为正时,该分解唯一

QR分解用于求解矩阵A的特征值、A的逆等问题

 

LFM

机器学习:数学加强(三):矩阵与线性代数                    原创

矩阵求导

向量对向量的求导

机器学习:数学加强(三):矩阵与线性代数                    原创

机器学习:数学加强(三):矩阵与线性代数                    原创

机器学习:数学加强(三):矩阵与线性代数                    原创机器学习:数学加强(三):矩阵与线性代数                    原创

标量对向量的求导

机器学习:数学加强(三):矩阵与线性代数                    原创机器学习:数学加强(三):矩阵与线性代数                    原创

标量对矩阵的求导

机器学习:数学加强(三):矩阵与线性代数                    原创

拜师教育学员文章:作者:685-杜同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《机器学习:数学加强(三):矩阵与线性代数 原创》 发布于2020-09-16

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录