机器学习1 – 数学分析

1265-张同学

发表文章数:58

首页 » 算法 » 正文

知识点

  1. 机器学习的内涵与外延。
    • 机器学习可以解决什么
      • 给定数据的预测问题
      • 数据清洗/特征选择
      • 确定模型算法/特征优化
      • 结果预测
    • 不能解决什么
      • 大数据储存/并行计算
      • 做一个机器人
  2. 机器学习一般流程:
    数据收集,数据清洗,特征工程,数据建模
  3. Taylor展开:

    lim

    x

    x

    0

    f

    (

    x

    )

    =

    f

    (

    x

    0

    )

    +

    f

    (

    x

    0

    )

    (

    x

    x

    0

    )

    +

    f

    (

    x

    0

    )

    (

    x

    x

    0

    )

    2

    2

    +

    +

    f

    n

    (

    x

    0

    )

    (

    x

    x

    0

    )

    n

    n

    !

    /lim_{x/rightarrow x_{0}}f(x) = f(x_{0})+f'(x_{0})*(x-x_{0})+/frac{f''(x_{0})(x-x_{0})^2}{2}//+/dots+/frac{f^{n}(x_{0})(x-x_{0})^{n}}{n!}

    xx0limf(x)=f(x0)+f(x0)(xx0)+2f(x0)(xx0)2++n!fn(x0)(xx0)n
    e.g

    e

    x

    =

    1

    +

    x

    +

    x

    2

    2

    !

    +

    x

    3

    3

    !

    +

    x

    4

    4

    !

    +

    +

    x

    n

    n

    !

    e^{x} = 1+x+/frac{x^2}{2!}+/frac{x^3}{3!}+/frac{x^4}{4!}+/dots+/frac{x^n}{n!}

    ex=1+x+2!x2+3!x3+4!x4++n!xn

  4. 方向导数:如果函数f(x,y)在P(x,y)点可微,那么,函数在该点沿任一方向L的方向导数都存在,且有:

    f

    l

    =

    f

    x

    cos

    ϕ

    +

    f

    y

    sin

    ϕ

    /frac{/partial f}{/partial l}= /frac{/partial f}{/partial x}/cos/phi+/frac{/partial f}{/partial y}/sin/phi

    lf=xfcosϕ+yfsinϕ
    梯度:函数在该点变化最快的方向。

  5. Γ

    /Gamma

    Γ函数

    Γ

    (

    x

    )

    =

    (

    x

    1

    )

    Γ

    (

    x

    1

    )

    Γ

    (

    x

    )

    Γ

    (

    x

    1

    )

    =

    x

    1

    /Gamma(x) = (x-1)*/Gamma(x-1) /Rightarrow /frac{/Gamma(x)}{/Gamma(x-1)}=x-1

    Γ(x)=(x1)Γ(x1)Γ(x1)Γ(x)=x1

    Γ

    /Gamma

    Γ函数是阶乘在实数上的推广:

    Γ

    (

    x

    )

    =

    0

    +

    t

    x

    1

    e

    t

    d

    t

    =

    (

    x

    1

    )

    !

    /Gamma(x) = /int_{0}^{+/infin}t^{x-1}e^{-t}dt = (x-1)!

    Γ(x)=0+tx1etdt=(x1)!

  6. 凸函数
    若函数f的定义域dom f为凸集,且满足

    x

    ,

    y

    d

    o

    m

    f

    ,

    0

    θ

    1

    /forall x,y /in dom f, 0/leq /theta /leq 1

    x,ydomf,0θ1则有

    f

    (

    θ

    x

    +

    (

    1

    θ

    )

    y

    )

    θ

    f

    (

    x

    )

    +

    (

    1

    θ

    )

    f

    (

    y

    )

    f(/theta x+(1-/theta)y)/leq /theta f(x)+(1-/theta)f(y)

    f(θx+(1θ)y)θf(x)+(1θ)f(y)

  7. 一阶可微:若f一阶可微,则函数f为凸函数当且仅当f的定义域dom f为凸集,且

    x

    ,

    y

    d

    o

    m

    f

    ,

    f

    (

    y

    )

    f

    (

    x

    )

    +

    f

    (

    x

    )

    T

    (

    y

    x

    )

    /forall x,y /in dom f, f(y)/geq f(x)+ /nabla f(x)^{T}(y-x)

    x,ydomf,f(y)f(x)+f(x)T(yx)
    二阶可微:若函数二阶可微,则函数f为凸函数当且仅当dom 为凸集,且

    2

    f

    (

    x

    )

    0

    /nabla^{2}f(x)/geq 0

    2f(x)0
    若f是一元函数,上式表达式二阶导数大于等于0
    若f是多元函数,上市表达式二阶导Hessen矩阵半正定,矩阵半正定即|A|>=0。
    凸函数:
    机器学习1 - 数学分析

  8. 关于组合数与熵。
    机器学习1 - 数学分析

拜师教育学员文章:作者:1265-张同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《机器学习1 – 数学分析》 发布于2020-09-10

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录