机器学习基础DAY3 原创

1387-常同学

发表文章数:44

首页 » 算法 » 正文

第三章 数据降维

方式:1.特征选择 2.主成分分析
1.特征选择
(1)原因:
冗余:部分特征的相关度高,容易消耗计算性能
噪声:部分特征对预测结果有负影响
(2)定义:
特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征,特征在选择前和选择后可以改变值、也不改变值,但是选择后的特征维数肯定比选择前小,毕竟我们只选择了其中的一部分特征。
(3)主要方法(三大武器):
1,Filter(过滤式):VarianceThreshold
######API:sklearn.feature_selection.VarianceThreshold
####VarianceThreshold(threshold = 0.0)
删除所有低方差特征
Variance.fit_transform(X,y)
X:numpy array格式的数据[n_samples,n_features]
返回值:训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征,即删除所有样本中具有相同值的特征。

from sklearn.feature_selection import VarianceThreshold
def var():
    '''删除低方差的特征'''
    var= VarianceThreshold(threshold=0.0)
    data=var.fit_transform([[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]])
    print(data)
    return None
if __name__=="__main__":
    var()

结果:

[[2 0]
 [1 4]
 [1 1]]

进程已结束,退出代码0

2, Embedded(嵌入式):正则化、决策树
3,Wrapper(包裹式)
上面这两种后面再细说

2.主成分分析
本质:PCA是一种分析、简化数据集的技术
目的:是数据维数压缩,尽可能降低原数据的维数(复杂度),损失少量信息。
作用:可以削减回归分析或者聚类分析中特征的数量
######API: sklearn. decomposition
#### PCA(n_components=None)
将数据分解为较低维数空间
####PCA.fit_transform(X)
X:numpy array格式的数据[n_samples,n_features]
返回值:转换后指定维度的array
注:n_components是小数(保留的成分占比,人为可控,一般在90%~95%)或者整数(减少到的特征数量,一般不填整数)

from sklearn.decomposition import PCA
def pca():
    '''主成分分析进行特征降维'''
    pca=PCA(n_components=0.9)
    data=pca.fit_transform([[2,8,4,5],[6,3,0,8],[5,4,9,1]])
    print(data)
    return None
if __name__=="__main__":
     pca()

结果:

[[-3.13587302e-16  3.82970843e+00]
 [-5.74456265e+00 -1.91485422e+00]
 [ 5.74456265e+00 -1.91485422e+00]]

进程已结束,退出代码0

未经允许不得转载:作者:1387-常同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《机器学习基础DAY3 原创》 发布于2020-12-03

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录