数据降维

1400-张同学

发表文章数:34

首页 » 算法 » 正文

数据降维

特征选择

噪声:对预测结果有影响
过滤式:方差 variancethreshold

def var():
    """
    特征选择-删除低方差的特征
    :return: None
    """
    var = VarianceThreshold(threshold=1.0)

    data = var.fit_transform([[0, 2, 0, 3], [0, 1, 4, 3], [0, 1, 1, 3]])

    print(data)
    return None

嵌入式
神经网络

主成分分析

PCA 数据维数压缩,特征数量达到上百时

高维数据:特征容易相关。
降维会产生数据损失,PCA降维的同时减少信息损失。
n_components:小数0—1
保留多少信息90%-95%
整数:减少到的特征数量

实例:
1.各张表合并 pd.merge()
import pandas as pd
2.分组工具:交叉表 crosstab
3.PCA

监督学习:有目标值
分类 离散型 回归连续型
无监督学习:只有特征值

数据集划分

训练集 测试集

获取数据集

sklearn.model_selection.train_test_split
datasets.load_()
datasets.fetch_

datasets.base.Bunch(字典格式)

数据集分割

train_test_spit=(li.data,li.target,test_size=0.25)
注意输出顺序:
训练集特征值和目标值
测试集特征值和目标值

from sklearn.datasets import load_iris, fetch_20newsgroups, load_boston
li = load_iris()

#print("获取特征值")
#print(li.data)
#print("目标值")
#print(li.target)
print(li.DESCR)

# 注意返回值, 训练集 train  x_train, y_train        测试集  test   x_test, y_test
# x_train, x_test, y_train, y_test = train_test_split(li.data, li.target, test_size=0.25)

转换器与估计器

fit()标准不同,转换得到的数据就不同

estimator估计器

fit(x_train,y_train)
y_predict=predict(x_test)
预测准确率 score(x_test,y_test)

未经允许不得转载:作者:1400-张同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《数据降维》 发布于2020-12-08

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录