使用PCA对特征进行降维

首页 » 算法 » 正文

一、PCA是什么?

在大量数据中,很多特征之间可能都存在着一定的相关性。再者,特征划分的越细,特征数量越多还可能导致过拟合的情况出现。因此,在特征数量众多的情况下,可以采取一定的手段对特征进行降维。主成分分析(Principal Component Analysis,简称PCA)是最常用的一种降维方法。该方法可以尽可能的保留大量特征中的主要信息,对特征数量进行简化,从而简化模型的计算。
接下来用Kaggle中的Instacart市场篮子分析数据集进行PCA降维演示。

二、使用方法

1.引入库

代码如下(示例):

import pandas as pd
from sklearn.decomposition import PCA

2.数据处理

代码如下(示例):

# 读入数据
aisles=pd.read_csv("./aisles.csv")
prior=pd.read_csv("./order_products__prior.csv")
orders=pd.read_csv("./orders.csv")
products=pd.read_csv("./products.csv")
#合并表格
_mg=pd.merge(prior,products,on=['product_id','product_id'])
_mg=pd.merge(_mg,orders,on=['order_id','order_id'])
mt=pd.merge(_mg,aisles,on=['aisle_id','aisle_id'])
#划分特征,建立新的表格
cross=pd.crosstab(mt['user_id'],mt['aisle'])

运用PCA降维前的特征数:134
使用PCA对特征进行降维

3.运用PCA进行降维

pca=PCA(n_components=0.9) #指定信息保留到原来的90%的程度
data=pca.fit_transform(cross)

运用PCA降维后的特征数:
使用PCA对特征进行降维


总结

对降维前的cross进行输出
使用PCA对特征进行降维

对降维后的data进行输出
使用PCA对特征进行降维
可知降维后的数据集可知,data数据与原cross数据集并不相同。因此可以得知经过PCA降维后,原数据集的数据可能发生变化。除此之外,新生成的数据特征与原特征也是无关的,特征间不能一一对应进行解释,可以理解为新生成的数据集是原数据集的浓缩。

拜师教育学员文章:作者:1957-何同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《使用PCA对特征进行降维》 发布于2022-01-25

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录