pandas—pandas.read_parquet

1147-柳同学

发表文章数:593

热门标签

,
首页 » 数据科学库 » 正文

引言

小伙伴可能要问了,这是个什么玩意?pd.read_csv不行嘛?结果都是返回DataFrame。确实结果是一样的,可是加载数据的耗时相差很多。从以下对比的小例子中就可以简单的看出:
pandas—pandas.read_parquet
pandas—pandas.read_parquet

1.pd.read_parquet

pandas.read_parquet(path, engine='auto', columns=None, use_nullable_dtypes=False, **kwargs)

描述

从文件路径加载一个parquet对象,返回一个DataFrame

参数

path : str, path object or file-like object
文件路径

engine : {‘auto’, ‘pyarrow’, ‘fastparquet’}, default ‘auto’
如果为“自动”,则使用选项io.parquet.engine。
io.parquet.engine的默认行为是尝试使用“ pyarrow”,如果“ pyarrow”不可用,则退回到“ fastparquet”。

columns : list, default=None
如果不是None,则只从文件中读取这些列

use_nullable_ : dtypesbool, default False

返回

DataFrame

未经允许不得转载:作者:1147-柳同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《pandas—pandas.read_parquet》 发布于2021-01-19

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录