创作中心
反馈咨询
欢迎添加微信!
微信号:z_gqing
微信二维码:

pandas

1 pandas基础 1.1 pandas介绍与安装 1.2 pandas的Series和DataFrame的基本操作 1.3 pandas的Index对象的理解与使用 1.4 pandas的基本统计分析函数的使用 2 pandas的数据读取与存储 2.1 pandas的CSV、Excel等文件的读取与写入 2.2 pandas的SQL数据库的读取与写入 2.3 pandas的HDF5和其他二进制格式的读取与写入 2.4 利用pandas进行数据清洗 3 pandas的数据处理 3.1 pandas的数据选择:布尔索引、位置索引和标签索引 3.2 pandas的数据过滤与排序 3.3 pandas的缺失值处理 3.4 pandas的数据转换:apply(),map(),applymap() 3.5 pandas的数据重塑:stack(), unstack() 4 pandas的数据合并与连接 4.1 pandas的concat()与append() 4.2 pandas的merge()与join() 4.3 pandas的数据透视表pivot_table() 5 pandas的分组与聚合 5.1 pandas的groupby()方法的使用 5.2 pandas的聚合函数agg()和transform() 5.3 pandas的对分组结果进行筛选和排序 6 pandas的时间序列处理 6.1 pandas的时间序列的数据结构:Timestamp和Period 6.2 pandas的时间序列的索引:DatetimeIndex 6.3 pandas的时间序列的操作:resample(), shift(), rolling() 6.4 pandas的时间序列的平移、对齐与频率转换 7 绘图与可视化 7.1 matplotlib库的介绍与使用 7.2 seaborn库的介绍与使用 7.3 pandas内置绘图函数的使用 8 进阶主题 8.1 大数据处理:Dask与Pandas 8.2 性能优化:numexpr与cython 8.3 使用pandas进行机器学习预处理
首页 教程 pandas pandas的HDF5和其他二进制格式的读取与写入
Pandas库提供了对HDF5和其他二进制格式的读写支持。这些格式通常用于大规模数据集的存储和处理,因为它们可以提供更好的性能和磁盘空间效率。 1. HDF5:HDF5(Hierarchical Data Format version 5)是一种高级的数据存储格式,适合于存储和分发大量科学数据。Pandas使用pandas.HDFStore类来操作HDF5文件。你可以将DataFrame或Series对象保存到HDF5文件中,然后在需要时从中加载它们。以下是一些基本的操作: - 写入:`store = pd.HDFStore('mydata.h5')`,`store['df'] = df`,这将在HDF5文件中创建一个新的数据集,并将其命名为'df'。 - 读取:`store = pd.HDFStore('mydata.h5')`,`df = store['df']`,这将从HDF5文件中加载名为'df'的数据集。 - 关闭:`store.close()`,关闭与HDF5文件的连接。 2. 其他二进制格式:除了HDF5之外,Pandas还支持其他一些二进制格式,如Feather、Parquet、ORC和Msgpack等。 - Feather:Feather是一个跨平台的二进制格式,用于在Python和R之间共享数据。你可以在Python中使用feather.write_dataframe()函数将DataFrame写入Feather文件,然后在R中使用read_feather()函数读取它。 - Parquet:Parquet是一个列式存储格式,适合于大数据处理。你可以使用pandas.DataFrame.to_parquet()方法将DataFrame写入Parquet文件,然后使用pandas.read_parquet()函数读取它。 - ORC:ORC(Optimized Row Columnar)是另一种列式存储格式,由Apache Hadoop项目开发。你可以在Python中使用pyarrow.orc.ORCFile类读写ORC文件。 - Msgpack:Msgpack是一种高效的二进制序列化格式。你可以在Python中使用pandas.DataFrame.to_msgpack()方法将DataFrame写入Msgpack文件,然后使用pandas.read_msgpack()函数读取它。 总的来说,Pandas为处理各种二进制数据格式提供了丰富的功能,使得我们可以更方便地存储和处理大规模数据集。

官方微信
点击收藏 编辑日记
木牛零码 Newmer生信 公司产品 意见反馈 联系我们 关于我们 招合伙-招聘-兼职
Copyright © 2021-2024 上海牛马人生物科技有限公司 沪ICP备 2022007390号-2