Python数据存储之h5py有什么用

这篇文章将为大家详细讲解有关Python数据存储之h5py有什么用，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

1、Python数据存储（压缩）

（1）numpy.save , numpy.savez , scipy.io.savemat

numpy和scipy内建的数据存储方式。

（2）cPickle + gzip

cPickle是pickle内建的数据存储方式，gzip是常用的文件压缩模块。

（3）h6py

h6py是对HDF5文件格式进行读写的python包，关于h6py更多介绍与安装，参考官方网站

关于HDF5，参考官方网站。：

一个HDF5文件就是一个由两种基本数据对象（groups and datasets）存放多种科学数据的容器：

HDF5 dataset: 数据元素的一个多维数组以及支持元数据（metadata）； HDF5 group: 包含0个或多个HDF5对象以及支持元数据（metadata）的一个群组结构；

总之，dataset是类似于数组的数据集，而group是类似文件夹一样的容器，存放dataset和其他group；group和dataset在h6py中的使用有点类似于词典和Numpy中数组的用法。

h6py的优势：速度快、压缩效率高，总之，numpy.savez和cPickle存储work或不work的都可以试一试h6py！

2、h6py读取和存储数据示例

import h6py
X= np.random.rand(100, 1000, 1000).astype('float32')
y = np.random.rand(1, 1000, 1000).astype('float32')

# Create a new file
f = h6py.File('data.h6', 'w')
f.create_dataset('X_train', data=X)
f.create_dataset('y_train', data=y)
f.close()

# Load hdf5 dataset
f = h6py.File('data.h6', 'r')
X = f['X_train']
Y = f['y_train']
f.close()

关于“Python数据存储之h5py有什么用”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。