将h5文件转换为csv文件或文本文件进行数据处理

mgdq6dx1  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(1119)

我有一个约1.85 gb的数据集,其中包含h5文件,我需要处理这些文件使用hadoop,为此,我可能需要将这些文件转换为文本或csv。有没有什么方法可以让hadoop读取h5文件?或者有什么好的在线工具可以将h5文件转换成csv或文本文件?或者有没有任何一个链接可以让我下载一个包含文本或csv文件的巨大数据集?
提前谢谢

p8ekf7hl

p8ekf7hl1#

您是否尝试过使用hdf5\u处理程序模块的opendap hyrax服务器?
例如,从示例hdf5文件[1]中,可以获得以下ascii数据[2]:

Dataset: grid_1_2d.h5
temperature[0], 10, 10, 10, 10, 10, 10, 10, 10
temperature[1], 11, 11, 11, 11, 11, 11, 11, 11
temperature[2], 12, 12, 12, 12, 12, 12, 12, 12
temperature[3], 13, 13, 13, 13, 13, 13, 13, 13
...

带有hdf5\u处理程序的opendap hyrax服务器是一个很好的工具/服务,因为您也可以使用html表单轻松地从hdf5文件中选择(和子集)数据集[3]。您可以从[4]中找到有关opendap hdf5\u处理程序的详细信息。
[1] http://eosdap.hdfgroup.org:8080/opendap/data/hdf5/grid\u 1\u 2d.h5
[2] http://eosdap.hdfgroup.org:8080/opendap/data/hdf5/grid\u 1\u 2d.h5.ascii
[3] http://eosdap.hdfgroup.org:8080/opendap/data/hdf5/grid\u 1\u 2d.h5.html
[4] http://hdfeos.org/software/hdf5_handler.php

相关问题