使用google云数据流合并google云存储中的文件

brtdzjyr  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(401)

nathan marz在他的书“大数据”中描述了如何在hdfs中维护数据文件,以及如何使用运行在map reduce上的桶库优化文件大小,使其尽可能接近本地hdfs块大小。
谷歌云存储有可能达到同样的效果吗?
我可以使用google云数据流而不是mapreduce来实现这个目的吗?

dxxyhpgq

dxxyhpgq1#

google云存储允许复合对象,允许您将一个对象存储在多个部分中,然后将它们组合起来,一次最多32个部分,总共1024个组成部分。api中提供了此功能。
复合对象和并行上传-谷歌云平台开发者指南

相关问题