nathan marz在他的书“大数据”中描述了如何在hdfs中维护数据文件,以及如何使用运行在map reduce上的桶库优化文件大小,使其尽可能接近本地hdfs块大小。谷歌云存储有可能达到同样的效果吗?我可以使用google云数据流而不是mapreduce来实现这个目的吗?
dxxyhpgq1#
google云存储允许复合对象,允许您将一个对象存储在多个部分中,然后将它们组合起来,一次最多32个部分,总共1024个组成部分。api中提供了此功能。复合对象和并行上传-谷歌云平台开发者指南
1条答案
按热度按时间dxxyhpgq1#
google云存储允许复合对象,允许您将一个对象存储在多个部分中,然后将它们组合起来,一次最多32个部分,总共1024个组成部分。api中提供了此功能。
复合对象和并行上传-谷歌云平台开发者指南