Hive还是Pig作为亚马逊红移的替代品?

chhkpiq4  于 2021-06-25  发布在  Pig
关注(0)|答案(1)|浏览(328)

我们使用amazonredshift从s3存储桶中提取数据。我们想用Hive或Pig来代替红移来降低成本。
我们可以使用hive或pig从amazons3存储桶中提取数据吗?

p3rjfoxz

p3rjfoxz1#

amazonelasticmapreduce可以用来部署apachehadoop集群,包括hive和pig。
这个集群可以访问s3中的数据,执行etl操作,并将数据保存回amazons3。然而,这是一个相当复杂的系统使用,也会招致费用(特别是如果你让它整天运行)。
如果您担心amazon redshift的成本,可以选择以下选项:
使用较小的群集(按节点定价)
晚上关掉红班。先拍摄快照,然后在第二天早上恢复快照。
购买红移预留示例降低价格

相关问题