aws中的hadoop示例存储

gg58donl  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(268)

对于我的一个hadoop部署,我使用上一代示例(m1、xlarge、m1.large等),m1.xlarge示例附带4x420 gib示例存储。示例存储是更安全地存储数据还是我需要使用ebs?
谢谢

1bqhqjot

1bqhqjot1#

这实际上取决于您希望数据具有多大的持久性(或者如何定义更安全的数据)。如果示例被终止或停止,示例存储将丢失。如果您计划长时间运行示例,那么您也有aws“丢失”示例的风险(在我的例子中,我看到示例在大约一年后失败,但是我们已经让示例完美地运行了3年多)。
因此,如果需要持久性,可以使用ebs,如果需要,还可以通过使用ebs配置iops或ebs卷的raid阵列来补偿性能差异。如果您的用例只是导入数据,在hadoop中处理数据并将其导出到其他地方,那么您可以安全地选择示例存储(例如,我们使用emr)。

相关问题