对于我的一个hadoop部署,我使用上一代示例(m1、xlarge、m1.large等),m1.xlarge示例附带4x420 gib示例存储。示例存储是更安全地存储数据还是我需要使用ebs?谢谢
1bqhqjot1#
这实际上取决于您希望数据具有多大的持久性(或者如何定义更安全的数据)。如果示例被终止或停止,示例存储将丢失。如果您计划长时间运行示例,那么您也有aws“丢失”示例的风险(在我的例子中,我看到示例在大约一年后失败,但是我们已经让示例完美地运行了3年多)。因此,如果需要持久性,可以使用ebs,如果需要,还可以通过使用ebs配置iops或ebs卷的raid阵列来补偿性能差异。如果您的用例只是导入数据,在hadoop中处理数据并将其导出到其他地方,那么您可以安全地选择示例存储(例如,我们使用emr)。
1条答案
按热度按时间1bqhqjot1#
这实际上取决于您希望数据具有多大的持久性(或者如何定义更安全的数据)。如果示例被终止或停止,示例存储将丢失。如果您计划长时间运行示例,那么您也有aws“丢失”示例的风险(在我的例子中,我看到示例在大约一年后失败,但是我们已经让示例完美地运行了3年多)。
因此,如果需要持久性,可以使用ebs,如果需要,还可以通过使用ebs配置iops或ebs卷的raid阵列来补偿性能差异。如果您的用例只是导入数据,在hadoop中处理数据并将其导出到其他地方,那么您可以安全地选择示例存储(例如,我们使用emr)。