有人能帮我了解hadoop灾难恢复吗？我是否应该使用distcp将数据从集群复制到另一个集群作为备份？或者我可以使用copytolocal将数据复制到本地计算机？有人知道吗？
vwhgwdsa1#
drp计划不仅仅局限于技术，需求也会极大地影响解决方案。例如，如果您不能承受任何数据丢失的代价，那么您需要一个活动/活动设置，并将数据同时发送到两个hadoop集群。另一方面，hadoop的复制（默认值是3个拷贝，但您可以更改它）和rack awareness可以在辅助机架上为您提供一个拷贝。在这两者之间，您可以使用您提到的distcp之类的东西将数据从一个集群复制到另一个集群。此外，您可能希望关注falcon项目，这是hadoop数据生命周期管理的一项新举措
1条答案
按热度按时间vwhgwdsa1#
drp计划不仅仅局限于技术，需求也会极大地影响解决方案。
例如，如果您不能承受任何数据丢失的代价，那么您需要一个活动/活动设置，并将数据同时发送到两个hadoop集群。另一方面，hadoop的复制（默认值是3个拷贝，但您可以更改它）和rack awareness可以在辅助机架上为您提供一个拷贝。在这两者之间，您可以使用您提到的distcp之类的东西将数据从一个集群复制到另一个集群。
此外，您可能希望关注falcon项目，这是hadoop数据生命周期管理的一项新举措