知道hive与hdfs一起使用metastore,是否可以将hdfs快照从正在运行的hadoop hive集群恢复到新的hadoop hive集群?我认为强制性的一个步骤是在配置单元中再次创建表,但是这些表会自动连接到快照文件吗?关于这个主题的一个链接是apache邮件存档。我希望有一个新的或更好的答案。
oknwwptz1#
hive与2配合使用(元数据+hdfs中的仓库数据)试一试:(还没查过,请注意)1) 使用dstcp将当前hadoop配置单元集群中的配置单元仓库数据复制到新的hadoop配置单元集群中
$ hadoop distcp hftp://old-custer:50070/user/hive/warehouse hdfs://new-Cluster/user/hive/warehouse
2) 假设您的元数据存储在mysql中(而不是默认的derby中),则将新的配置单元指向旧的元数据mysql服务器(在新集群的hive-site.xml中)。这样就不需要再次创建模式/表。
1条答案
按热度按时间oknwwptz1#
hive与2配合使用(元数据+hdfs中的仓库数据)
试一试:(还没查过,请注意)
1) 使用dstcp将当前hadoop配置单元集群中的配置单元仓库数据复制到新的hadoop配置单元集群中
2) 假设您的元数据存储在mysql中(而不是默认的derby中),则将新的配置单元指向旧的元数据mysql服务器(在新集群的hive-site.xml中)。这样就不需要再次创建模式/表。