HDFS 从HDP非安全集群迁移到CDP安全集群

smtd7mpg  于 2022-12-09  发布在  HDFS
关注(0)|答案(1)|浏览(242)

我们正在将HDFS数据从HDP non-sercure集群迁移到CDP secure集群,当我阅读Cloudera文档时,他们提到“distcp”是处理迁移的工具,但他们也只提到从HDP secure集群迁移到CDP secure/non-secure集群,这与我的情况不同。
我有几个问题:

  • 我应该先保护现有集群,然后再使用distcp吗?
  • 或者我可以使用distcp而不进行安全检查吗?
  • 以你的经验我该怎么处理这种情况

先谢了

qlvxas9a

qlvxas9a1#

根据我的经验,您必须从CDP安全集群运行distcp,并使用有效的kerberos票证和以下参数:

ipc.client.fallback-to-simple-auth-allowed=true

完整示例:

hadoop distcp \
   -D ipc.client.fallback-to-simple-auth-allowed=true \ 
   hdfs://<hdp_namenode>:8020/<dir> \ 
   hdfs://<cdp_namenode>:8020/<dir>

相关问题