我想把很多文件从hdfs发送到google存储(gs)。所以我想在这个例子中使用distcp命令。
hadoop distcp -libjars <full path to connector jar> -m <amount of mappers> hdfs://<host>:<port(default 8020)>/<hdfs path> gs://<backet name>/
我还需要在core-site.xml中指定*.p12密钥文件来访问gs。我需要将这个文件分发到集群中的所有节点。
<property>
<name>google.cloud.auth.service.account.keyfile</name>
<value>/opt/hadoop/conf/gcskey.p12</value>
</property>
我不想手动操作。分发密钥文件的最佳做法是什么?
1条答案
按热度按时间vtwuwzda1#
有一个泛型参数
命令将是
注1在这种情况下,我们需要在core-site.xml上设置密钥路径(google.cloud.auth.service.account.keyfile),如下例所示
注意2您需要在当前目录中有.p12密钥文件,因为haddop在启动时检查来自核心站点的路径。