删除远程hadoop集群中的克隆文件

qgelzfjb  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(335)

我在github上创建了一个存储库,并将其克隆到一个远程hadoop集群 git clone <link of my repository> . 现在我想从hadoop集群中删除这个存储库。我该怎么做?我试过了 cd hadoop fs -rm -r <my repository in cluster> ,但上面说:
没有这样的文件或目录

t9aqgxwy

t9aqgxwy1#

您缺少了一个重要的细节:hadoop分布式文件系统(hdfs)与集群节点的本地文件系统不同。读/写/访问hdfs的唯一方法是通过hdfsshell命令。 git clone 不将某些内容上载到hdfs。。。
您需要通过ssh连接到远程集群,并使用shell命令删除克隆的目录:

>ssh username@clusterNodeIP
>rm -r pathOfGitFolder

这将从远程集群中删除git文件夹(它从未上载到hdfs)。如果你想上传到hdfs,你应该在克隆之后使用hadoopshell命令(比如hdfs-copyfromlocal)。
有关更多详细信息,我建议阅读:
https://confluence.atlassian.com/bitbucketserver/basic-git-commands-776639767.html 以及https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/filesystemshell.html

相关问题