hdfs“pwd”等价物的混淆

k5hmc34c  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(455)

首先,我读过这个post:is there 与hdfs?中的“pwd”等价?。它说hdfs中没有这种“pwd”。
但是,当我继续使用hadoop的说明:设置单节点群集时,我在以下命令上失败了:

$ bin/hdfs dfs -put etc/hadoop input
put: 'input': No such file or directory

奇怪的是,我第一次通过指令就成功了,但第二次失败了。同样奇怪的是,我在我朋友的计算机上成功地使用了这个命令,它的系统(ubuntu14.04)和hadoop版本(2.7.1)与我的相同。
有人能解释一下这里发生了什么吗?hdfs中到底有没有“pwd”?

yqlxgs2m

yqlxgs2m1#

首先,您正在尝试运行命令 $ bin/hdfs dfs -put etc/hadoop input 使用vm/hdfs中不存在的用户
让我用hdp-vm中的以下示例来清楚地解释您

[root@sandbox hadoop-hdfs-client]# bin/hdfs dfs -put /etc/hadoop input
put: `input': No such file or directory

在这里,我使用root user执行了这个命令,但它在hdp vm中不存在。签入以下命令以列出用户

[root@sandbox hadoop-hdfs-client]# hadoop fs -ls /user
Found 8 items
drwxrwx---   - ambari-qa hdfs           0 2015-08-20 08:33 /user/ambari-qa
drwxr-xr-x   - guest     guest          0 2015-08-20 08:47 /user/guest
drwxr-xr-x   - hcat      hdfs           0 2015-08-20 08:36 /user/hcat
drwx------   - hive      hdfs           0 2015-09-04 09:52 /user/hive
drwxr-xr-x   - hue       hue            0 2015-08-20 09:05 /user/hue
drwxrwxr-x   - oozie     hdfs           0 2015-08-20 08:37 /user/oozie
drwxr-xr-x   - solr      hdfs           0 2015-08-20 08:41 /user/solr
drwxrwxr-x   - spark     hdfs           0 2015-08-20 08:34 /user/spark

HDFS ,如果你想的话 copy 一个文件并且没有提到目标参数的绝对路径,它将考虑 home 并将您的文件放在那里。在这里 root 找不到用户。
现在让我们切换到 hive 用户和测试

[root@sandbox hadoop-hdfs-client]# su hive
[hive@sandbox hadoop-hdfs-client]$ bin/hdfs dfs -put  /etc/hadoop input
[hive@sandbox hadoop-hdfs-client]$ hadoop fs -ls /user/hive
Found 1 items
drwxr-xr-x   - hive hdfs          0 2015-09-04 10:07 /user/hive/input

耶..复制成功。。
希望对你有帮助。。!!!

hfwmuf9z

hfwmuf9z2#

这意味着我们需要将输入文件移动到hdfs位置。
假设您有一个名为input.txt的输入文件,我们需要移动到hdfs,然后按照下面的命令操作。命令:hdfs dfs-put/input\u location/hdfs\u location
如果hdfs中没有特定的目录hdfs-put/home/desktop/input.txt/
在hdfs中的case-specific目录(注意:我们需要在继续之前创建一个目录)
hdfs dfs-put/home/desktop/input.txt/mr\u输入
之后,您可以运行示例
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar字数/input/output
这里输入和输出是hdfs中应该包含的路径。
希望这有帮助。

相关问题