这可能是一个愚蠢的问题,但我对hadoop非常陌生。我有一个unix服务器路径作为 /tmp/ 我正在使用hadoop连接从informatica bdm编写一个文件test.txt。hadoop集群的一部分驻留在此unix服务器中。现在我的问题是什么时候 ls /tmp/ 以及 hadoop fs -ls /tmp/ 第二个命令显示文件,但不显示第一个。有人能澄清一下吗?
/tmp/
ls /tmp/
hadoop fs -ls /tmp/
0tdrvxhp1#
hadoop fs 当然,是在hadoop客户机中配置的hadoop文件系统。这通常是hdfs,但也可能是本地的 file ,美国焊接学会 s3 ,天蓝 wasb ,等等。所有这些基本上都是文件系统在许多机器上的抽象。任何不使用 hadoop 命令只是一个本地磁盘挂载。您可以通过比较使这两个命令相同 hadoop fs -ls file:///tmp/
hadoop fs
file
s3
wasb
hadoop
hadoop fs -ls file:///tmp/
xkrw2x1b2#
不是真正的信息相关问题;)不管怎样据我所知hdfs是。。。一个文件系统。因此,您将无法通过检查“外部”文件系统(无论是unix还是windows)的shell命令查看文件。这就是为什么你需要使用 hadoop fs -ls -这样您就可以让hadoop运行 ls 命令。下面是一些有用的东西:http://www.bmcsoftware.pl/guides/hadoop-hdfs.htmlhttps://hortonworks.com/blog/windows-explorer-experience-hdfs/
hadoop fs -ls
ls
2条答案
按热度按时间0tdrvxhp1#
hadoop fs
当然,是在hadoop客户机中配置的hadoop文件系统。这通常是hdfs,但也可能是本地的file
,美国焊接学会s3
,天蓝wasb
,等等。所有这些基本上都是文件系统在许多机器上的抽象。任何不使用
hadoop
命令只是一个本地磁盘挂载。您可以通过比较使这两个命令相同
hadoop fs -ls file:///tmp/
xkrw2x1b2#
不是真正的信息相关问题;)不管怎样据我所知hdfs是。。。一个文件系统。因此,您将无法通过检查“外部”文件系统(无论是unix还是windows)的shell命令查看文件。
这就是为什么你需要使用
hadoop fs -ls
-这样您就可以让hadoop运行ls
命令。下面是一些有用的东西:
http://www.bmcsoftware.pl/guides/hadoop-hdfs.html
https://hortonworks.com/blog/windows-explorer-experience-hdfs/