hadoop ls与unix ls之比较

5lwkijsr  于 2021-06-01  发布在  Hadoop
关注(0)|答案(2)|浏览(354)

这可能是一个愚蠢的问题,但我对hadoop非常陌生。我有一个unix服务器路径作为 /tmp/ 我正在使用hadoop连接从informatica bdm编写一个文件test.txt。hadoop集群的一部分驻留在此unix服务器中。现在我的问题是什么时候 ls /tmp/ 以及 hadoop fs -ls /tmp/ 第二个命令显示文件,但不显示第一个。有人能澄清一下吗?

0tdrvxhp

0tdrvxhp1#

hadoop fs 当然,是在hadoop客户机中配置的hadoop文件系统。这通常是hdfs,但也可能是本地的 file ,美国焊接学会 s3 ,天蓝 wasb ,等等。所有这些基本上都是文件系统在许多机器上的抽象。
任何不使用 hadoop 命令只是一个本地磁盘挂载。
您可以通过比较使这两个命令相同 hadoop fs -ls file:///tmp/

xkrw2x1b

xkrw2x1b2#

不是真正的信息相关问题;)不管怎样据我所知hdfs是。。。一个文件系统。因此,您将无法通过检查“外部”文件系统(无论是unix还是windows)的shell命令查看文件。
这就是为什么你需要使用 hadoop fs -ls -这样您就可以让hadoop运行 ls 命令。
下面是一些有用的东西:
http://www.bmcsoftware.pl/guides/hadoop-hdfs.html
https://hortonworks.com/blog/windows-explorer-experience-hdfs/

相关问题