如何访问hadoop hdfs中的文件？

33qvvth1 于 2021-06-02 发布在 Hadoop

关注(0)|答案(5)|浏览(881)

我在hadoop hdfs中有一个.jar文件（包含一个我想修改的java项目），我想在eclipse中打开它。
我打字的时候 hdfs dfs -ls /user/... 我可以看到.jar文件就在那里——但是，当我打开eclipse并尝试导入它时，似乎在任何地方都找不到它。我确实在我的文件系统中看到一个hadoop/hdfs文件夹，它将我带到两个文件夹；namenode和namesecondary—它们都没有我要查找的文件。
有什么想法吗？我在这个问题上纠结了一段时间。提前谢谢你的帮助。

hadoop linux hdfs eclipse

来源：https://stackoverflow.com/questions/36290755/how-to-access-files-in-hadoop-hdfs

5条答案

按热度按时间

o8x7eapl1#

hdfs文件系统和本地文件系统都是不同的。
您可以使用以下命令将jar文件从hdfs文件系统复制到本地文件系统中的首选位置：

bin/hadoop fs -copyToLocal locationOfFileInHDFS locationWhereYouWantToCopyFileInYourFileSystem

例如

bin/hadoop fs -copyToLocal file.jar /home/user/file.jar

我希望这对你有帮助。

赞(0）回复(0）举报 2021-06-02

6ovsh4lw2#

您可以将插件安装到可以浏览hdfs的eclipse：
http://hdt.incubator.apache.org
或
您可以通过保险丝安装hdfs：
https://wiki.apache.org/hadoop/mountablehdfs

赞(0）回复(0）举报 2021-06-02

nwnhqdif3#

由于hdfs是虚拟存储，它跨越集群，因此您只能看到文件系统中的元数据，而看不到实际数据。
尝试将jar文件从hdfs下载到本地文件系统，并进行必要的修改。
使用hdfs的webui访问hdfs。打开浏览器并键入localhost:50070 you 可以看到hdfs的web界面移到右侧的utilities选项卡，然后单击browse the file system，您可以看到hdfs中的文件列表。
按照以下步骤将文件下载到本地文件系统。

Open Browser-->localhost:50070-->Utilities-->Browse the file system-->Open your required file directory-->Click on the file(a pop up will open)-->Click on download

该文件将下载到您的本地文件系统，您可以进行所需的修改。

赞(0）回复(0）举报 2021-06-02

31moq8wy4#

1）从hdfs获取文件到本地系统
bin/hadoop fs-get/hdfs/source/path/localfs/destination/path
2）您可以通过以下方式进行管理：
新建java项目->java设置->源->链接源（源文件夹）。

赞(0）回复(0）举报 2021-06-02

kt06eoxx5#

您不能直接将hdfs中的文件导入eclipse。首先，您必须将文件从hdfs移动到本地驱动器，然后只有您才能在任何实用程序中使用它。
fs-复制本地hdfslocation localdirectorypath

赞(0）回复(0）举报 2021-06-02