将本地hdfs文件系统浏览器与intellij idea集成

von4xj4u  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(475)

我使用我大学的hdfs集群学习mapreduce范式,通过hue访问它。从色调我可以浏览文件,阅读/编辑他们等等。
所以在这群人中我需要:
我将mapreduce.jar放在一个普通文件夹中
对hdfs中结果的访问
我非常喜欢编写mapreduce应用程序,所以我正确地配置了一个本地hdfs作为个人Playground,但目前我只能通过非常浪费时间的命令行(比如那些)访问它。
我可以通过sftp远程主机连接“直接”访问我的intellij idea的hdfs,下面是“用户普通文件夹”:

这是来自hue的hdfs,我从中得到了结果:

显然,在我的本地机器中,“普通用户文件夹”是我使用shell的地方,但是我只能通过命令行浏览hdfs来获得结果。
我希望我能做这样的事情,甚至为当地的HDF。以下是我能做的最好的:

我知道可以通过http://localhost:50070/explorer.html#/但它非常可怕。
我找了一些插件,但没有找到任何有用的。长期使用命令行会很累。

dsf9zpds

dsf9zpds1#

我可以通过sftp远程主机“直接”访问我彻底的intellij想法的hdfs。。。
下面是我能做的最好的。。。
这两个都不是hdf。
是您要使用ssh连接到的计算机的用户文件夹
只是本地计算机上的namenode数据目录
hue使用webhdfs,并通过 http://namenode:50070 你需要的是一个插件,可以连接到同一个api,而不是通过ssh,或者一个简单的文件挂载。
如果您想要一个文件挂载,您需要设置一个nfs网关,并且您可以像挂载任何其他网络连接存储一样挂载nfs驱动器。
在生产环境中,您需要编写代码,将其推送到github,然后jenkins(例如)为您构建代码并将其推送到hdfs。

相关问题