我使用我大学的hdfs集群学习mapreduce范式,通过hue访问它。从色调我可以浏览文件,阅读/编辑他们等等。
所以在这群人中我需要:
我将mapreduce.jar放在一个普通文件夹中
对hdfs中结果的访问
我非常喜欢编写mapreduce应用程序,所以我正确地配置了一个本地hdfs作为个人Playground,但目前我只能通过非常浪费时间的命令行(比如那些)访问它。
我可以通过sftp远程主机连接“直接”访问我的intellij idea的hdfs,下面是“用户普通文件夹”:
这是来自hue的hdfs,我从中得到了结果:
显然,在我的本地机器中,“普通用户文件夹”是我使用shell的地方,但是我只能通过命令行浏览hdfs来获得结果。
我希望我能做这样的事情,甚至为当地的HDF。以下是我能做的最好的:
我知道可以通过http://localhost:50070/explorer.html#/但它非常可怕。
我找了一些插件,但没有找到任何有用的。长期使用命令行会很累。
1条答案
按热度按时间dsf9zpds1#
我可以通过sftp远程主机“直接”访问我彻底的intellij想法的hdfs。。。
下面是我能做的最好的。。。
这两个都不是hdf。
是您要使用ssh连接到的计算机的用户文件夹
只是本地计算机上的namenode数据目录
hue使用webhdfs,并通过
http://namenode:50070
你需要的是一个插件,可以连接到同一个api,而不是通过ssh,或者一个简单的文件挂载。如果您想要一个文件挂载,您需要设置一个nfs网关,并且您可以像挂载任何其他网络连接存储一样挂载nfs驱动器。
在生产环境中,您需要编写代码,将其推送到github,然后jenkins(例如)为您构建代码并将其推送到hdfs。