如何通过url访问hadoop hdfs并在程序中使用

nbysray5  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(380)

我的hadoop dfs可以通过 http://localhost:50075/browseDirectory.jsp?dir=%2Fuser%2Fhdone%2Ftext&namenodeInfoPort=50070 在我的程序中,我必须用我的hdfs替换输入 FileInputFormat.addInputPath(conf, new Path("input")); my core-site.xml具有 hdfs://localhost:54310 我无法使用url访问。
我实际的hdfs路径是 /users/hdone/text2 所有文件都位于具有适当权限的位置。
那我写什么呢 input ?

raogr8fs

raogr8fs1#

您只需给出dfs与输入的相对路径,就可以正确读取。
例如,您正在创建一个输入路径,如下所示:

$ hadoop fs -mkdir my_input_directory
$ hadoop fs -put /home/user/my-test-file.csv my_input_directory/my-test-file.csv

现在,为了运行hadoop作业,可以执行如下操作:

$ hadoop jar my_test_program.jar**my_input_directory**my_output_directory

在java代码中,您可以通过 args[0] ,如下所示:

FileInputFormat.addInputPath(conf, new Path(args[0]));

相关问题