如何将hdfs文件读入apachebeam?

izkcnapc  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(415)

我不懂怎么用textio读。谁能举例说明一下吗?

dced5bon

dced5bon1#

请尝试以下操作。在我的案子里是有效的。

String[] args1 = new String[] {
    "--hdfsConfiguration=[{\"fs.defaultFS\":\"hdfs://localhost:9000\"}]" };

HadoopFileSystemOptions options =
    PipelineOptionsFactory.fromArgs(args1).withValidation().as(
        HadoopFileSystemOptions.class);

Pipeline pipeline = Pipeline.create(options);
pipeline.apply(
    TextIO.read().from("hdfs://localhost:9000/path-to-file/*"));

相关问题