如何在springhadoop项目中从hcatalogapi配置multioutputformat?

jaql4c8m  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(253)

我在开发一个hadoop应用程序。现在我想把它移植到一个springhadoop项目中。这东西在我的mapreduce工作中。我使用的是hcatalogapi中的multioutputformat,因为我想在多个表上存储信息。我找不到任何示例或文档说明如何在springhadoop中配置它。
谁能告诉我怎么做或者给我一些参考资料吗?太好了,谢谢。
我在开发一个hadoop应用程序。现在我想把它移植到一个springhadoop项目中。这东西在我的mapreduce工作中。我使用的是hcatalogapi中的multioutputformat,因为我想在多个表上存储信息。我找不到任何示例或文档说明如何在springhadoop中配置它。
谁能告诉我怎么做或者给我一些参考资料吗?太好了,谢谢。
@托马斯·瑞斯伯格嗨,托马斯,谢谢你的回复。我知道在springhadoop中,我们只需要在相应的xml文件中进行作业配置。目前,在我的申请中,在设置工作时,我有如下代码:

ArrayList<OutputJobInfo> tableList = new ArrayList<OutputJobInfo>();
tableList.add(OutputJobInfo.create("database", "request",
partitionValuesRequest));
tableList.add(OutputJobInfo.create("database", "requestdetail",
                partitionValues));
tableList.add(OutputJobInfo.create("database", "jobInfo",
                partitionValues));

List<HCatFieldSchema> requestSchemaList = new ArrayList<HCatFieldSchema>();
requestSchemaList .add(new HCatFieldSchema("type", Type.STRING,
                null));
requestSchemaList .add(new HCatFieldSchema("samplesize",
                Type.INT, null));
requestSchemaList .add(new HCatFieldSchema("userid",
                Type.SMALLINT, null));
configurer.addOutputFormat("request", HCatOutputFormat.class,
                BytesWritable.class, HCatRecord.class);
HCatOutputFormat.setOutput(configurer.getJob("request"),
                tableList.get(0));
HCatOutputFormat.setSchema(configurer.getJob("request"),
                new HCatSchema(requestSchemaList));
......
configurer.configure();

对于我来说,这是将信息存储在reducer中的相关表中。所以我的问题是如何在springhadoop中为multioutputformat进行相应的配置?我检查了spring-hadoop.xsd。找不到此的任何相关选项卡。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题