我在开发一个hadoop应用程序。现在我想把它移植到一个springhadoop项目中。这东西在我的mapreduce工作中。我使用的是hcatalogapi中的multioutputformat,因为我想在多个表上存储信息。我找不到任何示例或文档说明如何在springhadoop中配置它。
谁能告诉我怎么做或者给我一些参考资料吗?太好了,谢谢。
我在开发一个hadoop应用程序。现在我想把它移植到一个springhadoop项目中。这东西在我的mapreduce工作中。我使用的是hcatalogapi中的multioutputformat,因为我想在多个表上存储信息。我找不到任何示例或文档说明如何在springhadoop中配置它。
谁能告诉我怎么做或者给我一些参考资料吗?太好了,谢谢。
@托马斯·瑞斯伯格嗨,托马斯,谢谢你的回复。我知道在springhadoop中,我们只需要在相应的xml文件中进行作业配置。目前,在我的申请中,在设置工作时,我有如下代码:
ArrayList<OutputJobInfo> tableList = new ArrayList<OutputJobInfo>();
tableList.add(OutputJobInfo.create("database", "request",
partitionValuesRequest));
tableList.add(OutputJobInfo.create("database", "requestdetail",
partitionValues));
tableList.add(OutputJobInfo.create("database", "jobInfo",
partitionValues));
List<HCatFieldSchema> requestSchemaList = new ArrayList<HCatFieldSchema>();
requestSchemaList .add(new HCatFieldSchema("type", Type.STRING,
null));
requestSchemaList .add(new HCatFieldSchema("samplesize",
Type.INT, null));
requestSchemaList .add(new HCatFieldSchema("userid",
Type.SMALLINT, null));
configurer.addOutputFormat("request", HCatOutputFormat.class,
BytesWritable.class, HCatRecord.class);
HCatOutputFormat.setOutput(configurer.getJob("request"),
tableList.get(0));
HCatOutputFormat.setSchema(configurer.getJob("request"),
new HCatSchema(requestSchemaList));
......
configurer.configure();
对于我来说,这是将信息存储在reducer中的相关表中。所以我的问题是如何在springhadoop中为multioutputformat进行相应的配置?我检查了spring-hadoop.xsd。找不到此的任何相关选项卡。
暂无答案!
目前还没有任何答案,快来回答吧!