如何在springhadoop项目中从hcatalogapi配置multioutputformat?

jaql4c8m  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(280)

我在开发一个hadoop应用程序。现在我想把它移植到一个springhadoop项目中。这东西在我的mapreduce工作中。我使用的是hcatalogapi中的multioutputformat,因为我想在多个表上存储信息。我找不到任何示例或文档说明如何在springhadoop中配置它。
谁能告诉我怎么做或者给我一些参考资料吗?太好了,谢谢。
我在开发一个hadoop应用程序。现在我想把它移植到一个springhadoop项目中。这东西在我的mapreduce工作中。我使用的是hcatalogapi中的multioutputformat,因为我想在多个表上存储信息。我找不到任何示例或文档说明如何在springhadoop中配置它。
谁能告诉我怎么做或者给我一些参考资料吗?太好了,谢谢。
@托马斯·瑞斯伯格嗨,托马斯,谢谢你的回复。我知道在springhadoop中,我们只需要在相应的xml文件中进行作业配置。目前,在我的申请中,在设置工作时,我有如下代码:

  1. ArrayList<OutputJobInfo> tableList = new ArrayList<OutputJobInfo>();
  2. tableList.add(OutputJobInfo.create("database", "request",
  3. partitionValuesRequest));
  4. tableList.add(OutputJobInfo.create("database", "requestdetail",
  5. partitionValues));
  6. tableList.add(OutputJobInfo.create("database", "jobInfo",
  7. partitionValues));
  8. List<HCatFieldSchema> requestSchemaList = new ArrayList<HCatFieldSchema>();
  9. requestSchemaList .add(new HCatFieldSchema("type", Type.STRING,
  10. null));
  11. requestSchemaList .add(new HCatFieldSchema("samplesize",
  12. Type.INT, null));
  13. requestSchemaList .add(new HCatFieldSchema("userid",
  14. Type.SMALLINT, null));
  15. configurer.addOutputFormat("request", HCatOutputFormat.class,
  16. BytesWritable.class, HCatRecord.class);
  17. HCatOutputFormat.setOutput(configurer.getJob("request"),
  18. tableList.get(0));
  19. HCatOutputFormat.setSchema(configurer.getJob("request"),
  20. new HCatSchema(requestSchemaList));
  21. ......
  22. configurer.configure();

对于我来说,这是将信息存储在reducer中的相关表中。所以我的问题是如何在springhadoop中为multioutputformat进行相应的配置?我检查了spring-hadoop.xsd。找不到此的任何相关选项卡。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题