java.lang.nosuchmethoderror:org.apache.avro.schema$字段< init>

c9x0cxw0  于 2021-07-13  发布在  Hadoop
关注(0)|答案(0)|浏览(443)

我有这个脚本,它在本地机器上工作。

  1. public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
  2. Job job = Job.getInstance(new Configuration(), "ToParquet");
  3. job.setJarByClass(ToParquet.class);
  4. job.setMapperClass(BasicsMapper.class);
  5. job.setMapperClass(RatingsMapper.class);
  6. job.setReducerClass(MyReducer.class);
  7. job.setMapOutputKeyClass(Text.class);
  8. job.setMapOutputValueClass(Text.class);
  9. MultipleInputs.addInputPath(job, new Path("hdfs:///title.basics.tsv"), TextInputFormat.class, BasicsMapper.class);
  10. MultipleInputs.addInputPath(job, new Path("hdfs:///title.ratings.tsv"), TextInputFormat.class, RatingsMapper.class);
  11. job.setOutputKeyClass(Void.class);
  12. job.setOutputValueClass(GenericRecord.class);
  13. job.setOutputFormatClass(AvroParquetOutputFormat.class);
  14. AvroParquetOutputFormat.setSchema(job, getSchema());
  15. FileOutputFormat.setOutputPath(job, new Path("hdfs:///to_parquet_output"));
  16. job.waitForCompletion(true);

但是,当我尝试在hfds环境中运行它时,会显示以下错误消息。

我不知道发生了什么。如果有人能帮我,我很感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题