我有这个脚本,它在本地机器上工作。
public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
Job job = Job.getInstance(new Configuration(), "ToParquet");
job.setJarByClass(ToParquet.class);
job.setMapperClass(BasicsMapper.class);
job.setMapperClass(RatingsMapper.class);
job.setReducerClass(MyReducer.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);
MultipleInputs.addInputPath(job, new Path("hdfs:///title.basics.tsv"), TextInputFormat.class, BasicsMapper.class);
MultipleInputs.addInputPath(job, new Path("hdfs:///title.ratings.tsv"), TextInputFormat.class, RatingsMapper.class);
job.setOutputKeyClass(Void.class);
job.setOutputValueClass(GenericRecord.class);
job.setOutputFormatClass(AvroParquetOutputFormat.class);
AvroParquetOutputFormat.setSchema(job, getSchema());
FileOutputFormat.setOutputPath(job, new Path("hdfs:///to_parquet_output"));
job.waitForCompletion(true);
但是,当我尝试在hfds环境中运行它时,会显示以下错误消息。
我不知道发生了什么。如果有人能帮我,我很感激。
暂无答案!
目前还没有任何答案,快来回答吧!