我对gamus和hadoop非常陌生,遇到了一个异常错误。我正在尝试将一些avro文件写入hdfs,并不断得到以下错误块:
[EtlMultiOutputRecordWriter] - ExceptionWritable key: topic=_schemas partition=0leaderId=0 server= service= beginOffset=0 offset=0 msgSize=1024 server= checksum=0 time=1450371931447 value: java.lang.Exception
at com.linkedin.camus.etl.kafka.common.KafkaReader.getNext(KafkaReader.java:108)
at com.linkedin.camus.etl.kafka.mapred.EtlRecordReader.nextKeyValue(EtlRecordReader.java:232)
at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:556)
at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80)
at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.NullPointerException
... 14 more
我查了第108行 com.linkedin.camus.etl.kafka.common.KafkaReader.getNext
发现是这样的: MessageAndOffset msgAndOffset = messageIter.next();
.
我正在使用 io.confluent.camus.etl.kafka.coders.AvroMessageDecoder
我的解码器和 com.linkedin.camus.example.DummySchemaRegistry
给我的编码器。
在日志的最后,我得到了另一行代码,指出其中一个hdfs文件的错误: Error from file [hdfs://localhost:9000/user/username/exec/2015-12-17-17-05-25/errors-m-00000]
. error-m-00000文件包含一个可读的开头,但随后更改为不可解析的字符串:
seqcom.linkedin.camus.etl.kafka.common.etlkey5com.linkedin.camus.etl.kafka.common.exceptionwriteableorg.apache.hadoop.io.compress.defaultcodec|ò ∫±ß˝}pº小时í$ò¸·:0方案Q∞∆øÿ十úïîàn√0 e7l‡+∫»¢线性调频õ> á*êxU®™ËzÍ màc[ÆÕ„XÚÕÿqZ%@[ÿD±gÓô…¯∆üGœ¯Ç¿Q,·Úçë2ô'«hZL¿3ëSö
十ÿ5ê·ê„sé‡çöpîs¬î4,…升ëõ¥î{û}wf公司ßáâm) >%&uzñcfi“˚#rk公司ìô¡flìu型^í%†b∂"xa•/0型ôqõpùg z公司ù田园诗&ñªkt…å›ôˆ≥-#0>›…∆rg公司∫.ˇå¨«jú®sã≥ö¡\£rîfi˚ßét型≥d#%t8ã宽®úµì∫4牛˙©w∫©mst公司√—ô嶥ó小时ó$c~#s公司+ñâ{ãçfl¡ßí⁄我´ïíùºùω5英尺ã吉咪¬∏_äò5r型ø£ ë"ee公司úÿë十{æï«{xw公司÷xm公司€o¨-c级#é¡òl•ù9§‰õö2ó:wé˛%œ-n∫ˇbfx公司ˆ∑ :àá五季度ñ‘ö™:反渗透õ1⁄5•≠≈˚ym0型±ú?»ãw◊.小时≈我´êönæ [û三
最后,根据计时报告,似乎hadoop作业已运行,但从未进行提交:
Job time (seconds):
pre setup 1.0 (11%)
get splits 1.0 (11%)
hadoop job 4.0 (44%)
commit 0.0 (0%)
Total: 0 minutes 9 seconds
任何帮助或在哪里寻找解决这个问题的想法将不胜感激。谢谢您。
暂无答案!
目前还没有任何答案,快来回答吧!