错误:org.apache.avro.file.datafilewriter$appendwriteexception:

afdcj2ne  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(244)

我正在尝试加载一些数据,按某个字段过滤并将输出存储到hdfs。我的代码看起来像:

data = LOAD '$inputPath' using AvroStorage();
data = FILTER data by condition;
STORE data INTO '$outputPath'using AvroStorage('schema', '$SCHEMA');

但我得到了一个错误,说:

ERROR org.apache.pig.backend.hadoop.executionengine.Launcher - Error: org.apache.avro.file.DataFileWriter$AppendWriteException: java.lang.NullPointerException: null of int of int in field id of com.stackoverflow.id

有人能告诉我可能出了什么问题吗?我猜这是因为从hdfs读取的一些字段是空的,而avrostorage不允许这种情况发生?谢谢你的建议!

368yc8dk

368yc8dk1#

您的avro架构正在定义一个不允许null的字段,但您的数据包含null。

相关问题