我正在尝试加载一些数据,按某个字段过滤并将输出存储到hdfs。我的代码看起来像:
data = LOAD '$inputPath' using AvroStorage();
data = FILTER data by condition;
STORE data INTO '$outputPath'using AvroStorage('schema', '$SCHEMA');
但我得到了一个错误,说:
ERROR org.apache.pig.backend.hadoop.executionengine.Launcher - Error: org.apache.avro.file.DataFileWriter$AppendWriteException: java.lang.NullPointerException: null of int of int in field id of com.stackoverflow.id
有人能告诉我可能出了什么问题吗?我猜这是因为从hdfs读取的一些字段是空的,而avrostorage不允许这种情况发生?谢谢你的建议!
1条答案
按热度按时间368yc8dk1#
您的avro架构正在定义一个不允许null的字段,但您的数据包含null。