我正在学习pig，我想把中间结果存储成lzo格式。
我已成功下载、编译和安装 lzo codecs .
当我试着跑步的时候 PigLatin 使用以下命令编写脚本：
pig
-Djava.library.path=<path to the lzo library>
-Dpig.tmpfilecompression=true
-Dpig.tmpfilecompression.codec=lzo org.apache.pig.Main myscript.pig它失败，报告此错误：
ERROR org.apache.pig.tools.grunt.GruntParser - ERROR 2997: Encountered IOException. LZO codec class not specified. Did you forget to set property io.compression.codec.lzo.class?我也试过和你一起玩 core-site.xml 以及 mapred-site.xml 但我没能解决这个问题。
有人能帮我修一下吗？
1条答案
按热度按时间46scxncf1#
-djava.library.path=lzo库的路径
你真的按图中所示放好线了吗？？如果是，请提供lzo图书馆的路径。如果您可以使用其他压缩，只需更改扩展名为.zip的输出文件名，并运行相同的pig脚本，而不重写任何压缩属性，前提是您使用的是0.9或更高版本的o pig。