apache pig分配和解析问题

9njqaruj  于 2021-06-21  发布在  Pig
关注(0)|答案(2)|浏览(321)

目前正在用hadoop学习apachepig,并使用了6200万个庞大的数据集。只是试着做一个正常的计数函数,不断地得到错误。我已经分配了8gig的ram,我可以很容易地用hive来完成,但是似乎遇到了解析问题或堆分配问题,每次都不一样。我在虚拟机上使用hadoop。
错误包括:
文件script.pig,第3行,第39列>未能生成逻辑计划。嵌套异常:org.apache.pig.backend.executionengine.executexception:错误1070:无法使用导入解析计数:[,java.lang.,org.apache.pig.builtin.,org.apache.pig.impl.builtin.]
error org.apache.pig.pigserver-解析期间异常:解析期间出错。无法使用导入解析计数:[,java.lang.,org.apache.pig.builtin.,org.apache.pig.impl.builtin.]
错误1070:无法使用导入解析计数:[,java.lang.,org.apache.pig.builtin.,org.apache.pig.impl.builtin.]
error org.apache.pig.tools.grunt.grunt-错误1070:无法使用导入解析计数:[,java.lang.,org.apache.pig.builtin.,org.apache.pig.impl.builtin.]
我的Pig代码

a = LOAD 'bigData_orc' using org.apache.hive.hcatalog.pig.HCatLoader();
b = group a ALL;
c = foreach b generate group as rap, count(a) as counter;
dump c;`
r6l8ljro

r6l8ljro1#

我将环境变量重置为其原始状态。然后我重新设置管理员密码,以管理员身份登录,并通过ambari运行更新的所有环境变量。ambari也很有帮助,可以解决其他需要更多空间分配的变量。能够将我的堆分配提高到20gb的ram&能够通过pig计算所有6800万行。

2izufjch

2izufjch2#

无法解析计数
试着把这个词大写 COUNT() 清管器功能

相关问题