我和Pig相处有些困难。我正在运行hortonworks2.4,安装了hadoop和pig。我正在尝试运行一些查询,在成功运行完所有内容之后,我发现我开始遇到转储任何内容的问题。
每当我以0%的速度甩掉我的mapreduce工作时。我很可能认为这是由于缺乏资源造成的,但我不确定如何解决问题。我甚至在设置中为我的虚拟机分配了8gb的内存。
这就是我所做的,
a = load '/user/assignment2/routes.dat' using PigStorage(',') AS (airline:chararray, airline_id:chararray, start_airport:chararray, start_id:chararray, end_airport:chararray, end_id:chararray, codeshare:chararray, stops:chararray, equipment:chararray);
b = foreach a generate start_airport, end_airport;
c = distinct b;
d = limit c 5;
暂无答案!
目前还没有任何答案,快来回答吧!