我有一个问题,我不知道如何解决在Pig。我有一个关于hadoop的数据集(大约400万条记录),其中包含按产品类别划分的产品标题。每个标题都有它在网页上出现的次数,以及单击它转到产品详细信息页的次数。产品类别中标题的数量可能会有所不同。
样本数据-
电子游戏|光环4 | 5400 | 25
电子游戏| forza motorsport 4限量珍藏版| 6000 | 10
电子游戏|奇迹终极联盟| 2000 | 55
相机和照片|用于gopro hd的pro steadicam | 12000 | 250
照相机和照片| hero gopro motorsports 1080p宽高清5mp Helm 照相机| 10000 | 125
我想根据第3列(在网页上的出现)获得每个产品类别中前n%的记录。但是,n%必须根据类别的权重/重要性而变化。对于电子游戏,我想获得前15%的记录;对于camera&photo,我想得到前5%的值,等等。有没有办法在pig中的嵌套foreach代码块中动态设置limit子句中的%或整数值? PRODUCT_DATA = LOAD '<PRODUCT FILE PATH>' USING PigStorage('|') AS (categ_name:chararray, product_titl:chararray, impression_cnt:long, click_through_cnt:long);
GRP_PROD_DATA = GROUP PRODUCT_DATA BY categ_name; TOP_PROD_LIST = FOREACH GRP_PROD_DATA {
SORTED_TOP_PROD = ORDER PRODUCT_DATA BY impression_cnt DESC; SAMPLED_DATA = LIMIT SORTED_TOP_PROD <CATEGORY % OR INTEGER VALUE>; GENERATE flatten(SAMPLED_DATA); }
STORE TOP_PROD_TITLE_LIST INTO '<SOME PATH>' USING PigStorage('|');
如何动态(按类别)设置给定组的%或整数值?我曾想过使用宏,但不能从嵌套的foreach块中调用宏。我是否可以编写一个以category name为参数的自定义项,并输出%或整数值,然后通过限制操作调用此自定义项? SAMPLED_DATA = LIMIT SORTED_TOP_PROD categLimitVal(categ_name);
有什么建议吗?我使用的是pig的0.10版本。
2条答案
按热度按时间nx7onnlm1#
像这样的办法也许行得通。但是,我从来没有必要在pigMap中查找变量键,而另一个问题没有答案,因此您需要进行一些尝试和错误操作以使其正常工作:
你也可以试着用Pig的
TOP
函数而不是ORDER
+LIMIT
.dfty9e192#
我想我用一种稍微不同的方法解决了这个问题。我不确定它有多优化,也许有更好的方法来组织/优化脚本。基本上,如果我把每个类别的产品名称
ASC
当RANK
<=SAMPLE LIMIT
然后我可以模拟动态采样。这个SAMPLE LIMIT
只不过是COUNT
每个类别的标题数量*PERCENT WEIGHT
按类别定义。至RANK
元组,我利用linkedin的datafu开源jar提供ENUMERATE
自定义项。再说一次,如果有人对改进/更好地组织代码有什么建议,我洗耳恭听:)谢谢你的输入cabad,它真的很有帮助!
脚本: