pig拉丁语按子句划分

7eumitmz  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(308)

“partitionby”子句在拉丁语中有什么用?
同时请提供一个示例用法。
它只允许自定义分区还是允许按列分区?

dtcbnfnu

dtcbnfnu1#

“partitionby”子句在拉丁语中有什么用?
这允许您设置所选的分区器。pig使用默认的hashpartitioner,order和skew join除外。但有时您可能希望有自己的实现来提高性能。隔墙有帮助。
同时请提供一个示例用法。

DATA = LOAD '/inputs/demo.txt' using PigStorage(' ') as (no:int, name:chararray);
PARTITIONED = GROUP DATA by name PARTITION BY org.apache.pig.test.utils.SimpleCustomPartitioner parallel 2;

它只允许自定义分区还是允许按列分区?
它只是指定自定义分区器,而不是直接基于某个字段进行分区。
详见pig-282。

相关问题